この記事を3行で AWS X-Rayをpytestで使うと便利 関数の通過や例外の発生をassertでテストできる X-Rayの可視化にFlameGraphを使えば、各関数の実行時間が分かりやすい この記事を書く理由 AWS X-Rayが便利なので、AWS環境へのデプロイの前でも使える使い方を紹介したい。 完成後の挙動 この記事で作成する単体テストを、Pytestで実行すると、 単体テストが吐き出したX-Rayのデータをもとに、下のようなグラフがローカルのPC上に作成されます。 FlameGraphと呼ばれているグラフです。炎のように下から上に伸びていくことが特徴です。 グラフの縦の方向は関数の呼び出しを表しています。 たとえばこのグラフなら、下から上に読んで、lambda_handler関数がnetwork_process関数を呼び出して、そこからgoogle.co.jpへのリクエストを

Hypothesisとは何か、プロパティベーステストとは何か Hypothesisは、Python向けのプロパティベーステストのライブラリである。 プロパティベーステストは、生成された多数の入力データに対してプロパティ(性質)が満たされるかどうかをテストする手法である。 HaskellのQuickCheckライブラリが初出で、現在は各プログラミング言語に移植されている。 従来のユニットテストは、ある程度固定したテストデータを指定してテストを行っていた。 その際、境界値分析などで妥当なパラメータを決定していた。 しかし、境界値分析が必ず通用するとは限らないし、人間が行う以上、ミスも発生する。 プロパティベーステストはデータを固定する代わりにそのデータが満たすプロパティを指定してテストを行う。 実際のテストケースはHypothesisがプロパティを満たすパラメータを決めて生成してくれる。 人力

Testcontainers を使うと，テストコードを実行するときに必要になるデータベース・キャッシュ・キューなどの依存関係をコード上で管理できて，実行後にはコンテナを自動的に消してくれるという使い捨て可能な仕組みを簡単に作れる❗️Testcontainers のサイトに載っている「Test dependencies as code」という表現はピッタリだと思う👌 testcontainers.com Testcontainers は Java / Go / .NET / Rust など多くの言語をサポートしているけど，今回は Python 用の testcontainers-python を試してみた．検証に使ったコードを紹介しつつ，簡単にまとめておく✍ また Testcontainers Cloud もあったりする🌩 testcontainers.com 前提 今回は以下の前提で試

はじめに 退屈なことはPythonにやらせよう1、nikkieです。 Pythonのユニットテストフレームワークの1つ、pytest。 pytestはパラメタ化したテストも可能にしてくれるのですが、パラメタ化したテストについて最近知った小さいtipsをアウトプットします！ 目次 はじめに 目次 前提情報 今回の参考文献 動作環境 pytestでパラメタ化したテスト 💡1️⃣ クラスもデコレートできる @pytest.mark.parametrizeの不思議 💡2️⃣ デコレータを複数積める（自動で組合せてくれる！） ノードIDについて ドキュメント「How to parametrize fixtures and test functions」にはまだまだtips満載！ 終わりに P.S. 積めるのに気づけたのはChatGPTのおかげ！ 前提情報 今回の参考文献 『テスト駆動Python

Python開発環境構築手順（VSCode, Docker, Poetry, isort, black, flake8, pytest）Python はじめに Python開発環境を整備し直したときのメモです コードはこちらに配置しています どういう開発環境を作るか VSCode・Docker上で実行する（ローカルでの実行を想定） パッケージ管理はPoetryを利用する linter, formatterはisort, black, flake8を利用する コマンドだけでなくVSCodeからも利用する テストはpytestを利用する Jupyter Notebookも利用可能にしておく セットアップ手順 事前準備【ローカル】 VSCode・Dockerのインストール VSCode拡張機能Remote Developmentのインストール 設定ファイルの配置 （参考）フォルダ構成 . ├──

[Python] pytest でモックを使う方法(pytest-mock) 2021.02.12 Python pytest, pytest-mock, Python, テスト pytest でモックを利用する pytest を利用してテストをコーディングする場合にモックを利用したい場合、pytest-mock というライブラリを使うと便利です。 pytest-mock は mock パッケージの薄いラッパーを提供します。 この記事では pytest-mock を使ったいろいろなモックの使い方を紹介します。 pytest の基本的な使い方は以下の記事にまとめてます。 [Pytest] pytest 入門、テストコードを書く方法 │ Web備忘録 モックを利用するとテスト用で一時的に処理を差し替えてくれます。モック化した箇所は対象のテスト中においてのみモックとして扱われ、それ以外のテストで

# 引数の文字列を結合して返却します。 def join(val1: str, val2: str) -> str: return val1 + val2 def test_join(): # assertを利用して、echoが期待する結果となっていることを確認 assert join('dummy1', 'dummy2') == 'dummy1dummy2' # assert notを利用して、echoが期待しない結果となっていないことを確認 assert not join('dummy1', 'dummy2') == 'dummy1' テストの実行方法 プロジェクトのルートがC:/python/pytest_cheatsheetであるとの前提の説明となります。 pytestのテストケースのモジュール(.pyファイル)を相対パスで指定する場合は、cd C:/python/pytest_c

はじめに Gunosy Tech Lab - Media ML のsuchidaです。 最近はPythonの型アノテーションがないとあたふたする人生です。 こちらの記事は Gunosy Advent Calendar 2021の3日目の記事です。 前回の記事はid:skozawa さんの施策の優先順位付けのために分析Dayを実施しましたでした。 さて皆さん、Pythonを利用する際に静的解析ツールを利用していますか？これは、コードを綺麗に保ち、保守運用を行いやすくするために非常に重要なツールです。 本記事では、Pythonコードフォーマッターなどの静的解析ツールとその設定ファイルの管理方法について簡単に紹介します。 静的解析ツールの導入 チーム内では主に、アルゴリズムの開発・運用にPythonを利用しています。 また、コードを綺麗に保ち、保守運用を行いやすくするためにコードフォーマッターな

仕事でDjangoやる時に、参画したての人が最初から知っておいた方が良さそうな事柄がまとまってきたので残しておきます。 pytest-djangoの機能 --no-migrations これは、テスト用のテーブルを構築するためのオプションです。このオプションをつけると 定義されているモデルを元にテーブルが作成されます。 Djangoではテストを実行する際に、データベースを作り直します。その際、マイグレーションファイルをもとにテーブルを構成します。 マイグレーションファイルの数が多いと、1つ1つ適用するためテストが実行されるまでに時間がかかります。 このオプションをつけると、モデル定義から読み取って一気にテーブルを用意するので、オプションなしに比べてテーブルの作成が早くなります。 --reuse-db Djangoでは通常テストを実行するたびにデータベースを作り直すところ このオプションをつ

以前、Javaで不安定なテスト（flakyなテスト）をリトライさせるライブラリを素振りしました。今回の記事はPython版です。 Pytestの公式ページにてFlakyなテストに対する解決策となるライブラリを複数提示されており、その中でもGitHubのStar数が一番多かったflakyを素振りすることにします。 ユースケース E2E試験等の不安定（flaky）なテストを、失敗時に再実行させて全体として安定させたい。 環境 Python 3.8.5 pytest 6.2.4 flaky 3.7.0 インストール方法 pip install flaky 設定値 max_runs 最大何回まで再実行するかを設定する。デフォルト値は2回。 min_passes 何回テストが成功するまで再実行するか設定する。規定数まで成功したら、それ以降のテストは行わない。デフォルト値は1回。 rerun_filt

GitHub Actions を CI 活用 上記のようなプログラムを管理するのにあたって CI 環境を構築したい。CI とは Continuous Integration の略で複数の開発者が継続的にメインブランチに統合していくこと。これを実現するためにはローカルテストだけではなく、例えばソースコード管理ツールに変更がプッシュされたらサーバー側で自動的にテストして結果の通知をしてあげるといった必要が出てくる。 自分自身は独りでの開発をしているのだけど、ローカルで毎回毎回全てのテストを回すのは非効率的。サーバー側のコード変更をしたらサーバー側で統合的なテストを自動的にやった方がローカル環境の処理負荷を下げられるし、うっかりミスも減らせる。 CI を実現する手段としては Circle CI が一般的であったが、GitHub 内の標準機能として GitHub Actions が公開されているた

こんにちは。ホクソエム支援部サポーターのPython担当、藤岡です。 最近はデータエンジニア見習いとしてBI周りを触っています。 今回はpytestのfixtureについての記事です。 pytest自体が有名で記事もたくさんあるので、今回は地味だけど重要だと個人的に思っている usefixturesとスコープについて取り上げます。 地味とはいえ、pytestの初心者がfixtureを使いこなすためのステップアップに必要な内容だと思います。 ぜひマスターしていただければ幸いです。 1. 前書き 基礎的なことに関してはこの記事にとても簡潔にまとまっているので、こちらをまず読むのがオススメです。とても良い記事です。 pytestは独自の書き方を持ち込んでいるライブラリです。その機能を使いこなすと「綺麗」なコードにはなりますが、反面それは使われている機能を知らない人にとってはこの上なく読みにくいも

背景 Pythonでは大体pytestを使うのですが、序盤でよくこけるけど、毎回原因を忘れてしまって思い出すまでに時間がかかって困る以下のpytest利用時のエラーについての備忘録を書いておきます E ModuleNotFoundError: No module named 'hogehoge' 現状 ここでは以下のディレクトリ構成のプロジェクトを想定しています。 . ├── poetry.lock ├── pyproject.toml ├── src │   └── mypkg │   └── func.py └── tests └── test_mypkg └── test_app.py [tool.poetry] name = "pytest_test" version = "0.1.0" description = "" authors = ["hogehoge"] [tool.p

はじめに GitHub ActionsのWorkflowにて、pipenvを使いつつcache化させて効率よく動かす、ということをされている方は多いと思われます。私自身、担当プロジェクトにて効率よく動かしている、と思っていました。一応キャッシュはしていたものの、キャッシュを無視して毎回インストールするフローになっていたのは不覚の極みでした。 正常にキャッシュされているかどうかの見極めと、pipenvとactions/cacheを併用したpytestの動作例をまとめました。 正常にキャッシュされているかどうかを見極める セルフホストしていない限りは、ActionsのWorkflowログが確認の全てです。 キャッシュキーが意図した通りになっているか確認する actions/cacheにて生成を想定するキーは恐らく次のような構成でしょう。 Linux-pipenv-8772fa24c3defb2

2021/10 追記 Pyannotate はメンテナが居なくなったため更新が途絶えました。またより表現多く typing を反映できるため、これからは Monkeytype を推奨します。 この記事は何か Python Advent Calendar 2020の 2 日目の記事です(元々 13 日目でしたが、2 日目の参加者が取りやめたので横入りしました)。「Python コードに自動で型を付与し、その型をテストで静的チェックして、保守性を高める方法」をご紹介する趣旨の記事です。 書いた理由 今回紹介するメインツールの pyannotate について、日本語で紹介している記事がほとんどなく、かつ古い情報が多かった為です(python3 サポートがない時代かつ、pytest との連携ができなかった時代)。「Python において型はいるのか？」という議論はしません。 今回紹介するツールは以

はじめに 前提知識 導入 pytest moto 状況設定 テスト対象のコード テストメソッドを書く フィクスチャーを書く moto だ…！ テストを実行してみる おまけ まとめ 参考 はじめに こんにちは、技術4課の保田（ほだ）です。 皆様は現在話題沸騰中の映画 TENET （テネット）をもう観に行かれましたでしょうか？最高に最高ですので、皆様も三密にご注意のうえ是非とも観ていただきたいです。そして考察を語り合いましょう。 というわけで今日は pytest と moto で優勝していきたいと思います。 具体的には DynamoDB への操作を moto でモックして、 pytest で単体テストするサンプルをご紹介します。 前提知識 文章が無限に増えることは避けたいため、以下の知識をお持ちのことを前提とさせていただきます。 Python （の基本的な書き方） boto3 単体テストの概念

リンク 目次 目次 はじめに PythonのデフォルトのUnitTestsではなくpytestを使うべき7つの理由 1. クラスを作らずにシンプルな関数でテスト関数を作ることができる。 2. 様々なassert関数を覚えなくて良い 3. テストが失敗した理由がわかりやすい 4. テストの検索と実行が高機能 (auto discovery) 5. 様々なプラグインが公開されており、簡単に機能追加できる 6. UnitTestsで作成されたテストも実行できる 7. テストの実行時間のランキングを簡単に作成してくれる 便利なコマンドライン引数表 PythonのIDEとpytestの連携 参考資料 MyEnigma Supporters はじめに これまで、自分はPythonのユニットテストには、 PythonのデフォルトのUnitTestsを使っていましたが、 docs.python.org m

Plugins can modify and extend a lot of aspects of pylint, including how the output is done. This screenshot of a pytest run with pytest-sugar was taken by Martin Thoma. Pytest is extensible and has plenty of plugins. You don’t need to use any of them, but you might find some very useful. I love this because you have an easy time to get started with unit testing, while still finding amazing stuff w

初心者でも分かりやすい関数とテスト、そしてCircleCIの設定ファイルで解説していきます。 今回のファイル構成はこのようになっています。 . ├── requirements.txt ├── src │   └── a.py └── tests ├── __init__.py └── test_a.py まずはじめに、簡単に数値計算する関数を書きます。 src/a.py def b(a, b): return a * b 次に、テストをする関数を書きます。 test_a.py from src.a import b def test_b(): assert 2 == b(1, 2) ようやくお待ちかね、CIrcleCIの設定ファイルを書きましょう。コメントアウトで簡単な説明を書いたので、わかりやすいかと思います。 これが今回の設定ファイルです。 詳しくはCircleCIのサイトを見てくだ