Python pandas テストの書き方についてメモ

はじめに

pandasやnumpyとかを使ってデータ分析のようなことをしてると、実行結果が数値だったりしてバグに気づきづらい。結果がおかしいことに気づかないまま論文を書いてしまうのは怖いのでユニットテストを書いておく。

普段、Pythonによるデータ分析入門 ―NumPy、pandasを使ったデータ処理を読みながら勉強してたんだけどこの本にはテストについて書かれていなかったのでネットで調べてみた。(この辺の内容について書かれた記事が少ない気がしたんだけど、この分野ではあんまりテスト書かれてないのかな？)

Pandasのデータ構造

pandasでは以下の様な便利なデータ構造が提供されている。

Series

1次元配列のようなオブジェクト
DataFrame

テーブル形式のデータ構造。
Panel

3次元のデータフレームに相当するデータ構造。

Assertion method

pandas.util.testingの中に色んなAssertion methodが用意されてる。上に示したpandasが提供する特殊なデータ構造は以下のメソッドで比較する事ができる。

assert_series_equal
assert_frame_equal
assert_panel_equal

これらのメソッドは第一引数と第ニ引数で与えられたオブジェクトを比較する。 unittestモジュールのassertion methodと同じようにactual_objectを第一引数、expected_objectを第二引数で渡してやればいいと思う。

使ってみる

簡単なものならDataFrameを適当に作って比較してもいいと思うんだけど、実際のデータを使ってテストしたい時もあるので、以下の様な感じでcsvファイルから読み込んで比較する。

import pandas as pd
from pandas.util.testing import assert_frame_equal
from unittest import TestCase

class PandasTestExample(TestCase):
    def test_sample_method(self):
        expected_df = pd.read_csv(expected_data_filepath)
        actual_df = sample_method(input_filepath)
        assert_frame_equal(actual_df, expected_df)