はてなブックマーク

Timestampクラス TimestampクラスのAPIドキュメント params: Timestampクラスオブジェクトの生成 直接生成 to_datetime関数を使った生成 date_range関数を使った連続した時刻データの生成 Timestampオブジェクトから情報取得 タイムゾーンの指定 offsetsオブジェクトを使った加減 日付データの差をとる まとめ 参考 Python上で時系列データを扱う際はdatetimeモジュールを使うのが基本です。 例えばですが、現在時刻を取得したい時は以下のように書きます。 In [1]: import datetime In [2]: time = datetime.datetime.now() In [3]: time Out[3]: datetime.datetime(2018, 9, 21, 10, 29, 17, 681135) こ

簡単な欠損値の確かめ方 欠損値を削除する方法 基本的な使い方 全てが欠損値の行を削除する 削除したい列を指定する 変更を元のデータに反映させる 行あたりに残したいデータ数を指定 削除する方向を指定 欠損値を穴埋めする方法 基本的な使い方 列ごとに埋める値を変える 前後の値を使って穴埋めをする 平均値や最頻値などで穴埋め 個別に穴埋めする値を指定する まとめ 参考 実際のデータで分析を行うとデータが不完全で欠損値が含まれていることがあります。 欠損値の扱い方が変わるだけで分析の結果が変化する場合もあります。 そこで本記事では欠損値の処理をすることができるように 簡単な欠損値の確かめ方 欠損値を削除する方法 欠損値を穴埋めする方法 の3つについて解説していきます。 簡単な欠損値の確かめ方 とりあえず各列に欠損値があるかどうかを知りたい、というときはisnull関数とany関数の組み合わせとno

ヒストグラムを作成するhist関数 基数の数を変更する (bins) ラベルを元にヒストグラムを作成する by 非数値データの頻度をヒストグラムで表示する まとめ 参考 Pandasにもヒストグラムを作成する関数hist()が存在します。この関数は値を表示するのではなく、ヒストグラムをmatplotlibを使ってプロットします。単純に頻度の数値データが欲しい場合はvalues_counts関数が便利な関数です。 本記事では ヒストグラムの作成の仕方 value_counts関数を使った非数値データの頻度の出力方法 について解説します。 今回扱うサンプルデータはKaggleのチュートリアルからとってきたものです。 Titanic - Kaggle ここのtrain.csvという名前のファイルを使います。 （ダウンロードするためにはユーザー登録が必要ですが簡単なものなのでしておくことをお勧めし

関数を使わずに条件検索 and, or, notは &, |, ~ 関数queryを使った方法 まとめ 参考 DataFrameの条件抽出はデータ分析において必須の作業です。 この記事では、条件に合致する手法のなかから、 関数を使わない方法 query関数を使う方法 について解説します。 今回は以下のデータsample_extract.csvを使います。 name,age,state,id Satoh,32,Kanagawa,1021 Takahashi,28,NaN,2152 Egawa,NaN,Ohsaka,1432 Maeda,25,Hiroshima,1104 Satoh,29,Ohsaka,2413 Egawa,32,Kanagawa,NaN In [1]: import pandas as pd In [2]: df = pd.read_csv("sample_extract.

結合の仕方の違い 2つのDataFrameを横方向に結合するmerge関数 APIドキュメント params: returns: 基本的な使い方 結合の仕方を変更する 結合を基準にするデータを指定する 被りのあるラベルに添え字をつける まとめ 参考 Pandasにはデータ同士を結合するための関数も豊富に揃っています。そのため、少しわかりにくくなっている部分があるのも事実です。結合操作を自在に使いこなすことができるようになれば、分析作業も楽になるはずです。 そこで本記事では 結合の仕方の違い(left, right, outer, inner) 2つのDataFrameを横方向に結合するmerge関数の使い方 について解説していきます。 結合の仕方の違い それぞれの使い方の解説に入る前に、主にmerge関数で使われる引数howのオプションについて解説します。 SQLを扱ったことのある人にはI

join関数 APIドキュメント params: returns: 基本的な結合 3つ以上のデータの結合 Seriesを結合する 結合後のキーの使用範囲を指定する 左側データで使うキーを指定する 複数キーを指定する 被りのあるカラムラベルに文字列を付け足す まとめ 参考 横方向にデータを結合する関数の代表例としてmerge関数があります。 merge関数は細かい設定ができる一方で、3つ以上のDataFrame(もしくはSeries)をまとめて結合することができません。一方で、join関数は3つ以上のデータを結合することが可能になっています。 また、大きな違いの1つとして結合の基準となるキーのデフォルトが異なっており、merge関数では列データからキーを探してくるのが基本でしたが、join関数はインデックスラベルがキー となっている状態がデフォルトです。 結合していくものはインデックスラベル

pct_change関数 APIドキュメント params: returns: 引数periodsについて 基本的な使い方 periodsを変更する 欠損値の穴埋めをする diff関数 APIドキュメント params: returns: 行間の差分を取る 列間の差分を取る periodsを変えて差分を取る距離を変更する Seriesへの適用 shift関数を使った再現 numpyのdiff関数との比較 まとめ 参考 Pandasにはデータ間の差分をとる関数が実装されています。 1つは単純な差をとったdiff関数で、もう1つは変化の比率をとったpct_changeです。この関数を知っていると売上高の変化や、株価の変化率を簡単に取得することができます。 diff関数はNumPyでも実装されていますが、挙動が若干異なりますのでその辺りも解説していきます。 pct_change関数 まずは変化の

name,age,state,id Satoh,32,Kanagawa,1021 Takahashi,28,NaN,2152 Egawa,NaN,Ohsaka,1432 Maeda,25,Hiroshima,1104 Satoh,29,Ohsaka,2413 Egawa,32,Kanagawa,NaN あえて値にNaN値を入れました。 今回使用するこのCSVをsample_unique.csvの名前で保存します。以下のリンクから保存することができます。 sample_unique.csv SeriesやIndexのユニークな値を調べる ユニークな値を調べる時はunique関数を使うのが定石です。最初にSeriesとIndexのメンバ関数になっているunique関数の使い方についてみていきます。 APIドキュメントは引数を特に必要としない関数なので省略します。 注意しなければならないのはこれ

NumPyとは NumPyのインストール pipを使ったインストール方法 pipが使えない時 pipを使わない方法 科学技術計算やデータ分析、機械学習の分野では必須のライブラリ「NumPy」の環境構築を解説します。 Pythonの環境構築にはpipと呼ばれるパッケージ管理システムがよく利用されます。この記事では、pipを使った方法と使わない方法の両方を解説しています。 NumPyとは NumPyは、Pythonの数値計算のためのモジュールで、高速に数値計算ができることが特徴です。 NumPyで使われる主なクラスはnp.ndarrayと呼ばれる多次元を扱う配列です。NumPy配列は、公式ドキュメントでは単に配列と称されることが多いです。 Pythonは動的型付き言語（データ型が柔軟に帰ることができる）で、柔軟に素早く書くことができる言語として知られていますが、その一方で処理速度がJavaやC

グループ分けした処理の概要 groupby関数を使ってデータをグループ分けする(Splitting) 列データからグループ分け 複数の列データから作成 Indexの値を使う MultiIndexでグループ分け GroupByオブジェクトの中身を確認する GroupByオブジェクトをイテレータとして扱う 特定の列データを指定する グループごとに処理を実行する(Applying) Pandasの組み込み関数を使う apply関数を使って適用させる 複数の関数を一度に適用させる 列ごとに処理を指定する transform関数を使ったデータ整形 フィルタリング グラフにプロットする まとめ 参考 Pandasでの代表的な機能の1つとしてgroupby関数があります。 これはデータをある列データなどを基準にグルーピングして処理を行うために使います。例えば、事業部ごとの売上や、年代別での成績などを算出

Indexオブジェクト Indexオブジェクトに関する基本操作 Indexの指定 Indexの変更 ラベルを振り直す ラベルの値を更新する Indexオブジェクトとデータ部分との互換 カラムとインデックスを入れ替える 様々なIndexオブジェクト params: params: params: まとめ 参考 Pandasにおけるデータ構造DataFrameやSeriesにはデータをラベリングするインデックス名とカラム名が存在します。 仮に、以下のようなDataFrameを作るとします。 In [1]: import pandas as pd In [2]: a = pd.DataFrame([[1,1,1,],[2,1,2],[3,2,3]],index=["one","two","three"], columns=["a","b","c"]) このとき、aはJupyter Noteboo

np.diffの引数は主に3つ存在します。第一引数で差分をとりたい配列を指定し、第三引数でどの軸方向で差分をとるかを指定します。 軸(axis)がどの方向を示しているかについては、以下の記事を参考にしてみてください。 第二引数のnについてですが、こちらは複雑ですので後述します。基本的には、隣り合う要素間の差をとったものを要素とする配列を返すので、差分のとられた次元における配列の要素数は元の配列から1減少したものとなります。 このため、のちほど登場するcumsumを結果の配列に適用しても、元の配列を再現することはできません(初項がわからないので当たり前ではありますが)。 引数nについて 引数nというのは、n階微分の差分をとるということを意味しています。以下は、微分方程式などでよく使う差分法の公式となっています。 このあたりまで来ると感のいい人はいい人は気づくかもしれませんが、これらの係数は二

DataFrameとは params: 実際に使ってみる DataFrameオブジェクトの生成 2次元配列 配列、リスト、またはタプルによって構成される辞書 NumPyの配列 Seriesを含む辞書 複数の辞書からなる辞書 辞書のリストもしくはSeriesのリスト リストやタプルからなるリスト 他のDataFrame Masked array dtypeでデータ型の指定 引数copyの指定 欠損値の補完 データの追加方法 値の削除 値の参照 DataFrameの属性(Attributes) まとめ 参考 PandasにはDataFrameと呼ばれる基本構造があります。Pandasを使う上では基礎知識となりますので、この記事を通して学んでおくことをおすすめします。 DataFrameを理解すればPandasを使うのがぐっと楽になるはずです。 DataFrameとは DataFrameはざっく

Seriesオブジェクトとは params: 実際に使ってみる Seriesオブジェクトの生成 インデックスの指定 引数copyの操作 要素の抜き出し 簡単な操作 NumPy関数の適用 値の追加、変更の仕方 時系列データの扱い Seriesの属性(Attributes) まとめ 参考 Pandasには、最も基本的なオブジェクトとしてSeriesと呼ばれるデータ構造があります。Pandasを使ったコードを書く上での基本的なデータ構造なので、抑えておきましょう。 Seriesオブジェクトとは 公式ドキュメントによると、Seriesオブジェクトは以下のように記述されています。 簡単に言えばNumPyのndarrayの一次元配列のことを指します。しかしNumPyのndarrayとは異なる点があります。 インデックスを番号以外で振ることができる。 オブジェクトそのものに名前をつけることができる。 時

read_csv関数 読み込み方 区切り文字の指定sep インデックスラベルの指定index_col 列名の有無 header 列(カラム)名の指定 names 特定の行だけ読み飛ばす skiprows 欠損値として読み込む値を指定する na_values 分割して読み込む chunksize 文字コードの指定 encoding TimeStamp型として読み込む列を指定する parse_dates まとめ 参考 CSV形式のデータは多くの人が扱えることや、データ形式がシンプルなことからデータ分析でもよく使われます。Pandasを使ってデータ分析をするときも、CSV形式が読み込めると便利です。そこで本記事では、 read_csv関数の簡単な使い方 について解説していきます。 詳しい解説はまた他の記事で扱います。 引数が膨大なので、ここではよく使われるであろう引数について解説します。 この記

PandasとNumPyとの違い NumPyは計算が速い Pandasは扱うデータが幅広い PandasはSQLと似た操作が揃っている Pandasは集計関数などの統計処理に強い Pandasは時系列データに強い Pandasは様々なインタフェースとの互換性を持つ 実際のデータ分析での流れ データの可視化の比較 計算速度の比較 違いのまとめ PandasとNumPyの互換性 NumPy→Pandas Pandas→NumPy まとめ Pythonでデータサイエンスをしている人は必ずと言っていいほどPandasとNumPyを使用していると思います。Pandasは、NumPyを利用してさらにAPIを拡張し、使いやすくしたものです。 本記事では PandasとNumPyの違い PandasとNumPyのデータ型の変換方法 について解説します。 PandasとNumPyとの違い PandasとNu

実際に使い方を確認してみます。第二引数のrepsに軸ごとに繰り返す回数を指定することで、第一引数の配列がタイル状にコピーされて配置されます。 In [1]: import numpy as np In [2]: a = np.array([0, 1, 2]) In [3]: np.tile(a, 2) # 1次元配列を２回繰り返す。 Out[3]: array([0, 1, 2, 0, 1, 2]) In [4]: np.tile(a,(3,2)) # 3×2の二次元配列の要素がaになっているイメージ Out[4]: array([[0, 1, 2, 0, 1, 2], [0, 1, 2, 0, 1, 2], [0, 1, 2, 0, 1, 2]]) In [5]: np.tile(a,(2,3,4)) # 3次元にも並べられる。 Out[5]: array([[[0, 1, 2, 0,

この関数は第一引数に、平均を求めたい配列を、第二引数に平均を求める軸の方向を、第三引数に重みを、第四引数に値の返し方を指定します。 基本的な使い方 それぞれの引数を見ながら使い方を見て見ましょう。まずは、平均を求めたい配列だけを指定する場合から見ていきましょう。 In [1]: import numpy as np In [2]: a = np.array([33, 44, 54, 23, 25, 55, 32, 76]) # 適当な配列を１つ作る。 In [3]: np.average(a) # まずはaの平均を求めてみる。 Out[3]: 42.75 In [4]: a = a.reshape(2,4) # aのshapeを変更。 In [5]: a Out[5]: array([[33, 44, 54, 23], [25, 55, 32, 76]]) In [6]: np.avera

NumPyを使ってみよう 様々な配列を作る インデックスとスライシング ブロードキャスティング NumPyの高速演算 NumPyは、Pythonで多次元配列を扱う数値計算ライブラリです。 NumPyを使うことで 研究のプロトタイプを簡単に実装できる 数多くのライブラリを使い、高度な機能をシステムに組み込める 高速な行列計算ができる など様々なメリットがあります。 本記事では、NumPyに興味を持っている人や簡単にでも使えるようにしたい人向けに一通り読めばどのような機能があり、便利なのかを知ることができるように書いています。 本記事を参考にして、日々の業務や研究に活用してください。 NumPyを使ってみよう まずはPythonを立ち上げます。 python3 まずはNumPyをインポートします。 慣例としてNumPyはnpとしてインポートすることが多いです。 >>> import numpy

NumPyは、多次元配列を扱う数値演算ライブラリです。機械学習だけでなく画像処理、音声処理などコンピュータサイエンスをするならNumPyを学んでおくことで、あなたの日々の研究や開発の基礎力は格段にアップするはずです。 プログラミングの初心者から、Webエンジニア、これから研究する人など、初学者にも分かりやすく優しく説明することを心がけて必要な知識が身につくように解説しています。 腰を据えて学習する時間と余裕のある方は、Step1から順に進めていくことで、苦手意識のあった方でも一通り読み終わる頃には理解できなかったPythonとNumPyのソースコードがスラスラと読めるようになるはずです。 上級者の方は、分からない記事だけ読むだけでも、力になると思われます。あなたのプログラミング能力を向上する手助けになることをお約束します。このサイトを通して、コンピュータサイエンスに入門しましょう。 Ste

データの正規化 z-score normalization (標準化) min-max normalization ベクトルなどの正規化 参考 機械学習の分野などで、データの前処理にスケールを揃える正規化(normalize)をすることがあります。 正規化という言葉自体は様々な分野で使われているため、意味が混乱してしまいますが、ここでは数量に関する正規化（数学的意味合いにおける正規化も含む）を紹介します。 数量を扱った正規化自体には主に2つのやり方があり、それぞれ用途に応じたものを使い分けましょう。 データの正規化 データの正規化は、異なる種類のデータを1つの尺度にまとめるために行う正規化です。 例えば、学校の試験で英語が80点、数学が60点だったとします。このとき、点数だけを見れば、英語の方が成績が良さそうですが、クラス内の平均点が英語が78点、数学が30点で標準偏差が共に10であったら

等差数列 np.arange params: returns: ある終点だけを指定した場合 公差を指定する データ型を指定した場合 Pythonで連番を生成するためには、range関数をよく使用します。例えば、以下のように使用すると、0..9の値を生成するジェネレータを返すので、リスト内包と一緒に使うことで0..9の要素を含むリストが作られます。 >> [x for x in range(10)] [0, 1, 2, 3, 4, 5, 6, 7, 8, 9] このような連番要素を含むndarrayを生成しようとしたときに、Pythonのrangeを使用して以下のようにすることもできます。 >> np.array(range(10)) array([0, 1, 2, 3, 4, 5, 6, 7, 8, 9]) もっと簡単かつ高速に生成するために、NumPyには連番や等差数列の要素を含むnda

meshgrid params: returns: 格子点の作成 indexing引数を指定 スパースグリッドでメモリを節約 グラフでの利用 np.meshgrid関数は、x, y, …の各座標の要素列から格子座標を作成するために使います。 例えば、xが0~4、yが0~4の36点の格子点の各座標の要素列を求めたいとしましょう。Pythonコードを使用すると、以下のように求めることもできます。 >> xx = np.array([[x for x in range(5)] for _ in range(5)]) >> xx array([[0, 1, 2, 3, 4], [0, 1, 2, 3, 4], [0, 1, 2, 3, 4], [0, 1, 2, 3, 4], [0, 1, 2, 3, 4]]) >> yy = np.array([[y for _ in range(5)] for

公式サイトの解説より これは畳み込みニューラルネットワークで行っている畳み込み(convolution)と同じことを１次元で行っているとも言えます。畳み込みニューラルネットワークについては以下の記事を参考にしてください。 定番のConvolutional Neural Networkをゼロから理解する /deep_learning/2016/11/07/convolutional_neural_network.html パラメータmodeについて ここでのnの範囲を定めるのが引数modeとなります。モードごとの処理内容は以下の通りです。 full ： vの範囲いっぱいまでaの範囲内で積分を行うため、返される配列の長さはN+M-1となります。このとき、信号の残響を見ることができます。 same：配列の長さがmax(M,N)となり、長い方の配列に要素数を合わせます。 valid：うまくaとvの

定数np.newaxisを用いた方法 np.reshape関数での代用 両者の比較 参考 NumPyの配列に次元を追加する方法は主に2つあります。np.newaxisをスライシングに指定する方法とnp.reshapeを使う方法です。この2つを比較しながら、使い方を紹介します。 定数np.newaxisを用いた方法 NumPy配列(ndarray)のスライシングにnp.newaxisを指定する方法がよく使われます。この定数を使うことで、使われた次元に要素数1の新たな軸(axis)を追加することになります。np.newaxis自体はNoneへの参照です。 In [1]: import numpy as np In [2]: np.newaxis is None Out[2]: True np.newaxisをNoneで代用することも可能ですが、コードの分かりやすさという面で次元を追加する場合に

そもそもcopyとviewとは何なのか 操作による違い 代入 演算 配列の一次元化 fancy indexing copyかviewか確かめる方法 may_share_memory関数を使う方法 base属性(attribute)を使う方法 参考 NumPyの配列要素を複製した際のオブジェクトはコピー(copy)とビュー(view)に分類することができます。この2つについての理解が深まると、メモリ効率や速度を意識したコードが書けるようになります。 本記事を通して、copyとviewについての理解を深めましょう。 そもそもcopyとviewとは何なのか copyとviewというのはオブジェクトであり、元となる配列との関係性で定まります。両者の特徴をまとめると以下のようになります。 copy：元の配列と違うメモリを使用しているが要素が同一の意味を持つもの view：元の配列と同じメモリを参照し

スライシングとは 使い方 各々の軸(axis)方向において 多次元への拡張 NumPyのndarrayは多次元配列を扱うデータ構造で、多次元のデータ構造をより操作しやすくするために、スライシングという機能を備えています。 Pythonのリストは、以下のように特定の範囲を切り取ることができます。 In [1]: a = [1, 2, 3, 4, 5] In [2]: a[1:-1] Out[2]: [2, 3, 4] :を使って範囲の始めのインデックスと終わりのインデックスを指定することで、目的の要素を取得することができます。 NumPyのndarrayのスライシングは、同様の機能を多次元に拡張したようなものです。 スライシングとは スライシングとは、配列の中において、特定の範囲の要素を抜き出す際に利用する機能です。この範囲に対して特定の値を代入することや切り取ることなどできます。NumPy