データ分析の会社に転職してから3ヶ月。 最初の1ヶ月はPandasの扱いに本当に困ったので、 昔メモしてたことを簡単にブログに記録しておく(o ･ω･)ﾉ 【追記】2017/07/31 0:36 データが一部間違ってたので修正しました Pandasとは pandasでよく使う型 テストデータについて 余談 Pandasでのデータ操作入門 pandasのload データ(csv)のロード データのサイズ データのカラム 行列から必要な列(カラム)を取り出す 条件にマッチするデータを取り出す 1. DataFrame.queryで取り出す True/FalseのSeries型を指定し、Trueの行だけを取り出す 追記(2017/12/14) 行列から必要な行番号を指定してを取り出す グループ分けと集計 新たな列を追加する 固有値を追加する 他の列を加工して新たな列を作る 他の複数列を加工して新

計算は、慣れない人のアタマには負担だが、規則通りに進めていけばいいという利点がある。 たくさんの要素を扱ったり、複雑に込み入った推論を進めることもまた、人には負担の大きい作業だが、計算の形に変換することができれば、途中過程を規則的な繰り返し作業に置き換えることができる。たとえば機械に手伝ってもらえる。 今回、紹介するのは、数値化／統計的処理が難しい事象や、質的研究について、計算＝演算の力を導入するとどんなことができるかという一例※である。 ※　続くかどうかわからないが Sociology on Pythonシリーズの第一弾でもある。 ブール代数アプローチ(boolean algebra approach) ブール代数アプローチは、 Ragin(1989)によって、真理表とブール代数に依拠した比較分析の手法として、質的比較分析(Qualitative Comparative Analysi

Pythonによるデータ分析入門――NumPy、pandasを使ったデータ処理 を読んでいて、よくわからなかった箇所があったのでメモ。 numpyのargsort()の動きについてです。 http://docs.scipy.org/doc/numpy/reference/generated/numpy.argsort.html >>> x = np.array([3, 1, 2]) >>> np.argsort(x) array([1, 2, 0]) ドキュメントによれば、argsort()は、ソート結果の配列のインデックスを返すとのことのようですが、 これの意味が当初よくわからなかったので実際に動かして確認してみました。 もとの配列は、[3, 1, 2]となっており、それぞれのインデックスは、 左から0(対応する値は3), 1(対応する値は1), 2(対応する値は2)となります。 対応が

Pythonで一番有名で普及しているライブラリと言っても過言ではない「Numpy」の覚書きです。かなり多機能な数値計算ライブラリで、内部はC言語で記述されているため超高速に動作します。 ベクトル ベクトルの長さ＆正規化 import numpy a = numpy.array([[2,2]]) #ベクトルの長さ length = numpy.linalg.norm(a) #length=>2.8284271247461903 #ベクトルの正規化 a / numpy.linalg.norm(a) #=>array([[ 0.70710678, 0.70710678]]) 内積＆外積 import numpy v1 = numpy.array((1,0,0)) v2 = numpy.array((0,1,0)) #内積 numpy.dot(v1,v2) #=> 0 #外積 numpy.cros

機械学習といえば「Python」です。なぜPythonなのかというと、数値演算や機械学習に関するライブラリがたくさん揃っているからだそう。行列がとても扱いやすいNumPy、グラフ描画が簡単にできるmatplotlib、機械学習のscikit-learnなどなど… 機械学習ではこの３つのライブラリを大いに活用します。 まずは今回はscikit-learnを使った機械学習ではかなり重要になってくる「NumPy」を学びます。 私はPythonもはじめてなのでまずはPythonの概要を把握しつつ、「100 numpy exercises」というNumPyを基礎から学べる問題集を写経して学習したいと思います。 環境構築 まずは環境構築です。詳しくは下記のリンクに飛んで確認いただきたいのですが、Macの場合は、Pythonのバージョン管理システムである「pyenv」と、分析環境を構築するのに便利な「A

データ分析言語としてデータサイエンスの世界での存在を日々増している(と言われる)Python。 Pythonでのデータ分析、特にPandasの使い方についてまとめてみました。 ・Rユーザーの方がPythonを使いたい場合には特に有用だと思います。 ・基本的なデータハンドリングの方法に主眼をおいています。 RユーザーがPandas,Numpyを使う場合の早見表 #####【Slide Share】Python for R uses Rで使う記法をPythonで再現するにはどうしたらいいかの 比較早見表が列記されており、RでやっていたことをPythonでやろうと 思ったらかなり有用だと思います。 http://www.slideshare.net/ajayohri/python-for-r-users #####【Pandas Official】Pandas -comparison with

回帰分析I：回帰分析って何？ から、最小二乗法、モデル評価、妥当性検討の実際まで：ITエンジニアのためのデータサイエンティスト養成講座（6）（3/3 ページ） 手順4：モデルの修正：より精度の高いモデルを検討する 前述の3つのポイントからの評価からもモデル（1）でも十分精度のよいモデルだと判断されることがお分かりいただけたと思いますが、もっと精度の高いモデルを作ってみたいと思います。 グラフ2を見ると、身長が低いときの体重の増加量よりも身長が高くなってからの体重の増加量の方が大きく、身長と体重との関係は直線ではなく曲線と仮定することもできます。 確かに“体積は長さの3乗に比例して大きくなる”ということと“重さは体積に比例する”という、物理的な法則を身長と体重の関係に関して当てはめて仮説を見直すと、「体重は身長の3乗に比例する」という仮説を立てることもできます。 [体重]＝[身長]^3×[係