Pythonでゼロから機械学習/データ分析を学ぶためのサイトマップ

データ分析ガチ勉強アドベントカレンダー 24日目。

当サイトでも、Pythonを使ったデータ分析や機械学習について、勉強しながらそれをアウトプットとして出すと言うかたちで、何個も記事を書いてきました。 記事数で言えば50とかそのくらいあるような気がします。

カレンダーも完成しつつあるので、個々では当サイトの総まとめとして、機械学習やデータ分析に触れたいという人がゼロから始めて触れられるように、記事をまとめていきたいと思います。 何か面白いことを勉強したい学生、就職までの勉強に、急に機械学習を使わなければならない社会人方々は、読んで見てください。

0. 環境構築

まずは何と言っても環境構築。Pythonは他の言語に比べて構築が簡単な方だとは思いますが、ここでかなり苦戦する人が多いです。

0.1. Pythonの導入 (Anaconda)

当サイトではWindowsでも環境構築が簡単に出来るように記事を書いています *1*2。全くゼロから始める方はコチラをどうぞ。

Windows10でちょっとしたpythonコードを使う環境を作る、その② -- Gitの設定 with Pycharm

0.2. エディタ (Pycharm/VSCode)

いわゆる高機能メモ帳。実際にコードを書き始めると、自分好みのエディタが欲しくなるものです。当サイトでは、PythonならPycharmを、またオールラウンドに使えるエディタとしてVSCodeを紹介しています。

Windows10でちょっとしたpythonコードを使う環境を作る、その② -- Gitの設定 with Pycharm

高機能エディタ『VScode』をもっと便利にするおすすめの使い方

0.3. バージョン管理 (Git)

(※あれば便利ですが無くてもコードは書けるので、面倒な方は飛ばしてもらってOKです。)

賢くコードを管理する仕組みです。ちょっと試したいことがあるだけなのに、コードを一部変更して、そのご間違って保存したりすると悲しいですよね。 そんなことがないように、しっかりと自分の作ったコードのバージョン管理しましょう。Gitの基本的な使い方はこちら

Gitでまず初めに覚えるコマンド集

Gitで操作(add, commit, push)を取り消す方法

【diffmerge】Gitのコンフリクト解消に便利なツール

また、当サイトのGithubアカウントはコチラです。

github.com

作ったおもちゃや勉強の様子を保管しているので、よろしければぜひ。

1. Pythonの使い方(基本ライブラリ)

環境が作れたら、いよいよコードを書いていきます。 Pythonはライブラリが充実しているので、それらを使いながらコードを書いていきます。 機械学習専用のライブラリもあるのですが、まず必ず入れておくべきライブラリであるnumpy, matplotlib, pandas, jupyterの使い方を紹介しています。

1.1. 数値計算 : numpy

これを用いることで面倒な基本計算(平均計算、行列計算、etc...)を一行で書けるようになります。スゴい！

【初級・中級編】numpyの勉強に『100 numpy exercise』を全部やってみる

【上級編】知らないコトがいっぱい...！『numpy 100 exercise』を全部やってみる

【より高度な演算】【einsum】アインシュタインの縮約記法のように使えるnumpyの関数。性能と使い方を解説。

1.2. 表計算/統計処理 : pandas

Pythonで表を読み込んだり、計算したり、また表として書き出したりするにはpandasがとても便利。 少し使い方にクセがありますが、かなり強力なので、是非身につけておきたいものです。

都道府県のデータをいじりながら、pandasを学ぶ

1.3. グラフ描画 : matplotlib

データ分析をしていると、結果をグラフで可視化したいということが多くあります。 そういうときにはmatplotlib. これ一つで色々なグラフを書くことが出来ます。

また、よりオシャレなグラフを作りたい方向けに、KibanaとElasticsearchで可視化する方法も書いています。この場合は、Python以外の知識も必要です。

【基本操作】python matplotlibで見栄えの良い色, グラフを作るTips

【面白いグラフを作りたい方向け】【xkcd】pythonコードにたった一行で漫画のようなグラフを作る！

【オシャレな可視化(not Python)】elasticsearch-kibana-pythonでオシャレな可視化

1.4. インタラクティブなコード実行 jupyter

jupyterの良い点はちょっとずつコードを書きながら試すことが出来るというところです。 コード書いて、コンパイルして、実行...を短いサイクルで回すイメージ。 同時にメモも残せるので、研究や実験に最適です。

【導入編】研究・プログラミングメモはもうこれで完璧。 jupyterが超便利!!

【総まとめ編】ゼロからJupyterの達人に！使い方の総まとめ。

2. データ分析事始め

Pythonがある程度使えるようになったら、データ分析/機械学習のお勉強です。

その際に参考になる本やサイト、ライブラリなどをざっと洗い出した記事がありますので、リファレンス代わりにしていただければなと思います。

データ分析/機械学習を行うために知っておきたいことを列挙する

3. データ分析の流れ

ここから、実際に機械学習を交えながら、データ分析を進めます。

実務では、下図のようにデータ分析を進めていくのですが、その流れを、sklearnを使いながら説明していきます。

3.1 データを集める

まず、データを集めないといけません。 モデル/アルゴリズムの性能を調べたいときに、sklearnはいろいろなデータを予め用意してくれています。

また、情報を集めたいときはスクレイピング/クローリングなどの技術が必要です。 beautifulsoupを使ったり、公開APIを使うなどして、データを集めましょう。

【データセット】sklearnで機械学習用データの作り方/使い方をまとめる

【日本版MNIST】江戸時代の古典くずし字データセットが面白い！

【ビットコイン情報】仮想通貨の全銘柄を集められるAPIを使って分析してみた

【はてなAPI】はてブ情報をpythonで可視化できるようにしたよ！

3.2 データ分析の流れ

【前処理】絶望的なデータを前処理で何とかする。(pandas/sklearn)

【評価 : 数式レベル】機械学習で使う指標総まとめ(教師あり学習編)

【評価 : 実装レベル】機械学習で使う指標まとめ(実装編)

【モデル選択】Cross Validationとパラメータサーチでモデルの調整

4. 時系列データ

時間依存のあるデータはそうでないデータに対して、少し扱いが面倒だったりします。 けれど、扱うことも多いので、まとめています。時系列に関する基礎的なまとめから、ディープラーニングに至るまで、まとまってますので、読んでみてください。

【時系列まとめ】時系列分析の良リソースまとめ&基礎チュートリアル

【時系列予測ライブラリ】『Prophet入門』簡単に高精度を実現するFacebook謹製の時系列予測ライブラリ

【株価で時系列分析1】株価や仮想通貨で使える、5つのテクニカル分析を解説&Pythonで実装してみた

【株価で時系列分析2】ベイズ的最適化で株価の最強ゴールデンクロスを見つけたい

【時系列のディープラーニング】時系列のディープラーニング、RNNのまとめとKeras実装

6. 深層学習

最近界隈を賑わせているディープラーニングに触れない訳にはいかないでしょう。 当サイトでは、KerasとPyTorchの2つに絞って、その使い方について説明しています。

6.1 自作

ライブラリを使う前に、ディープラーニングのココロを知るため、まずはPythonで自作しました。

1から書くと、どういう思想でネットワークが組まれているのかとか、学習の仕組みなどが分かるようになります。

ニューラルネットを0から作り、仕組みを基礎から理解する

6.2. Keras

とっつきやすさでは随一のKeras。簡単なデータ分析に使うにはこれで十分だと思います。ディープラーニングなんて知らなくても使えるそのお手軽さはスゴい。

DeepLearning系ライブラリ、『Keras』の使い方まとめ(2.x対応版)

6.3 PyTorch

研究者界隈で盛り上がりを見せているPyTorch。すこしコード記述量は増えますが、Define by Runの設計しそうなので、かなり柔軟な設計が可能。 更に、Sklearnとの連携で、より使いやすくなります。各ライブラリとの比較も書いていますので、是非ご一読を。

【入門】『PyTorch入門』 使い方&Tensorflow, Keras等との違いとは？

【PyTorch×sklearn】PyTorchを超絶使いやすくするsklearnラッパー『skorch』で快適ディープラーニング

7. 教師なし学習(異常検知/次元削減など)

上記までが、正解データのラベルに従って学習を進めていく教師あり学習です。 実際の現場では正解データを使わないタスクも多くあります。

異常検知*3や、座標を変換する空間変換など、正解データという概念が無いようなものに対してもまとめましたので、必要な方はどうぞ。

【異常検知の基本】統計的異常検知/変化検知の基本をまとめる

【Change Finder】データ分析技術で仮想通貨の暴騰・暴落を捉えられるか

【次元削減や座標変換】機械学習で使う"距離"や"空間"をまとめてみた

8. 強化学習

強化学習は、教師あり学習とも教師なし学習とも違います。

実験して、その結果が帰ってきて、学習してまた実験する。

そのようなまるで人間のような学習の方法です。定式化が出来ない複雑な状況などに応用が期待されており、 実際にマーケティングの広告の配置などに使われたりしています。

【強化学習勉強用github】DQNの実践&理論の勉強もできる記事の紹介

【強化学習ライブラリ : ChainerRL】DQNを秒速で扱える『ChainerRL』使い方メモ

【ゲームに挑戦】スマブラ！ダンレボ！人工知能が人間に挑戦しているゲーム事例5選

9. 実際にデータ分析をしている記事

当サイトでは、実際に分析を行った記事をいくつか載せています。

そこまで高度なことはしていませんが、記事からデータ分析から分かること、データ分析のちからを感じてもらえればと思います。

【回帰分析】孫悟空の戦闘力を回帰分析で予想したら凄まじかった。

【Google Search Console】Google Search Consoleの検索順位とクリック率を分析して、リライト戦略を考える

【データリテラシー】数字に騙されるな！リテラシーを身につけるための事例5選

【ブログ分析】ブログは一年続くの？読者数は？2万件のはてなブログで分析する

まとめ

いかがでしたか。かなりいろいろなことをやっていたので、一つにまとめました。

今回のアドベントカレンダーは、この記事の順番を意識して進めてきました。その流れで勉強していくと、割とスムーズに進められるのではないでしょうか。

データ分析業界が盛り上がっているので、これを機に一念発起して勉強したい方なども、ぜひご参考ください。ではでは！

【Advent Calendar】

前の日 : 【Day-23】機械学習で使う"距離"や"空間"をまとめてみた

次の日 : 【Day-25】知識0だった僕がデータ分析をこれまでどう学び、これからどう使うのか

*1:MacやLinuxは環境構築方法をWebで漁れば簡単に出て来るし、またハマりどころもそんなに多くないので、ぐぐってみてください。

*2:機械学習ライブラリによっては、どうしてもwindowsで出来ないものもあります。

*3:厳密に言えば教師のある異常検知もあります。