長かったデータ分析ガチ勉強カレンダーも最終日*1。 自分のこれまで歩いてきた道を軽く振り返ったあと、自分が思う機械学習/データ分析のあり方について書き連ねたいと思う。あくまで一つの価値観として楽しんでもらえればと思います。 データ分析って何？状…

データ分析ガチ勉強アドベントカレンダー 24日目。 当サイトでも、Pythonを使ったデータ分析や機械学習について、勉強しながらそれをアウトプットとして出すと言うかたちで、何個も記事を書いてきました。 記事数で言えば50とかそのくらいあるような気がしま…

データ分析ガチ勉強アドベントカレンダー 23日目。 ここまでデータをどういう風に処理したり、どういうタスクをこなしていくかについて勉強してきたが、 一度基礎的な事項に戻ってみたいと思う。基礎だから簡単というわけではない。基礎だからこそ難しく、ま…

データ分析ガチ勉強アドベントカレンダー 22日目。 今日は、データ分析の練習も兼ねて、ちょっとした実験！！ 対象は最近話題の仮想通貨。 乱高下の激しい通貨に対して、データ分析技術がどこまで通用するかと言うのを検証してみる。 使う技術 : Change Find…

データ分析ガチ勉強アドベントカレンダー 21日目。 世の中のデータ分析のニーズは、何らかの異常を発見したいというところに多くある。 機械で言えば故障を検知する、マーケティングで言えば流行を発見する、株価で言えば相場変動を見つける... 普通と違うこ…

データ分析ガチ勉強アドベントカレンダー 20日目。 Skorchとは インストール 使い方 データ読み込みはsklearn 学習ネットワークの構築はPyTorch skorchでwrap sklearnとのその他連携 pipeline Grid search MNIST 結果 まとめ Skorchとは PyTorchのsklearnラ…

データ分析ガチ勉強アドベントカレンダー 19日目。 2日間、Kerasに触れてみましたが、最近はPyTorchがディープラーニング系ライブラリでは良いという話も聞きます。 とりあえずTutorialを触りながら使ってみて、自分が疑問に思ったことをまとめていくスタイ…

データ分析ガチ勉強アドベントカレンダー 18日目。 Kerasの使い方を復習したところで、今回は時系列データを取り扱ってみようと思います。 時系列を取り扱うのにもディープラーニングは用いられていて、RNN(Recurrent Neural Net)が主流。 今回は、RNNについ…

【最終更新 : 2017.12.17】 ※以前書いた記事がObsoleteになったため、2.xできちんと動くように書き直しました。 データ分析ガチ勉強アドベントカレンダー 17日目。 16日目に、1からニューラルネットを書きました。 それはそれでデータの流れだとか、活性化関…

データ分析ガチ勉強アドベントカレンダー 16日目。 今日からは少しディープラーニングの勉強。 ここ数年間、深層学習用ライブラリも猛烈に整備され、誰でも簡単にディープラーニングを使えるようになりました。 その一方で、整備されすぎて、魔法の箱だとい…

データ分析ガチ勉強アドベントカレンダー 15日目。 最強のゴールデンクロス、それは最も儲かるように移動平均線を引いたときの交点 である。 一説には、テクニカル分析は、チャートにすべての情報が詰まっているという前提があるそうですね。 ということは、…

データ分析ガチ勉強アドベントカレンダー 14日目。 時系列データでまず思いつくのは、株価のチャートですよね。 また、最近はやっている仮想通貨。私も最近coincheckに入金しました。 ビットコイン取引所 "coincheck" やっぱ、実際にお金が絡むとちゃんと勉…

データ分析ガチ勉強アドベントカレンダー 13日目。 仮想通貨がはやり始めて、チャートを見るようになった人も多いのではないでしょうか？ チャートから予測をしたい という思いを持ちつつも、結構ハードルの高いのが時系列予測。 それをできるだけ簡単にでき…

データ分析ガチ勉強アドベントカレンダー 12日目。 今までは、時間に依存しないデータについて取り扱ってきました。 しかし、世の中のデータは時間に依存したデータも多いのが事実です。 時間に依存しないデータは、その分各データを独立に扱うことができま…

データ分析ガチ勉強アドベントカレンダー 11日目。 モデルを選び、試行錯誤しながら作っていく、そんな過程まで勉強してきました。 実装寄りの内容になったので、ここで一度機械学習界隈を俯瞰してみようと思いまして、調べると出てくる有名なチートシート M…

データ分析ガチ勉強アドベントカレンダー 10日目。 データを集め、前処理を行い、学習をする。 どういう学習器が良いのかの評価基準 の勉強までできた。でも、データがあって、評価基準がわかっていても、どうやって評価すればいいかについてはまだあまり触…

データ分析ガチ勉強アドベントカレンダー 9日目。 データを学習器に入れるところまではできた。後は学習させるだけ！ だが、学習器といってもたくさんある。どういう学習器を選べばよいのだろうか。 そのためにはモデルをうまく評価するしくみを作らなければ…

データ分析ガチ勉強アドベントカレンダー 8日目。 Day-7の記事で、データを取り扱えるようになりました。 しかし、データがいつもきれいで美しいものだとは限りません。なかには絶望的なデータもたくさんあります。 機械学習等の学習器に投げ入れるには、も…

データ分析ガチ勉強アドベントカレンダー7日目。 今日からはscikit-learnを取り扱う。 機械学習の主要ライブラリであるscikit-learn(sklearn)。機械学習のイメージをつかみ練習するにはコレが一番よいのではないかと思われる。 今日はデータを作って、(必要…

こんにちは、ほけきよです。 データ分析ガチ勉強アドベントカレンダー6日目。 当ブログもJupyterに関するメモをたくさん記してきました。 今回は保存版ということで、Jupyterの基礎事項から、ちょっとしたTipsなどを総まとめしておきます。この記事を読めばJ…

こんにちは、ほけきよです。 MSのツールの中でも、パワポだけは優れたツールだと思っているんですよ。 けれど、せっかく技術者ならば、そこら辺も新しいツールを使ってみたいものです。 最近エンジニア界隈では、reveal.jsを使ってHTMLでプレゼン資料を作っ…

データ分析ガチ勉強アドベントカレンダー4日目。 今日はpandasを取り扱う。 機械学習系の本にも、numpy、scipy, matplotlibの使い方は載っていても、pandasを載せている本って意外と少ない。 けれど、実際numpyの次くらいによく使う。データを取り扱ったり、…

データ分析ガチ勉強アドベントカレンダー3日目。 今日も引き続き、100 numpy exercise をしていく。 github.com 今日は上級編。初級、中級でさえかなり難しかったので、不安ではあるが...とりあえずやっていく！ 【Day-2】numpyの勉強に『100 numpy exercise…

データ分析ガチ勉強アドベントカレンダー2日目。 数式を扱うことが多くなるので、numpyの復習をしたいと思う。使ったのは100 numpy exercise github.com numpyを用いるさまざまな問題が用意されていて、大変勉強になる。 今回は自分の実力を試すために、自分…

データ分析ガチ勉強アドベントカレンダー一日目。 まずは指針をということで、データ分析をはじめるにあたって勉強しておきたいことと、そのリソースをまとめる。言語はPythonを想定。 興味領域が偏っている場合があるのであしからず こんなの面白いよってい…