はてなブックマーク

はじめに 多次元時系列データのクラスタリングがしたいと思って探していたところ、 ちょうどこちらのブログの題材が台風軌道のクラスタリングという、多次元時系列かつ系列長の異なるデータをクラスタリングするというものだったので、理解を兼ねて同じ内容をpythonで実施してみたのが今回の内容になります。 参考資料 題材と内容を参考にさせていただいたブログ https://y-uti.hatenablog.jp/entry/2016/01/07/154258 DTWについてのわかりやすい資料 http://sinhrks.hatenablog.com/entry/2014/11/14/232603 気象庁の台風データ http://www.data.jma.go.jp/fcd/yoho/typhoon/position_table/ tsleanのドキュメント https://tslearn.read

はじめに 前に類似本検索システムを作成したのですが、その中で数万ある本の候補の中から探したい本の検索する部分があります。 そのときは入力された単語に対し検索を全書籍に対して行う、という最も単純な手法を実装したのですが、 もう少しいいやり方がないかなーといくつか資料を読んで改善を実施したのでその過程を記述します。 参考資料 図書館情報学オタクと学ぶ 検索エンジニア入門 検索技術勉強会の資料 Whoosh公式 Sudachi公式 現状の問題点 複数のワードを入力することができず、OR検索やNOT検索もできない 登録されている書籍を全検索しているので、件数が増えた場合に検索時間が線形に増える。 検索が一致した後のリストの返し方に何も優先順位をつけていない 解決方法 pythonで利用できる全文検索パッケージのwhooshを使います。商用ではサーバ機能を併せ持つElasticsearch等が使われ

※この記事で使用している多重代入法のパッケージは正式な多重代入法の枠組みとは異なりますのでご注意願います。 はじめに 最近多重代入法という欠損値補完の手法があることを知りました。 統計学の界隈では欠損値補完は多重代入法を使用するのがベターのようですが、 機械学習の文脈ではあまりその手法が使用されている形跡がなかったので、 なぜそうなのか調査・実験した結果を記述します。 参考資料 欠測データ処理: Rによる単一代入法と多重代入法 欠損値について 欠損には大きく以下の３種類があります。 ・MCAR(Missing Completely At Random):完全にランダムに欠損 ・MAR(Missing At Random):観測データに依存する欠損 ・MNAR(Missing Not At Random):欠損データに依存する欠損 多くの学習器は欠損値を入力できないので欠損値に対応する必要が

はじめに RCTが使えない場合の因果推論の手法として傾向スコアを使う方法があります。 傾向スコアの算出はロジスティック回帰を用いるのが一般的ですが、この部分は別にlightgbmとか機械学習的な手法でやってもいいのでは？と思っていましたが既にやっている記事がありました。 統計的因果推論(3): 傾向スコア算出を機械学習に置き換えてみると - 六本木で働くデータサイエンティストのブログ 統計的因果推論(4): 機械学習分類器による傾向スコアを調整してみる - 六本木で働くデータサイエンティストのブログ 機械学習系の手法で算出した傾向スコアの値は、どうやら実際の確率とはずれが生じるようで、calibrationを行った方がよいということでした。 この部分について、実際にそうなのかが気になったので試してみることにしました。 実装 データは上記記事と同様に岩波データサイエンスvol3のものを使用し

はじめに AtCoderは競技プログラミングのサイトです。ほぼ毎週のようにコンテストが開催され、参加者が複数の問題を解き、解いた問題数とその早さから順位がつきます。また各参加者はレーティングを持っていて、そのレーティングが順位によって変化するというシステムになっています。 コンテストの問題には100,200,300などの得点がついており、これが難易度の目安となるのですが、同じ400点の問題でもこれは簡単すぎでは？というときから絶対無理…となるときもあるので、実質の難易度は得点とは少しずれが生じていると考えられます。 特にAGC(AtCoder Grand Contest)や企業コンテストは通常のABC(Atcoder Beginner Contest)やARC(Atcoder Regular Contest)と同じ得点でも難易度が結構異なるように感じます。 今回はこのテーマに対し、項目反応

はじめに 最近は統計モデリングについて学んでいますが、具体的にこういうケースでは統計モデルを使うべきだというケースが自分の中で定まっていません。そのあたりをつけるために実験を行なっていきたいと思います。 データセット 今回は こちらの岩波データサイエンスvol.3のデータを使用しました。 このデータセットは市場調査のデータで、ユーザごとの年齢や性別などのデモグラ情報、CM視聴の有無とCMを実施したゲームのプレイ時間などが入っています。 CM視聴がゲームのプレイ時間に与える効果を推定したいのですが、 CM視聴者にバイアスがかかっているために集計や通常の回帰ではおかしな結果がでます。 そのため上記の本では傾向スコア等の因果推論の枠組みを用いて効果の推定を行なっています。 このデータセットに対する取組はこちらでも詳しく書かれています。 https://tjo.hatenablog.com/ent

はじめに 時系列解析を行う上で、状態空間モデルが現状使用できる手法の中で優れているのではと自分の中で話題だったので、 使ってみることにしました。 状態空間モデルを使うことの目的 時系列解析を行う上でもモデルの種類は無数にあるのですが、 どういう場合に状態空間モデルを使うのでしょうか？ この部分については以下のサイトに詳しく書かれていました。 https://logics-of-blue.com/%E3%81%AA%E3%81%9C%E7%8A%B6%E6%85%8B%E7%A9%BA%E9%96%93%E3%83%A2%E3%83%87%E3%83%AB%E3%82%92%E4%BD%BF%E3%81%86%E3%81%AE%E3%81%8B/ 状態空間モデルはデータが得られるプロセスとは何か？を重視したモデルであり、 回帰分析よりも各要因の影響が納得性の高い形で見ることができ、またその構

はじめに 箱根駅伝は好きで割と毎年見ているのですが、 マラソン系の競技ってパフォーマンスの分散が対人競技と比較すると小さくなるため、実は事前の情報から結果を予測することが比較的容易なんじゃないか？という疑問が浮かんだので、各大学が優勝する確率を出してみることにしました。 方針としては、箱根駅伝に出場する各校のトップ10人の10000m平均タイムより箱根駅伝の予測タイムの分布を算出し、 算出した予測分布を用いて各校が優勝する確率を予測します。 データの収集・確認 各年の10000mのタイムと箱根駅伝の総合タイムについては以下のサイト参考にさせていただきました。 http://www13.plala.or.jp/jwmiurat/index.html http://www.hakone-ekiden.jp/data/data_index.php 上記のサイトより2013-2018年の過去５年分