はてなブックマーク

どうやら最後にふりかえり記事を書いたのが2013年だったので、どうやら丸5年間ふりかえっていないことに気づいた。ちょうどはてなダイアリーをはてなブログに移行したことだし、5年間のふりかえりをしてみることにした。思いがけず長文になってしまったので、誰が読むんだろうと思いつつも、自分用の記録として残しておく。 2014年 人生の転機と言える年だろう。6年間務めた前職を辞めて転職、そして年末に渡米。2歳の子供がいて、妻も妊娠していたこともあり、1年早くても1年遅くてもこの決断はしなかったように思える。前職の思い出をふりかえると、とにかくかけがえのないものを学んだ6年だった。大企業ならではの堅苦しい制度については批判の方が多いが、その経験こそアメリカ生活で大きく役に立っていると断言できる。2018年後半には同じ会社を退職した人々が某社に対して批判的なブログ記事を書いて世間を賑わせていたが、自分に関

長い時間バグの原因がわからずハマって相当イライラさせられたのでメモ。これのおかげでixとilocの違いがわかった気がする。 こんなDataFrameを用意する。インデクス名が行番号と一致していない。けれどint型（ここがポイント）。DataFrameから部分的にDataFrameを取り出した場合に起こりうる状況である。 >>> d = pd.DataFrame([[1,2,3],[4,5,6], [7,8,9]], columns=['A','B','C'], index=[3,4,5]) >>> d A B C 3 1 2 3 4 4 5 6 5 7 8 9 さて、最初の2行を取り出したいなぁと思ってixを使って行指定をしてみる。 >>> d.ix[ [0,1] ] A B C 0 NaN NaN NaN 1 NaN NaN NaN >>> d.ix[ [3] ] A B C 3 1 2

忘れたころに使いどころが出てくるソケットまわりの話．socketの設定にはsetsockopt(2)でいろいろやるのだけれど，今回は以下の2ケースのタイムアウト設定に挑戦して，ぜーんぶうまくいかなかったけれど，いろいろ試行錯誤したから失敗記事にしてみる． (1) 接続先ホストに対してconnect(2)失敗のタイムアウトを指定したい． (2) 接続した状態で接続先ホストがダウンしたときなど，read, writeの応答なしのタイムアウトを指定したい． 今回は，以下の環境で実験した．ふたつの環境で挙動が違ったから，また泣きたくなる． (A) Ubuntu 9.10 Linux kernel 2.6.31-22 (B) Debian squeeze 2.6.32-5 (1) connectタイムアウトの設定 まず(1)から．以下の記事を見ると，どうやらsetsockopt(2)でSO_SNDT

Machine Learning Advent Calendar 2013 の最終日を担当します @sleepy_yoshi です． ふだんはブログ記事をである調で書いていますが，なんとなく今日はですます調で書きます．あとクリスマスのノリで適当なことを書いているので，ネタをネタとしてとらえていただければと思います． 更新が遅くなり大変申し訳ありません．今年もサンタ狩りに参加していた結果，太平洋上空に逃げたサンタクロースを追いかけてサモアまで来てしまいました．残念ながらサンタを逃してしまったところです．というわけでこのブログ記事はサモアより更新しています．まだこちらはクリスマスです． ．．．というブログ記事をクリスマスに書いていたのですが，サモアでは通信環境を確保できず，日本に帰国したらこんな時間になってしまいました． さてオオトリをおおせつかったわけですが，プレッシャーでお腹が痛いです．当

std::vectorのようなSTLコンテナの各要素に対して関数を適用した結果を簡単に書きたい． Perlでいうところのこんなイメージ． my @list = (1.0, 1.5, 2.0, 2.5); my @exp_list = map { exp($_) } @list; C++ではどう書くのだろう? STLで対応する関数が用意されているだろうなぁと思って手書きしていたので，今回ちゃんと調べてみたので自分用メモ． 結論からいえば，std::transform (algorithmヘッダ) を利用すればよい．ただし，最後の引数が関数オブジェクトである必要があるので，そのままではstd::expのような関数ポインタを利用できない．そこでstd::ptr_fun (functionalヘッダ) という関数アダプタ (と呼ばれるもの) を利用する．C++使いには常識なのだろうけれど，今日初め

※ @tomerun さんに書いてもらったコードとその検証結果を記事の最後に追記しました．(2013-07-21 2:00) ふとしたきっかけで非復元抽出 (random sampling without replacement) を実装するときに気になったのでどんな実装がよいのか考えてみた．なお非復元抽出はビンゴのように，N個の要素の中からk個の異なる要素をランダムに選択するという意味である． 復元抽出については @unnonouno さんのブログなどに書いてあり，非復元抽出についてもリンクが張ってあったのだけれど，リンク先のブログ記事が読めない状態になっていていたのが残念． unnonouno: 高速な復元抽出の直感的な説明 はじめに std::vector

統計学が最強の学問である 作者: 西内啓出版社/メーカー: ダイヤモンド社発売日: 2013/01/24メディア: 単行本（ソフトカバー）購入: 11人 クリック: 209回この商品を含むブログ (129件) を見る （2013-07-16読了） 巷をにぎわせた(?)本をようやく読了．行き帰りの電車でさっと読むことができた． ビッグデータを使おう! という話かな? と思って読んだら，ビッグデータをビッグのまま扱う必要あるのだろうか? ランダムサンプリングが可能であれば頑張って高いコストを払ってビッグなまま使う必要ないじゃない，というようなスタンス． 細かいところで物足りない部分があったりしたが，読み物として楽しく読むことができた． フィッシャーのはじめてのランダム化比較実験*1と言われている，紅茶を先に入れるかミルクを先に入れるかを当てる夫人の話を知らなかった． ロジスティック回帰は線形関

ICML2013読み会に参加して発表してきました．幹事の @sla さん，会場提供してくださった東大中川先生，発表者，参加者のみなさまに改めてお礼申し上げます． タイムテーブルは以下のとおり． 18:00-18:20 @sla : "Learning Spatio-Temporal Structure from RGB-D Videos for Human Activity Detection and Anticipation" 18:20-18:40 @beam2d: "Local Deep Kernel Learning for Efficient Non-linear SVM Prediction" 18:40-19:00 @conditional: "Vanishing Component Analysis" 19:00-19:20 @jkomiyama_ : "Active Le

適切なタイトルは「SVMの主形式を制約なし非線形最適化で解く」だと思う． きっかけはSEXI2013/WSDM2013読み会で @harapon さんが担当された論文 Identifying Users' Topical Tasks in Web Search (WSDM2013) ．ここにLinear SVM (SMO) とLinear SVM (L-BFGS) という手法が出てくる． いかにゆとりといえど，さすがにPRMLを三周回っているとSVMが主形式，双対形式ともに二次計画 (QP) であるということくらいは覚えている．はてL-BFGSは準ニュートン法，制約なし非線形最適化に用いる最適化手法という認識である．これって使ってよいのだろうか? 最初は下記のつぶやきのとおり思っていたのだけれどこれは間違い．KKT相補性条件のことを忘れている． というわけでしばらく調べていたら下記の論文を

機械学習アルゴリズムをC++等で実装する場合には型をどうするか悩む．きっかけはオープンソースのsvm_lightやLIBSVMはふつうにdouble型だったのに対し，ollではfloat型で実装されていたから．「あれ，別にdoubleほどの精度要らないの?」「floatの方が半分のメモリ量で済むし，キャッシュも効くから高速になるのかな」というようなことを考えていた． そのまますっかり忘れていたのだけれど，GW中の課題のひとつとして検証してみることにした． 以下の2つについてfloat型とdouble型で比較する．面倒なのでぜんぶfloat型かぜんぶdouble型か． 訓練データ事例の特徴量 (素性) の型 重みベクトル等，すべてのパラメータの型 それぞれについて以下の3つの値を比較する． 実行速度 モデル精度 使用メモリ量 なお，実験に利用したマシン環境は以下のとおり Core2Duo E

最近は読書記録ブログと化しているのでひさびさの技術メモ． std::istringstreamを使って入力を解析することが多いのだけれど，一部分だけ読み込んだ後に残りの文字列をstd::stringとして他の処理に使いたいことがある．そんなときにstd::istringstream::str()を利用すればいいんじゃないの? と思っていたのだけれど，そうすると読み出した文字列もひっくるめた文字列を返してしまう．解決方法がわからず，しばらくはまったのでメモ． そこで内部で保持しているポインタ情報を利用してstd::string::substring()で部分文字列を取得するという方法で解決することにした．きっともっとよい方法があるはずだけれど，動けばよい方式で今回はここまで． #include <iostream> #include <sstream> #include <string> i

単語頻度を扱うと，ハッシュを結合したくなる．いちいち自己流ロジックを書いていたけれど，何か良い方法はないものか．図書館から借りてきたPerlクックブックを開いてみた． my %new_hash = (%hash1, %hash2); # これは，以下のようなハッシュの初期化ができることから納得できる # my %hash = (hoge => 1, bar => 2, piyo =>3); # my %hash = (hoge, 1, bar, 2, piyo, 3); あれ，もしかして？ my %hash = ('hoge', 1, 'bar', 2, 'piyo', 3); foreach my $keyorvalue (%hash){ print $keyorvalue . "\n" } 出力結果： bar 3 foo 2 hoge 1 そういうことか！ハッシュはつまり，key, v

こんばんは @sleepy_yoshi です．Machine Learning Advent Calendar 2012 の11日目を担当します．サモア時間ではまだ12月11日なので間に合いましたね．今日はバイナリ素性ベクトルの内積計算にSSE4.2のpopcnt命令を用いて高速化することでk-NN分類器を高速化する話について書きます． このブログでは普段である調で書いていますが，今日はなんとなくですます調で書きます． k-NN (k Nearest Neighbor) 分類器はラベルを予測したい事例に対して，訓練データとして与えられたラベル付き事例集合の中からk近傍の事例のラベルを用いて予測する，という分類器です．k近傍を求めるために，訓練データに含まれる事例全てに対する類似度を計算する必要があります．類似度には様々な尺度が利用されますが，ここでは内積とします．そのためk個の近傍を発見す

過去の記事でvectorに比べてmapの全走査が遅いという比較を行ったことを思い出し，そういえばunordered_mapとの比較をしていなかったので比較をすることにした． 過去の記事 mapとvector&lt;pair&gt;を走査する速度の違い - 睡眠不足？！ 前回のコードに以下のようなコードを追加して実験． 今回は以下のようなデータ構造を追加 (a) unordered_map (b) vector + map (c) vector + unordered_map (b)や(c)は，keyのデータを別途vector配列に入れておいて，そちらを走査しながらmapを引くというコードをよく書いているので，これやるとどんくらい遅くなるのだろうということを調べるため． 前回のコードとのdiffはこんな感じ． 6d5 < #include <unordered_map> 46,47d44 <

ICML2012読み会に参加して発表してきました．主催の@nokunoさん，会場を提供して頂いた@shuyoさん，サイボウズさん，参加者のみなさまありがとうございました! 自分は以下の論文を紹介 C. Scherrer, M. Halappanavar, A. Tewari, D. Haglin, "Scaling Up Coordinate Descent for Large L1 Regularization Problems" 発表資料をslideshareにupしました． ICML2012読み会 Scaling Up Coordinate Descent Algorithms for Large L1 regularization Problems from sleepy_yoshi 発表資料に書いてあるとおり，並列Coordinate Descentの一般化フレームワークの提唱と

PRML復々習レーン#3に参加して発表しました．会場係と会場を提供してくださった@showyouさんとDeNAさんに感謝申し上げます．毎度ながら素晴らしい会場，そして素晴らしい景色． 今回から新しい試みで前回の復習内容をまとめてみることにしてみた．いちsubsectionを1枚程度にまとめて，「よーするに」というポイントをまとめてみたもの．資料をまとめて喋ってみてはじめて気が付くことがあったので次回もぜひやってみたい． 発表資料は以下のとおり 前回までのあらすじ PRML復々習レーン#3 前回までのあらすじ View more presentations from sleepy_yoshi 3.1.3-3.1.5 (代打) PRML復々習レーン#3 3.1.3-3.1.5 View more presentations from sleepy_yoshi 日程の都合で今回参加できない方の代

SVMツールで有名なLIBSVMの作者らがまとめた "A Practical Guide to Support Vector Classification" という良資料[1]の日本語解説資料をまとめてみたので公開． SVM実践ガイド (A Practical Guide to Support Vector Classification) View more presentations from sleepy_yoshi 元資料はこちら 本資料作成のきっかけは，まわりの人に「SVMとかいう手法使ったんだけど，機械学習よくわからなくてさ」という感じで相談を受けて「カーネルは何使ってるの?」「素性のスケーリングはした?」「Cパラメータは調整した?」というようなことを聞くのだけれど，「???」というやりとりにうんざりしたから． その都度，Cパラメータというものがありまして〜，カーネルというものが

昨日公開したパーセプトロンのデモに対して「パーセプトロンに学習率って必要だっけ?」というコメントを頂いた．結論から言えば「収束性の保証には要らない．ただし，適当な値に設定すると経験的には収束が速くなる．」という回答になる *1． パーセプトロンの収束性定理では学習率は正の値であれば収束することが保証されている．1でよいので学習率は省略可能．ということを言いたのだけれど，そういえばパーセプトロンの収束性定理を自分で証明したことがなかったので赤本[1]引っ張り出して式を追いかけてみた．どうやらバイアス項がある場合とない場合で，収束に要する試行回数の上界が4倍も変わるみたい*2． 赤本の訳者が脚注に丁寧に導出の過程をフォローしてくれているので，pp.17-20あたりを読めばわかると思う．せっかくなのでバイアス項なしの場合について自分の言葉でノートにまとめてみた． Perceptron の収束性定

前回k-NNデモを作った後に「これパーセプトロンも同じようにデモ作れるんじゃね?」と思ったので実装してみた．今度はクリックでデータ点を追加できるようにしたり，サンプル選択方法を可変にしたり，PAの更新の様子を可視化すると面白いかもと思って後からPAも追加してみた． パーセプトロンは誤分類するサンプルを正しく分類するように超平面を更新する線形識別器で，Passive-Aggressive (PA) は損失を発生させるサンプルに対して損失が0になり，重みベクトルの変化量が最小になるように超平面を更新するアルゴリズム． オンライン学習についてざっくりした俯瞰は以下の資料などをご参照． TokyoNLP#5で「パーセプトロンで楽しい仲間がぽぽぽぽ〜ん」を発表しました というわけでk-NNと同じように公開． Perceptron/PA Demo ver.1.0 使い方 Update onceボタンで

研究室の後輩向けに機械学習実装レクチャのようなものをやってみたのだけれど，知識ゼロの学生を対象にした場合にはk-NN (特に1-NN) から始めるのがよかろうと思ってそこから解説してみた*1．実装もとても簡単． なおk最近傍法とか呼ばれたりもするk-NNは，入力されたデータ点のk個の近傍のラベルによって分類するという方法． 帰宅してから，これcanvasを使えばブラウザから利用できるデモできるんじゃね? ということを思いついてさっそく実装．せっかくだから正規分布からデータ生成するロジックも追加してみた．k-NNとか機械学習とかわからない人たちにイメージをつけるのに役に立つかもしれないので公開．ご自由にお試しください*2． k-Nearest Neighbor Demo ver.1.0 k-NNくらい簡単だと静止した図の説明で大体事足りるのだけれど，動くデモがあった方が眠くならないだろうし．

GW中にやることリストのひとつである確率的情報検索ノートができたので公開． Notes on Probabilistic Information Retrieval ―Probability Ranking PrincipleからBM25まで― 確率的情報検索とは，Prbability Ranking Principle (説明はノート参照) をスタート地点にして適合確率をモデル化した情報検索のいち分野．Binary independence modelやBM25などが含まれる (BM25はいろんなヒューリスティクスが入っているのだけれど)． BM25とは， [tex:\sum_{t \in q} q_t \cdot \frac{f_{t,d} (k_1 + 1)}{k_1*1 + f_{t,d}} \cdot w_t] という (説明はノート参照)，ぱっと見ワケワカラン計算式だけれど当た