深層学習(Deep Learning)とベイズ的最適化(Bayesian Optimization)による医用画像読影支援の試み

livingdebt @livingdebt 実践学 #とは何か ／【紀伊國屋書店新宿本店】実践学探訪――概念分析の社会学（エスノメソドロジー）からはじめる書棚散策：本の「今」がわかる 《無料配布の小冊子もブックガイドとして質、量ともに非常に充実した内容のものとなっているので…》 http://t.co/QzswTrGdXI 2014-03-08 13:17:28 livingdebt @livingdebt 《…そこに参加している人たちがどのように…互いの行為や活動を編みあげていくか》＝「実践」を《捉え》る＝「学」ということか。 中村和生，2001，「知識社会学から知識の実践学へ」を読めば良いのか。 2014-03-08 13:21:31

19. まず入力データを用意 var input [1.0, [1.0, [1.0, [0.0, [0.0, [0.0, ]); = $M([! 1.0, 0.0, 1.0, 0.2, 0.9, 0.1, 0.0, 0.0, 0.0, 0.8, 0.0, 1.0, 0.0],! 0.0],! 0.0],! 1.0],! 1.0],! 1.0]! 21. モデルを作成する // n42をrequireする! var n42 = require(‘n42');! ! // Stacked Denoised Autoencoder! // を作成する! // 入力4次元,第2,3層3次元,出力2次元! var sda = new n42.SdA(input, label, 4, [3, 3], 2);

ふと気になったので読んでみたら、当たりをひいた。 強化学習をウェブサイトの最適化に利用する方法に関しての本で、A/Bテストの何が問題かを説明してそれを克服するためのアルゴリズムを3つ紹介している Epsilon-greedy SoftMax UCB1 コードはPythonで書かれているので読みやすい。 実際のビジネスでは、A/Bテストで等確率でAB振り分けるために劣っている方のテストの分だけ収益が減ってしまうし、かといってテストをしないと、よりよいサイトを見出す機会がなくなってしまう。つまりexploreを最大化するか、exploitを最大化するかというようなジレンマを抱えることになる。 求められているのは、劣っているサイトデザインに対するテスト（損失）を最小にしつつベストなサイトデザインに収斂していく手法である。そういう問題をMultiarmed Bandit Probremと呼ぶらしく

Twitter感情分析所 さんを利用しようとしたら、結構重たくて、大量の処理を実行するのは申し訳ない…。と思い、じゃあ自分でコードを書いてしまえ、と思い、調べていたところ、東山昌彦, 乾健太郎, 松本裕治, 述語の選択選好性に着目した名詞評価極性の獲得, 言語処理学会第14回年次大会論文集, pp.584-587, 2008.（日本語評価極性辞書）がありました。 日本語評価極性辞書（名詞編）ver.1.0（2008年12月版）pn.csv.m3.120408.trim.gz をダウンロード→解凍し、拡張子に.txtを設定し、適当なエディタで開きます。 Python標準モジュールのcsvで読み込ませるときに、タブ区切りが上手く読み込めなかったので、\tを,に置換して、保存します(Mac OSXの場合、\はoption+\でバックスラッシュを入力)。 また、以下のサイトを参考に、Yahoo!の

こんばんは @sleepy_yoshi です．Machine Learning Advent Calendar 2012 の11日目を担当します．サモア時間ではまだ12月11日なので間に合いましたね．今日はバイナリ素性ベクトルの内積計算にSSE4.2のpopcnt命令を用いて高速化することでk-NN分類器を高速化する話について書きます． このブログでは普段である調で書いていますが，今日はなんとなくですます調で書きます． k-NN (k Nearest Neighbor) 分類器はラベルを予測したい事例に対して，訓練データとして与えられたラベル付き事例集合の中からk近傍の事例のラベルを用いて予測する，という分類器です．k近傍を求めるために，訓練データに含まれる事例全てに対する類似度を計算する必要があります．類似度には様々な尺度が利用されますが，ここでは内積とします．そのためk個の近傍を発見す

授業でSVMについて習ったけど、実際に実装したことなかったからやってみた。簡単って言われてるけど、制約付き2次計画問題の実装が結構大変だった（収束しないケースとかたくさんあったり、制約条件を遵守したり） 参考にしたのは、以下の本やらページやら http://www.amazon.co.jp/%E3%82%B5%E3%83%9D%E3%83%BC%E3%83%88%E3%83%99%E3%82%AF%E3%82%BF%E3%83%BC%E3%83%9E%E3%82%B7%E3%83%B3%E5%85%A5%E9%96%80-%E3%83%8D%E3%83%AD-%E3%82%AF%E3%83%AA%E3%82%B9%E3%83%86%E3%82%A3%E3%82%A2%E3%83%8B%E3%83%BC%E3%83%8B/dp/4320121341/ref=sr_1_1?ie=UTF8&qi

シューティングゲームが苦手で、グラディウスの１面がクリアできない人でもコンピュータに８時間くらい任せればクリアしてくれる。そう、ＧＡならね。遺伝的アルゴリズムを使ってグラディウスをコンピュータに学習させ、クリアしていきます。マリオ:sm18721450 グラディウスリスト：mylist/38062710次:sm20411696

最大エントロピーモデルの続き。 今回は、CRF（Conditional Random Fields, 条件付き確率場とも） 一般*1について。 前向き・後ろ向きアルゴリズムについては書かない。 また、一般に関連が深いとされる MEMM というものについても、ここでは触れない。 CRF とはどういうものか。 一言でいうと、最大エントロピーモデルの考え方を系列ラベリングに応用したもの。 ここで、系列ラベリングというタスクについて簡単に説明しておく。 たとえば、品詞タグ付けのようなものがある。 英語のように単語が分かれている言語で、それぞれの単語に対して「名詞」「動詞」などの品詞タグをつけるというタスク。 古典的な "time flies like an arrow"*2 を例にとる。 これには複数の解釈があり、その中には 時は矢のように過ぎ去る（光陰矢のごとし） 時バエは矢を好む のようなもの

今回は、CRF の前向き・後ろ向きアルゴリズムについて。 可変次数 CRF のアルゴリズムとの対比のために書いておく。 前向き・後ろ向きアルゴリズムは、1 次の CRF で使われる*1。 高次に応用する方法も考えられないこともないが、計算量が次数に対して指数的に増加するため、あまり現実的ではない。 1 次の CRF で使う素性関数は、文脈に関する特徴と 長さ 1 または 2 のラベル列を組み合わせたもの。長さ 1 のものは状態素性、2 のものは遷移素性と呼ぶこともある。 例として前回と同じものを使う。 文は "time flies like" という三つの単語で、可能なラベルは N, V, A の 3 つ。 素性関数は、次の 5 つ。 文脈にかかわらず、今の位置でラベルが "N" の時に 1 になるもの。重みは 2。 文脈にかかわらず、今の位置でラベルが "V" の時に 1 になるもの。重

岡野原です。Deep Learningが各分野のコンペティションで優勝し話題になっています。Deep Learningは7、8段と深いニューラルネットを使う学習手法です。すでに、画像認識、音声認識、最も最近では化合物の活性予測で優勝したり、既存データ・セットでの最高精度を達成しています。以下に幾つか例をあげます。 画像認識 LSVRC 2012 [html]  優勝チームスライド [pdf], まとめスライド[pdf] Googleによる巨大なNeuralNetを利用した画像認識（猫認識として有名）[paper][slide][日本語解説] また、各分野のトップカンファレンスでDeep Learningのチュートリアルが行われ、サーベイ論文もいくつか出ました。おそらく来年以降こうした話が増えてくることが考えられます。 ICML 2012 [pdf] ACL 2012 [pdf] CVPR

もう1年以上かけて音声信号処理の勉強をしてきました（Pythonで音声信号処理）。ここらで具体的なアプリケーションとして類似楽曲検索の実験をしてみたのでレポートをまとめておきます。言語はPythonです。 前に 類似画像検索システムを作ろう（2009/10/3） Visual Wordsを用いた類似画像検索（2010/2/27） という画像の類似検索に関するエントリを書きましたが、今回は画像ではなく音楽を対象に類似検索をやってみたいと思います！ 今回作る類似楽曲検索システムは、従来からよくあるアーティスト名や曲名などテキストで検索するシステムや購買履歴をもとにオススメする協調フィルタリングベースのシステムとは異なります。WAVEファイルやMP3ファイルなどの音楽波形そのものを入力とするのが特徴です。たとえば、「具体的なアーティストや曲名は知らないけれど、この曲とメロディや雰囲気が似た曲がほ

PRML復々習レーン#3に参加して発表しました．会場係と会場を提供してくださった@showyouさんとDeNAさんに感謝申し上げます．毎度ながら素晴らしい会場，そして素晴らしい景色． 今回から新しい試みで前回の復習内容をまとめてみることにしてみた．いちsubsectionを1枚程度にまとめて，「よーするに」というポイントをまとめてみたもの．資料をまとめて喋ってみてはじめて気が付くことがあったので次回もぜひやってみたい． 発表資料は以下のとおり 前回までのあらすじ PRML復々習レーン#3 前回までのあらすじ View more presentations from sleepy_yoshi 3.1.3-3.1.5 (代打) PRML復々習レーン#3 3.1.3-3.1.5 View more presentations from sleepy_yoshi 日程の都合で今回参加できない方の代

前回k-NNデモを作った後に「これパーセプトロンも同じようにデモ作れるんじゃね?」と思ったので実装してみた．今度はクリックでデータ点を追加できるようにしたり，サンプル選択方法を可変にしたり，PAの更新の様子を可視化すると面白いかもと思って後からPAも追加してみた． パーセプトロンは誤分類するサンプルを正しく分類するように超平面を更新する線形識別器で，Passive-Aggressive (PA) は損失を発生させるサンプルに対して損失が0になり，重みベクトルの変化量が最小になるように超平面を更新するアルゴリズム． オンライン学習についてざっくりした俯瞰は以下の資料などをご参照． TokyoNLP#5で「パーセプトロンで楽しい仲間がぽぽぽぽ〜ん」を発表しました というわけでk-NNと同じように公開． Perceptron/PA Demo ver.1.0 使い方 Update onceボタンで