前回はロジスティック回帰モデルを紹介し、その負の対数尤度関数まで求めました。 今回はここからロジスティック回帰の学習手順を導きます。 確率的勾配降下法の復習 「学習」というとなにやら高尚で複雑な響きがありますが、機械学習が実際にやっているのは、適当なモデルを決めて「一番良い」パラメータを選ぶことでした。 何を「一番良い」とするかは難しいところですが、機械学習の多くのモデルでは「誤差が最も小さい」あるいは「尤度（観測された事象の確率）が最も大きい」といった指標で「一番良い」を選びます。つまり「関数を最小（または最大）とするwを求める」ところに落とし込まれるわけです。 この「関数の最小化」を「最適化」と呼びますが、これは一般にはとても困難な問題です。1次元空間上の話なら中学や高校の数学で解けますが、機械学習の問題の多くがそうであるように、何万次元もの高次元空間上で厳密解を求めるのは不可能に近い

米EMC傘下のRSAが提供する2要素認証製品「SecurID 800」が生成する暗号鍵を13分で取り出せたという研究結果が公開された（リンク先はPDF）。米メディアのArs Technicaが6月26日（現地時間）に報じた。 SecurID 800は、RSA SecurIDのワンタイムパスワード機能をUSBデバイスに組み込んだ認証デバイス。パスワード情報を安全に保管できるとして、多数の企業や政府機関が採用している。 Team Proseccoと名乗る科学者チームは発表文で、RSAの製品をはじめとする一連の暗号化デバイスの暗号鍵インポート機能の脆弱性を突くことに成功したとしている。パディングオラクル攻撃と呼ばれる暗号解読手段を用いたところ、Aladdin eToken PRO、Gemalto Cyberex、RSA SecurID 800、SafeNet iKey 2032、Siemens

こんにちは、 @doryokujin です。週に2、3回は更新しようと思いつつ、今週はこの1エントリーのみです…頑張ります。 本日のエントリーは僕の考える「解析者の立ち位置」について書いています。僕は自分の立ち位置（=役割）を明確にすることが、仕事で成果を出すための重要な要素かなと思っています。ところで、僕のこれから話す「解析者」というのは一般に認知されているような、いわゆる大企業の研究機関、「**研究所」と名のつく機関で解析に関する新しく高度な「手法」を生み出し、大規模解析基盤を構築し、論文もばりばり書き、手法や基盤それ自身が価値を持ち売上げになるようなエクセレントな人々の事を指すわけではありません。100人にも満たないwebベンチャーで、より現場に近い所でログ解析に携わる仕事をする人を指します。 本日の内容 新しいタイプの解析者が求められる時代に 解析者の仕事って何だろう 解析者の立ち

暮らし 竹中平蔵 on Twitter: "３０年で大地震の確率は８７%・・浜岡停止の最大の理由だ。確率計算のプロセスは不明だが、あえて単純計算すると、この１年で起こる確率は２．９%、この一カ月の確率は０．２%だ。原発停止の様々な社会経済的コストを試算するために１カ月かけても、その間に地震が起こる確率は極めて低いはずだ。"

実装する上ではどうでもいい、言葉の定義の問題のところに足を突っ込みつつあるような気もするけれど、CRFについて調べていたらどんどん混乱してきたので、現在のところの理解をまとめてみる。たぶん、突っ込みどころはいっぱいありますので、突っ込んで頂けると幸いです。 CRFは入力Xと出力Yの組をたくさん与えることで、未知のXに対してもP(Y|X)を計算できるようにするモデルである。ただし、Yは構造を持つ（この構造を持つというのがどう言うことかもややこしくて今調べているのだが、こちらはとりあえず棚上げする）ものとする。 CRFはであるということしか規定せず、自然言語処理ではlinear chain CRFとsemi markov CRFの2つ、特にlinear chain CRFがよく使われている。 linear chain CRFは出力Yが一本鎖の構造になっているところが特徴である。linear c

(07/18)私はいかにしてニセ科学批判者と呼ばれるに至ったか (07/17)産総研がバイオインフォマティクスのワークショップを開催するようです (07/12)IBMがゲノムビジネスに本格参入するらしい (07/11)ホメオパシー助産師のビタミンK2の問題が裁判になった (07/04)日本トンデモ本大賞2010オープニングムービー (07/03)トゥーリオ・シモンチーニのがん治療についてのまとめ (03/29)『「トンデモ」批判の政治性と政治の未来』にコメントしてみる (03/24)ニセ科学商品バイオラバーについてのまとめ (03/23)正しい目薬のさし方 (03/21)科学なポッドキャストをまとめて紹介してみる はじめにお読みください(1) サイエンスニュース(122) 宇宙開発・天文ニュース(78) サイエンストピックス(57) バイオニュース(155) バイオインフォマティクス(17

Introduction to Information Retrieval 輪読会 12章の復習資料を以下にアップロードしました。 http://bloghackers.net/~naoya/iir/ppt/iir_12.ppt 12章は、は "Language models for information retrieval" ということで、確率的言語モデルを情報検索に適用する話でした。 確率的言語モデル 確率的言語モデルとは、自然言語を数学的に扱うモデルに単語列、文字列が起こる確率を与えたものです。例えば "frog said that toad likes dog" という単語列 s があったとして、それぞれの単語の生起確率が与えられているとします。 frog said that toad likes that dog M1 0.01 0.03 0.04 0.01 0.02 0.04