PRML Hackathonに行ってきました。 今回のHackathonでは昨日書いたスライスサンプリングという手法をLDAの推論に使ってみて通常のGibbs samplerと比較してみました。 結果としてはサンプリング速度が2-3倍程度高速になり、手法の有効性を確かめることができました。また、perplexityの値は Gibbs samplerよりも少し悪い結果となりました。(誤解を招く表現でした、詳しくは下に追記しました) Prml HackathonView more presentations from tsubosaka. 追記: perplexityの値が悪くなったというと変分ベイズのように近似が入って性能が悪くなる印象を与えますがそうではないです。 slice samplerはgibbs samplerと同様に十分な回数反復すれば正しい確率分布からのサンプルを取ることができ

メイド喫茶元オーナーが書いた 女の子の取扱い説明書 ＊Kindle版アリ 【本の概要】◆今日ご紹介するのは、結構使える「モテ本」。 タイトル＆装丁でスルーしがち（私もそうでした）ですけど、中身は「かなり真っ当」なので、読んで思わずビックリしました。 アマゾンの内容紹介から。メイド喫茶元オーナーが書いた恋愛指南書。 女の子はもう怖くない! 女の子は、こんなことを考えていたのか! 目からウロコの思いです。 なお、タイトルはもちろんホッテントリメーカー作でございます。 いつも応援ありがとうございます！ 【目次】女の子をひとくくりにしてしまうことが、そもそもの間違い 女の子は外見で好きになる。男子の君がそうであるように 女の子は男子の何倍もモテたがっている 女の子は絶対平和主義 イイヒトでいいじゃないですか。イイヒトから始めよう ベタでわかりやすいキャラになること 女の子との会話は、女の子に喋らせ

松浦晋也 @ShinyaMatsuura そういうことですね、RT @ terakinizers この時代、隠し通せるものなんてないんです。それをわかっていない人や会社は、それに見合った報いを受けることになるです。 2010-03-28 13:04:56

Coverage of the United States from the Voice of America. VOA news provides coverage of the US including Congress, the White House and the Pentagon.

About Stanford NER is a Java implementation of a Named Entity Recognizer. Named Entity Recognition (NER) labels sequences of words in a text which are the names of things, such as person and company names, or gene and protein names. It comes with well-engineered feature extractors for Named Entity Recognition, and many options for defining feature extractors. Included with the download are good na

整理整頓が行き届いている人は、デスク周りやカバンの中のみならず、仕事からお財布の管理まで、きちんと整理されているもの。では、彼らにはどのようなコツが潜んでいるのでしょうか？皆さんも各項目に「Yes/No」で答えてご自身の整理整頓度をチェックしながら、読み進めてみてください。 米紙「Oprah」では、整理整頓ができている人の習慣として、以下の10の項目を挙げています。 より安い品を探す 買う商品を決める前に、同等のもので、より安いものはないかを探す。（『SHED Your Stuff, Change Your Life: A Four-Step Guide to Getting Unstuck』の著者Julie Morgensternさん） 「完璧」にこだわらない 効率的な人は、重要なタスクは高いレベルで成果を出す一方、その他のものはそこそこのレベルでこなす。すべてのものを完璧にこなそうする

人工知能基本問題研究会 (SIG-FPAI)でタイトルの題目で一時間ほど話してきました。 発表資料 [pptx] [pdf] 話した内容は - 自然言語処理における特徴ベクトルの作り方と、性質 - オンライン学習, Perceptron, Passive Agressive (PA), Confidence Weighted Learning (CW) 確率的勾配降下法 (SGD) - L1正則化, FOLOS - 索引を用いた効率化, 全ての部分文字列を利用した文書分類 で、スライドで70枚ぐらい。今までの発表とかぶっていないのはPA CW SGD FOLOSあたりでしょうか オンライン学習、L1正則化の話がメインになっていて、その両方の最終形の 確率的勾配降下法 + FOLOSの組み合わせは任意の損失関数に対してL1/L2正則化をかけながらオンライン学習をとても簡単にできるという一昔前

人工知能学会基本問題研究会というのに参加してきた(リンク先、next.html なんて名前なので、将来的に切れると思うが……)。この研究会、毎年1月は情報処理学会の自然言語処理研究会(通称 NL 研)と共催される研究会で、自然言語処理の中でも機械学習っぽいのはここでも発表されるようなのだが、参加したのは初めて。このあたりの国内の自然言語処理関係の学会については shimpei-m くんがまとめているので、そちらを参照されたい。 さて研究会のほうなのだが、特集が「大規模データからの機械学習と自然言語処理への応用」ということで、招待講演が 鍜治伸裕氏(東京大学生産技術研究所)「テキストからの評判分析と機械学習」 近年のCGMの爆発的な普及に伴って，テキストデータから特定の製品に関する評判を自動的に抽出して集約するための技術が注目を集めている．こうした技術は評判分析と呼ばれ，特に自然言語処理など

第3回R勉強会＠東京(Tokyo.R#03) : ATND Rは統計が得意なフィールドで、統計と言えばパラメータ推定、パラメータ推定には最適化手法がはずせないのでRにおける最適化をやるための周辺について話してきます。ところどころで脱線したりしてますがw。 Optimization In R from syou6162

約半年間の沈黙を破ってOSSの世界に戻ってきつつあるmikioです。先日、Tokyo Cabinet（以下「TC」と呼びます）というデータベースライブラリをリリースしました。今回から数回に分けて、TCの設計と苦労話について連載してみます。 DBMとは TCは、いわゆるDBMの系譜のデータベースライブラリで、単純なハッシュテーブルをファイル上で永続化するだけの機能を提供します。DBMはAT&Tの古代UNIXの時代から受け継がれる伝統芸能なのですが、私はそういう枯れた技術が大好きなのです。 プログラマの皆さんは、PerlやRubyではハッシュ（連想配列）と呼ばれ、JavaやC++ではmapと呼ばれるような、何らかのキーに関連づけてなんらかの値を記録するデータ構造って実によく使いますよね。例えばmixiでは、ユーザアカウントに関連する情報（名前とかニックネームとか）は、ユーザIDをキーにしたハッ

MD5ハッシュは、以下の擬似コードで書いたアルゴリズムで算出される。値はすべてリトルエンディアンとする。 function md5 (message : array[0..*] of bit) returns array[0..15] of unsignedInt8 is //左ローテート関数 function leftRotate (x : unsignedInt32, c : integer range 0..31) returns unsignedInt32 is begin leftRotate := (x leftShift c) bitOr (x rightShift (32-c)) end ; function makeK (i : integer range 0..63) returns unsignedIt32 is begin makeK := floor(232×ab

コロラド・ボルドーで開催されたNAACL/HLT 2009に行ってきました。 NAACLは自分の中での分類では自然言語処理の学会で統計的な手法とかが多い学会に思える（それに対しヨーロッパではEACLでは文法とか言語理論とかが多い）。比較的自分にあう学会。 開催地となったコロラド大ボルダー校はとてもきれいなキャンパスで（、「全米で最も美しいキャンパス」の4位にランキング）、宇宙飛行士をたくさん輩出してたり、ノーベル物理学賞を４名輩出するなど、研究レベルも高いそうです。 で、学会は適当に休みながらまったり聞いていたのですが全体的に教師無学習に関する話が多かったような気がします。教師有学習による言語処理がある程度成熟してきているのに対し、教師無の方はまだまだ伸びしろが多いので研究がしやすいのでしょう。教師無に利用するモデルも、単純な混合分布から、様々な分布が入り乱れる複雑なグラフィカルモデルにな

「Java News.jp（Javaに関する最新ニュース）」の安藤幸央氏が、CoolなプログラミングのためのノウハウやTIPS、筆者の経験などを「Rundown」（駆け足の要点説明）でお届けします（編集部） ちまたにあふれるバージョン表記 少し前に「Web 2.0」「○○2.0」という表記が流行したのを覚えていますでしょうか。よく見かける広告のコピーにも、最近では「バージョンアップ」という言葉が普通に使われています。バージョンや、バージョン表記は、ソフトウェアの世界だけでなく、ごくごく一般化したように思えます。しかし実際には、どういう意味か分からないのが、バージョン表記です。 アプリケーションソフトウェアの開発は、さまざまな状態／段階を経て完成します。その段階／状態と、リリース後の状態／段階を示したのが、バージョン表記です。 例えば、数字以外でも、以下のような表記を見かけたことはありません

外国語の勉強で「わからない単語」に出会ったら辞書を引く、なんてことは当たり前で疑う余地もないと思うだろう。 けれど単語を覚える（語彙習得）という点からすれば、「わからない単語」に出会ったら辞書を引く、というのは，実はあまり役に立たない。 辞書を引けば、簡単に「日本語での意味」がわかる。 しかし、簡単に「わかってしまった」単語は、定着しないのだ。 そして、かなり多くの学習者が、「辞書は日本語訳だけを調べるツール」としてしか認識していない。 単語を覚えるなら、初見の段階では、もっとアタマに負荷をかけることをした方が良い。いわゆる「深い処理」という奴だ。 そして、その後の復習は、高速で思い出すのが効果的だ。フラッシュ・カードはこのために用いる。 復習の間隔は、次第に開けていくといい。次の日、一週間後、一ヶ月後……といった風にだ。これをspaced repetition、あるいはspaced re

参考：「機械学習とパターン認識」(PRML)のアンチョコ by herumi PRML 9章や10章の数式の解説ノート。10章の大変な計算も丁寧に展開してある。 3/7 の C.M.ビショップ「パターン認識と機械学習(PRML)」読書会 #12＠サイボウズ・ラボ に参加しました。各位お疲れ様でした。 今回のテーマは９章の EM アルゴリズムと１０章の変分推論(変分ベイズ)。 盛り上がって参りました。 これまでも圧倒的なパワーで並み居る参加者をなぎ倒してきた PRML。しかし全てはウォーミングアップに過ぎなかった。 第１２話の、PRML のセリフ「わたしの戦闘力は53万です」に凍り付く参加者一同。 はたして生き残ることは出来るのか！？ だいたいあってる？ というわけで、PRML の一番大変な範囲に突入。 でも、９〜１３章は EM, VB(変分ベイズ), MCMC, Gibbs サンプリング,

http://seikichi.hatenablog.com/ せっかくなので移行してみる． http://icpc2011.ait.kyushu-u.ac.jp/icpc2011/common/guest_standings_ja.php 317で参加．全体7位で学内3位． 先輩と私がコーダー，もう一人の先輩はペアプロの突っ込み要員．私が担当したのはA,B,D．Aは篩，Bはstd::stackで適当に，Dは円盤が最大で24枚しか存在しないので，状態をintのビットで保持して全探索とメモ化． 激しく練習不足で反省気味．私の担当分は大抵サンプルでバグを発見していた．そこで発見できたから良いという話もあるが，あれぐらいバグ無しで一発で通せないと不味い気がする．そもそも1年間にチーム全体で解いた問題数が40を超えていない説があってですね……． 「SRMから逃げない」を目標にして頑張ることにする．

「Software Engineering Method and Theory」（ソフトウェア工学の方法論と理論）の頭文字を取った「SEMAT」というWebサイトを中心に、問題を多く抱えてしまっている現在のソフトウェア工学をもういちど作り直そう、という活動が始まっています。 この活動については、アジャイル開発手法の第一人者でもある平鍋健児氏のブログ「An Agile Way」で2月28日にポストされたエントリ「SEMAT.org にて「ソフトウェア工学再建」運動が開始」で紹介されています。 そしてその平鍋さんが、この活動に関する「ビジョンステートメント」を日本語訳にして公開されました。 ソフトウェアの工業化には工学の進化も重要ではないか ソフトウェアの開発というのは、エンジニアが顧客のために1つ1つ精魂込めて作るようなことが多い、職人的な色彩が強いのが現状ではないかと思います。これがいま、

EMアルゴリズム（Expectation Maximizationアルゴリズム、期待値最大化法、以下EMと呼ぶ）は、データに観測できない隠れ変数（潜在変数）がある場合のパラメータ推定を行う時に有用な手法である。 EMは何それという人のために簡単な説明を下の方に書いたので読んでみてください。 EMのきちんとした説明なら持橋さんによる解説「自然言語処理のための変分ベイズ法」や「計算統計 I―確率計算の新しい手法 統計科学のフロンティア 11」が丁寧でわかりやすい。 EMは教師無学習では中心的な手法であり、何か観測できない変数を含めた確率モデルを作ってその確率モデルの尤度を最大化するという枠組みで、観測できなかった変数はなんだったのかを推定する場合に用いられる。 例えば自然言語処理に限っていえば文書や単語クラスタリングから、文法推定、形態素解析、機械翻訳における単語アライメントなどで使われる。

混合正規分布について 混合正規分布のEMアルゴリズムによるパラメータ推定 EMアルゴリズムの単調増加性について この前はEMアルゴリズムがどんな感じのメカニズムで、どんな性質を持っているか簡単に書いた。 初めてのEMアルゴリズム - yasuhisa's blog というわけで、ちょちょいとRで書いてみることにした。お題はありがちな混合正規分布。 混合正規分布について確率変数がにがで、それぞれ0.3、0.7で生成されているというような分布が真の分布だとしよう。図で書くとこんな感じの密度関数である。 図を書くためのRのスクリプト。 mixture_gaussian <- function(x) { pi_0 <- 0.3 ifelse(runif(1) < pi_0, rnorm(1, -5, 1), rnorm(1, 5, 4)) } N <- 1000 x <- sapply(1:N,