株式会社ゴクロの中路です。 以前のベイズ分類をベースにしたSmartNewsのチャンネル判定で触れたように、SmartNewsで配信する記事を「スポーツ」「エンタメ」「コラム」のようなチャンネルに分類しているのは、人ではなく機械です。そのアルゴリズムとして前回ご紹介したのは「ナイーブベイズ分類器」ですが、記事の分類を行う手法は、他にも様々なものがあります。その中で今回はLatent Dirichlet Allocation(以下LDA)について、先日東京大学の博士課程の皆さんと、社内で合同勉強会を行った際に作成した資料をベースにご紹介します。 LDAでできることの例 前回ご紹介したナイーブベイズ分類器を構築する際には、すでにトピックのラベルが付けられた文章を、学習データとして用意する必要がありました。 一方、LDAの場合は、 東京でサッカー大会が開催された。xx選手のゴールが圧巻であった。

はじめに Machine Learning Advent Calendar 2013の15日目を担当する@yag_aysです．専門はバイオインフォマティクスという計算機を使って生物学をする分野で，生モノではなく遺伝子の文字列相手に格闘している大学院生です．今回は初心者の人を対象に，なるべく数式を使わずにEMアルゴリズムについて解説してみたいと思います． EMアルゴリズムは，SVMやニューラルネットワークといった華々しい機械学習の手法の一つではなく，機械学習の中で使われる尤度最大化という一部分を担当するアルゴリズムです．そのため多くの人にとってEMアルゴリズムは，それ単体を使ってみたりだとか独自に改良をしたりするような対象ではないでしょう．でも，EMアルゴリズムなんて仰々しい名前が付けられているだけあって，いざ自分の仕事に組み込む場合には中身を理解していないと「なぜEMアルゴリズムを使ったの

37 Â NTT DOCOMO Technical Journal NTT DOCOMO Technical Journal 38 W W W K N M Z M N K Z W NTT DOCOMO Technical Journal NTT DOCOMO Technical Journal 39 NTT DOCOMO Technical Journal NTT DOCOMO Technical Journal 40 W N NTT DOCOMO Technical Journal NTT DOCOMO Technical Journal 41 “ ” “” “ ” Ñ � � Ñ NTT DOCOMO Technical Journal NTT DOCOMO Technical Journal

■固有値，固有ベクトルを求めるには 与えられた正方行列Aの固有値，固有ベクトルを求めるには，次のようにすればよい． (1)　行列Aの固有方程式

_090624 1 LSA(Latent Semantic Analysis) _090624 _090624 2 • LSA • • • _090624 3 LSA • LSA( ; Latent Semantic Analysis; Landauer & Dumais, 1997) – (Dumais, Furnas, Landauer, & Deerwester, 1988; Deerwester, Dumais, Furnas, Landauer, & Harshman, 1990) • Latent Semantic Indexing (LSI) • LSA • e.g., “car” “automobile” – – _090624 4 LSA • – • – – 1997 Landauer & Dumais, 1997 _090624 5 LSA • LSA – – _090

tfidf, lsi, ldaを使ったツイッターユーザーの類似度計算メモ。 tfidf, lsi, ldaを使ったツイッターユーザーの類似度計算 ツイッターの@ts_3156のフォロー情報を使って、ツイッターユーザーの類似度計算を行いました。 結論だけ先に書いておくと、プロフィール情報だけを使って類似度計算を行なっても、全然いい結果にはならないです(^^) その理由あれこれは下の方に書いてあります。 「じゃあ、正確なツイッターユーザーの類似度計算はどうやればいいの？」についても下の方に書いておきました(^^) 今回書いたプログラムは、ツイッタープロフィールだけでなく文章集合の類似度計算全般に使えるので、よかったら各自で何かしら使ってみてください(^^) サンプルコードの動作環境 python2.7(2系なら何でもOKかも) もしない場合は、「yum install python27」でイン

せっかく区切りがいいところまで勉強したのにoutputしないと忘れそうなので、メモを兼ねてしばらくトピックモデルについて記事を書きます。JAGSで実行したところ、そこそこ速いし収束もしました。しかしほとんど意味をなさないような幅広い推定結果になってしまいましたのでStanを使うことにしました。はじめにStanで実装するメリット・デメリットについて簡単に触れたいと思います。 メリット ・実装がラク。LDAでも30行ぐらい。 ・ややこしい推論部分は一切実装しなくてOK。全部StanのHMCサンプリングにお任せ。 ・モデルの拡張が簡単。 デメリット ・計算が遅い。文書x単語種類が1000x1500・総単語数12000のケースでは トピック数が20, iter=1000で9時間, iter=10000で35時間でした。Stanのmulti-threading対応待ち。 ・データが少ないと収束しない

挨拶 はじめまして。ぱろすけといいます。「誰だよ」と言われることが多いので自己紹介をします。趣味プログラミングをします。実力は趣味程度です。プログラミングコンテストみたいなことはやりません。一応中学くらいからプログラミング言語を触っていました。当時は Delphi でした。高校で C# を使って、最近はもっぱら Python です。ウェブも少しだけできます。クラシック音楽を聴きます。シベリウスが好きです。北欧系と英国系が性に合います。ピアノが少しだけできます。高校から大学までチェロを少し触りました。最近は聴き専です。老後はチェロとギリシャ語を習って過ごしたいです。少し本を読みます。村上春樹と森見登美彦のほぼ全作品を揃えています。『風の歌を聴け』『世界の終りとハードボイルド・ワンダーランド』が好きです。現在は太宰治の読破に取り組んでいて、だいたい半分くらいです。小川洋子とか川上弘美とかも少し