Topic Models
en-deen-esen-fren-slenen-zhOff0.250.50.7511.251.51.752Topic ModelsPublished on Nov 02, 2009312721 ViewsDavid BleiMLSS 2009 - Cambridge Bookmark You need to login Share Embed Related categoriesMachine LearningWatch other parts1. PartTopic Models David BleiNov 02, 2009 312721 Views 2. PartTopic Models David BleiNov 02, 2009 312721 Views
LDAã«ãŠã‘る変分ベイズ法ã«ã‚ˆã‚‹ãƒ‘ラメータ推定 (1) æ£ç”° 備也 å¹³æˆ 18 å¹´ 8 月 18 æ—¥ LDA (Latent Dirichlet Allocation) ã¯ã€ã²ã¨ã¤ã®æ–‡æ›¸ãŒè¤‡æ•°ã®ãƒˆãƒ”ックをå«ã‚€ã“ã¨ã‚’表ç¾ã§ãる確率的ãªæ–‡æ›¸ãƒ¢ デル��
LDAã«ãŠã‘る変分ベイズ法ã«ã‚ˆã‚‹ãƒ‘ラメータ推定 (1) æ£ç”° 備也 å¹³æˆ 18 å¹´ 8 月 18 æ—¥ LDA (Latent Dirichlet Allocation) ã¯ã€ã²ã¨ã¤ã®æ–‡æ›¸ãŒè¤‡æ•°ã®ãƒˆãƒ”ックをå«ã‚€ã“ã¨ã‚’表ç¾ã§ãる確率的ãªæ–‡æ›¸ãƒ¢ デルã®ã²ã¨ã¤ã§ã‚る。 変分ベイズ法ã¯ã€ã‚る程度複雑ãªç¢ºçŽ‡çš„文書モデル m ã«ãŠã„ã¦ã€ãã‚Œã«ã‚ˆã£ã¦ç”Ÿæˆã•ã‚ŒãŸã¨è¦‹ãªã•ã‚Œã¦ã„る文書 é›†åˆ D = {d1, . . . , } ã«ã¤ã„ã¦ã€äº‹å¾Œåˆ†å¸ƒ P(D|m) を求ã‚ã‚‹ã®ãŒéžå¸¸ã«é›£ã—ã„ã¨ãã«ä½¿ã‚れる方法ã§ã‚る。文書モデ ル m ã®ãƒ‘ラメータ群を θ ã¨ã—ã€éš れ変数群（文書モデルã®å ´åˆã€ãƒˆãƒ”ックを表ã™å¤‰æ•°ç¾¤ã§ã‚ã‚‹ã“ã¨ãŒå¤šã„）を Z 㨠ã™ã‚‹ã¨ã€å¤‰åˆ†ãƒ™ã‚¤ã‚ºæ³•ã®åŸºæœ¬ã¯ã€æ¬¡ã® Jensen ã®ä¸ç‰å¼ã«ã‚る。 log P(D|m) = log P(Z, D, θ|m)dθdZ (1) = log Q(Z, θ) P(
LDA ã® Collapsed Gibbs サンプリングã®å…¨æ¡ä»¶ä»˜åˆ†å¸ƒã‚’導出ã—ã¦ã¿ã‚‹ - 木曜ä¸è¶³
Latent Dirichlet Allocations(LDA) ã®å®Ÿè£…ã«ã¤ã„㦠- 木曜ä¸è¶³ ã«ã‚‚出ã¦ãã‚‹ã“ã®å¼ を導出ã—ã¦ã¿ã‚‹ã€‚ ã“ã®å¼ã¯ LDA ã® Collapsed Gibbs sampling ã§ä½¿ã†å…¨æ¡ä»¶ä»˜åˆ†å¸ƒ(full conditional)。 ã‚‚ã—普通ã®ã‚®ãƒ–スサンプリングã ã£ãŸã‚‰ã€è¦³æ¸¬ã•ã‚Œã¦ã„ãªã„å…¨ã¦ã®ç¢ºçŽ‡å¤‰æ•°ã€ã¤ã¾ã‚Š Z ã ã‘ã§ã¯ãªãθやφã«ã¤ã„ã¦ã‚‚åŒæ§˜ã«å…¨æ¡ä»¶ä»˜åˆ†å¸ƒã‚’構æˆã—ã¦ã€ãã“ã‹ã‚‰ã‚µãƒ³ãƒ—リングを繰り返ã™ã“ã¨ãŒå¿…è¦ã«ãªã‚‹ã€‚*1 ãã“ã§ã€Î¸ã¨Ï†ã«ã¤ã„ã¦ã¯ç©åˆ†æ¶ˆåŽ»ã—ã¦ã—ã¾ã†ã“ã¨ã§ã€Z ã ã‘をサンプリングã™ã‚Œã°ã‚ˆã„よã†ã«ã—ãŸã®ãŒ Collapsed Gibbs sampling。"collapsed" ã¯ç©åˆ†æ¶ˆåŽ»ã—ã¦ã€Œã¤ã¶ã—ãŸã€ã¨ã„ã†ã“ã¨ã¨ã€ç´ ã® Gibbs sampling ã‹ã‚‰ã€Œå´©ã—ãŸã€ã¨ã„ã†ã“ã¨ã¨ã€ä¸¡æ–¹ã‹ã‹ã£ã¦ã„ã‚‹ã‚“ã ã‚ã†ã‹ï¼Ÿ 導出ã«å¿…è¦ãªé“å…·ã¯æ¬¡ã®2ã¤ã€‚ ガン
Latent Dirichlet Allocation in R
Topic models are a new research field within the computer sciences information retrieval and text mining. They are generative probabilistic models of text corpora inferred by machine learning and they can be used for retrieval and text mining tasks. The most prominent topic model is latent Dirichlet allocation (LDA), which was introduced in 2003 by Blei et al. and has since then sparked off the de
Pythonã§LDAを実装ã—ã¦ã¿ã‚‹
Latent Dirichlet Allocationã¯ãƒ†ã‚ストã®ã‚ˆã†ãªä¸é€£ç¶šãƒ‡ãƒ¼ã‚¿ã®ãŸã‚ã®ç”Ÿæˆçš„確率モデル。入力ã¯ãƒ‰ã‚ュメント。出力ã¯ãƒ‰ã‚ュメントを特徴ã¥ã‘る何ã‹ï¼ˆtf-idfã¿ãŸã„ãªã‚‚ん）。 基本的ãªã‚¢ã‚¤ãƒ‡ã‚£ã‚¢ã¯ã€ã‚るドã‚ュメントã¯æ½œåœ¨çš„ãªã„ãã¤ã‹ã®ãƒˆãƒ”ックãŒæ··åˆã—ã¦ã„ã¦ã€ãã‚Œãžã‚Œã®ãƒˆãƒ”ックã¯èªžã®åˆ†å¸ƒã§ç‰¹å¾´ã¥ã‘られã¦ã„ã‚‹ã€ã¨ã„ã†ã“ã¨ã€‚ è«–æ–‡[1]ã§ã¯Î±ã¨Î²ã¨ã„ã†ãƒ‘ラメータを用ã„ã¦ãƒ‰ã‚ュメントãŒä»¥ä¸‹ã®ã‚ˆã†ã«ç”Ÿæˆã•ã‚Œã‚‹ã¨ä»®å®šã—ã¦ã„る。 ドã‚ュメントã®ãƒˆãƒ”ックã®åˆ†å¸ƒÎ¸ãŒãƒ‡ã‚£ãƒªã‚¯ãƒ¬åˆ†å¸ƒDir(α)ã«åŸºã¥ã„ã¦é¸ã°ã‚Œã‚‹ã€‚ ドã‚ュメントã®èªžæ•°N個ã«ãªã‚‹ã¾ã§ä»¥ä¸‹ã‚’ç¹°ã‚Šè¿”ã™ã€‚ トピックznãŒå¤šé …分布Mult(θ)ã«åŸºã¥ã„ã¦é¸ã°ã‚Œã‚‹ã€‚ å˜èªžwnãŒç¢ºçŽ‡p(wn|zn,β)ã§é¸ã°ã‚Œã‚‹ã€‚ ãŸã ã—ã€ãƒˆãƒ”ックzã®æ•°ã‚’k個ã€å˜èªžwã®ç¨®é¡žã‚’V個ã¨ã™ã‚‹ã¨ã€ãƒ‘ラメータαã¯k次元ã®ãƒ™ã‚¯ãƒˆãƒ«ã€Î²ã¯k x V次元ã®è¡Œåˆ—ã§Î²ij=
1
リリースã€éšœå®³æƒ…å ±ãªã©ã®ã‚µãƒ¼ãƒ“スã®ãŠçŸ¥ã‚‰ã›
最新ã®äººæ°—エントリーã®é…ä¿¡
j次ã®ãƒ–ックマーク
kå‰ã®ãƒ–ックマーク
lã‚ã¨ã§èªã‚€
eコメント一覧を開ã
oページを開ã
http://yattemiyou.net/docs/lda_gibbs.pdf
http://www.singularpoint.org/blog/r/lda-latent-dirichlet-allocation/
{{#tags}}- {{label}}
{{/tags}}