LDA入門
2. 内容 • NLPã§ç”¨ã„られるトピックモデルã®ä»£è¡¨ã§ã‚ã‚‹ LDA(Latent Dirichlet Allocation)ã«ã¤ã„ã¦ç´¹ä»‹ ã™ã‚‹ • 機械å¦ç¿’ライブラリmalletを使ã£ã¦ã€LDAを使 ã†æ–¹æ³•ã«ã¤ã„ã¦ç´¹ä»‹ã™ã‚‹
最近èªã‚“ã è«–æ–‡(åŠæ•™å¸«CRFã€æ•™å¸«æœ‰ã‚ŠLDAã€TextRank) - 木曜ä¸è¶³
èªã‚“ã 自然言語処ç†ã‚„機械å¦ç¿’ã®è«–文を twitter ã§ã¡ã‚‡ã“ã£ã¨ç´¹ä»‹ã—ã¦ã¿ãŸã‚Šã—ã¦ã„る。 ã•ã‚‰ã£ã¨æ‰‹çŸã«æ›¸ã‘ã¦ã„ã„æ„Ÿã˜(ã¨å‹æ‰‹ã«æ€ã£ã¦ã„ã‚‹)ãªã®ã ãŒã€è«–æ–‡åを書ã余白ãŒãªã„ã®ã¨ã€çŸã„ã¨ã¯è¨€ãˆï¼’個３個㮠tweet ã«ã¯åˆ†é›¢ã—ã¦ã—ã¾ã†ã‚ãŸã‚ŠãŒæ¸›ç‚¹ã€‚ ã¨ã„ã†ã‚ã‘ã§ã€ã¯ã¦ãªãƒ€ã‚¤ã‚¢ãƒªãƒ¼ã® twitter 記法ã§è©¦ã—ã«ã¾ã¨ã‚ã¦ã¿ãŸã®ã ãŒã€ã†ãƒ¼ã‚“ã€æ±ºã—ã¦è¦‹ã‚„ã™ãã¯ãªã„ãªã‚……。 å†ç·¨é›†ã—ã¦ã¾ã§ç´¹ä»‹ã—ãŸã„è«–æ–‡ãªã‚‰ã€åˆ¥é€”記事を書ã‘ã°ã„ã„ã—。悩ã¾ã—ã„。 åŠæ•™å¸«CRF "Semi-Supervised Conditional Random Fields for Improved Sequence Segmentation and Labeling" (Jiao+, COLING/ACL 2006) http://www.metabolomics.ca/News/publications/Jiao_et_al
木曜ä¸è¶³
今日ã¯å°ãƒã‚¿ã€‚ OpenAI ã® text-embedding-ada-002(以下 ada-002) 㨠text-embedding-3-small/large(以下 3-small) ã¯ãƒ†ã‚ストを埋ã‚è¾¼ã¿ãƒ™ã‚¯ãƒˆãƒ«ã«å¤‰æ›ã™ã‚‹ãƒ¢ãƒ‡ãƒ«ã®ä»£è¡¨æ ¼ã§ã€3-small 㯠ada-002 より精度ãŒé«˜ã„ã¨è¨€ã‚ã‚Œã¾ã™ãŒã€åŸ‹è¾¼ãƒ¢ãƒ‡ãƒ«ã®ç²¾åº¦ãŒé«˜ã„ã£ã¦ã©ã†ã„ã†ã“ã¨ã ã‚ã†ã€ã¨ã„ã†è©±ã€‚ 埋ã‚è¾¼ã¿ãƒ™ã‚¯ãƒˆãƒ«åŒå£«ã®ã‚³ã‚µã‚¤ãƒ³é¡žä¼¼åº¦ã‚’計算ã™ã‚‹ã“ã¨ã§ãƒ†ã‚ストã®æ„味ã®é¡žä¼¼åº¦ãŒã‚ã‹ã‚‹ã€ã¨ã„ã†ã®ãŒåŸ‹ã‚è¾¼ã¿ãƒ¢ãƒ‡ãƒ«ã®å£²ã‚Šæ–‡å¥ã§ã™ãŒã€å®Ÿéš›ã«ã¯æ„味ã ã‘ã§ã¯ãªã表ç¾ã®è¿‘ã•ã‚‚ã‹ãªã‚Šåæ˜ ã•ã‚Œã¾ã™ã€‚最も顕著ãªä¾‹ã¯è¨€èªžã§ã—ょã†ã€‚別ã®è¨€èªžã ãŒåŒã˜æ„味ã®ãƒ†ã‚ストよりã€åˆ¥ã®æ„味ã ãŒåŒã˜è¨€èªžã®ãƒ†ã‚ストã®ã»ã†ãŒã€åŸ‹ã‚è¾¼ã¿ãƒ™ã‚¯ãƒˆãƒ«ã®é¡žä¼¼åº¦ãŒå¤§ãã„ã“ã¨ã‚‚çã—ãã‚ã‚Šã¾ã›ã‚“。 ã“ã†ã—ãŸäº‹æƒ…ã‹ã‚‰ã€ä¾‹ãˆã° RAG を使ã£ãŸã‚·ã‚¹ãƒ†ãƒ を構築ã™ã‚‹å ´åˆã€è¤‡æ•°ã®è¨€èªžãŒæ··ã˜ã£ãŸ
Latent Dirichlet allocation - Wikipedia
One application of LDA in machine learning - specifically, topic discovery, a subproblem in natural language processing – is to discover topics in a collection of documents, and then automatically classify any individual document within the collection in terms of how "relevant" it is to each of the discovered topics. A topic is considered to be a set of terms (i.e., individual words or phrases) th
probabilistic latent semantic analysis - 機械å¦ç¿’ã®ã€Œæœ±é·ºã®æœWikiã€
probabilistic latent semantic analysis (pLSA)†文書ã¨å˜èªžãªã©ï¼Œé›¢æ•£2変数ã®è¨ˆæ•°ãƒ‡ãƒ¼ã‚¿ã®ç”Ÿæˆãƒ¢ãƒ‡ãƒ«ï¼Ž 文書(document)：\(d\in\mathcal{D}=\{d_1,\ldots,d_N\}\)， 語(word)：\(w\in\mathcal{W}=\{w_1,\ldots,w_M\}\)， 潜在変数ã®è©±é¡Œ(topic)：\(z\in\mathcal{Z}=\{z_1,\ldots,z_K\}\) を使ã£ãŸæ–‡æ›¸ã¨å˜èªžã®ç”Ÿæˆãƒ¢ãƒ‡ãƒ«ãŒpLSA (probabilistic latent semantic analysis) \[\Pr[d,w]=\Pr[d]\sum_{z\in\mathcal{Z}}\Pr[w|z]\Pr[z|d]\] ã“ã‚Œã¯ï¼Œæ–‡æ›¸ã¨èªžã«ã¤ã„ã¦å¯¾ç§°ã«å®šç¾©ã™ã‚‹ã“ã¨ã‚‚ã§ãã‚‹ \[\Pr[d,w]=\sum_{z\in\mat
Gibbsサンプラー - 機械å¦ç¿’ã®ã€Œæœ±é·ºã®æœWikiã€
Gibbsサンプラー (Gibbs sampler)†一度ã«ä¸€ã¤ã®ç¢ºçŽ‡å¤‰æ•°ã ã‘ã‚’æ›´æ–°ã™ã‚‹MCMCã®ä¸€ã¤ã§ã‚り，MCMC ã®ä¸ã§ã‚‚最もよã使ã‚れるもã®ã§ã‚ã‚ã†ï¼Ž 目的ã®åˆ†å¸ƒã‹ã‚‰æ±ºã¾ã‚‹æ¡ä»¶ä»˜åˆ†å¸ƒã«å¾“ã£ã¦ä¹±æ•°ã‚’発生ã•ã›ã‚‹ï¼Ž ã„ã‚ゆる rejection rate 㯠0 ã ãŒï¼Œç¢ºçŽ‡å¤‰æ•°ã®å€¤ãŒã¨ã©ã¾ã‚‹ç¢ºçŽ‡ã¯ 0 ã§ã¯ãªã„ã®ã§ï¼ŒMetropolis-Hastings法より必ãšã‚ˆãå‹•ãã¨ã„ã†ã‚ã‘ã§ã¯ãªã„． -- ã‚ã‹ã» ↑
[Gibbs Sampling（ギブスサンプリング）] by ã‹ã†ã±ãƒ¼ã¨
ã„よã„よGibbs Samplingã«ã¤ã„ã¦ã®ãƒ¡ãƒ¢ã§ã™ã€‚ 教科書ãªã©ã§ã¯ã€Œã‚®ãƒ–スサンプラーã€ã¨æ›¸ã‹ã‚Œã¦ã„ã‚‹æ–¹ãŒå¤šã„ã®ã§ã™ãŒã€ ç§ã¯Gibbs Samplingã§ç¿’ã£ãŸã®ã§ã“ã“ã§ã¯ã“ã‚Œã§é€šã—ã¾ã™ã€‚ ã€Gibbs Samplingã®æ‰‹é †ã€‘ #include <stdlib.h> #include <stdio.h> #include <math.h> #include "randlib.h" int main( void ) { // æ¯é›†å›£ã®å¹³å‡å€¤ double trueMean = 5.0; // æ¯é›†å›£ã®åˆ†æ•£ double trueVar = 1.0; // 観測値数 int dataNum = 1000; // è¦³æ¸¬å€¤æ ¼ç´åŸŸ double y[dataNum]; // 観測値ã®å¹³å‡ double xbar = 0.0; // 観測値ã®åˆ†æ•£ double xvar = 0.0; // 事
多変é‡æ£è¦åˆ†å¸ƒã‚’ギブスサンプリング㧠- 木曜ä¸è¶³
引ã続ã「パターンèªè˜ã¨æ©Ÿæ¢°å¦ç¿’ã€(PRML) 11ç« äºˆç¿’ä¸ã€‚ Gibbs サンプリングã€ã“ã‚Œã¯ã‚‚ã†è©¦ã—ã¦ã¿ã‚‹ã—ã‹ã€‚ syou6162 ã•ã‚“ãŒè©¦ã—ã¦ã¯ã‚‹ã®( http://d.hatena.ne.jp/syou6162/20090115/1231965900 )ã‚’ãªãžã‚‹ã ã‘ã§ã‚‚ã„ã„ã‚“ã ã‘ã©ã€ã›ã£ã‹ãã ã‹ã‚‰å¤šæ¬¡å…ƒä¸€èˆ¬åŒ–ã—よã†ã€‚ r_mul_norm1 <- function(x, mu, Sig) { idx <- 1:length(mu); for(a in idx) { b <- idx[idx!=a]; # b = [1,D] - a s <- Sig[b,a] %*% solve(Sig[b,b]); # Σ_ab Σ_bb ^ -1 # (PRML 2.81) μ_a|b = μ_a + Σ_ab Σ_bb ^ -1 (x_b - μ_b) mu_a_b <- mu[a] + s
Pythonã§LDAを実装ã—ã¦ã¿ã‚‹
Latent Dirichlet Allocationã¯ãƒ†ã‚ストã®ã‚ˆã†ãªä¸é€£ç¶šãƒ‡ãƒ¼ã‚¿ã®ãŸã‚ã®ç”Ÿæˆçš„確率モデル。入力ã¯ãƒ‰ã‚ュメント。出力ã¯ãƒ‰ã‚ュメントを特徴ã¥ã‘る何ã‹ï¼ˆtf-idfã¿ãŸã„ãªã‚‚ん）。 基本的ãªã‚¢ã‚¤ãƒ‡ã‚£ã‚¢ã¯ã€ã‚るドã‚ュメントã¯æ½œåœ¨çš„ãªã„ãã¤ã‹ã®ãƒˆãƒ”ックãŒæ··åˆã—ã¦ã„ã¦ã€ãã‚Œãžã‚Œã®ãƒˆãƒ”ックã¯èªžã®åˆ†å¸ƒã§ç‰¹å¾´ã¥ã‘られã¦ã„ã‚‹ã€ã¨ã„ã†ã“ã¨ã€‚ è«–æ–‡[1]ã§ã¯Î±ã¨Î²ã¨ã„ã†ãƒ‘ラメータを用ã„ã¦ãƒ‰ã‚ュメントãŒä»¥ä¸‹ã®ã‚ˆã†ã«ç”Ÿæˆã•ã‚Œã‚‹ã¨ä»®å®šã—ã¦ã„る。 ドã‚ュメントã®ãƒˆãƒ”ックã®åˆ†å¸ƒÎ¸ãŒãƒ‡ã‚£ãƒªã‚¯ãƒ¬åˆ†å¸ƒDir(α)ã«åŸºã¥ã„ã¦é¸ã°ã‚Œã‚‹ã€‚ ドã‚ュメントã®èªžæ•°N個ã«ãªã‚‹ã¾ã§ä»¥ä¸‹ã‚’ç¹°ã‚Šè¿”ã™ã€‚ トピックznãŒå¤šé …分布Mult(θ)ã«åŸºã¥ã„ã¦é¸ã°ã‚Œã‚‹ã€‚ å˜èªžwnãŒç¢ºçŽ‡p(wn|zn,β)ã§é¸ã°ã‚Œã‚‹ã€‚ ãŸã ã—ã€ãƒˆãƒ”ックzã®æ•°ã‚’k個ã€å˜èªžwã®ç¨®é¡žã‚’V個ã¨ã™ã‚‹ã¨ã€ãƒ‘ラメータαã¯k次元ã®ãƒ™ã‚¯ãƒˆãƒ«ã€Î²ã¯k x V次元ã®è¡Œåˆ—ã§Î²ij=
Latent Dirichlet Allocations ã® Python 実装 - 木曜ä¸è¶³
LDA ã¨ã¯ "Latent Dirichlet Allocation"。文書ä¸ã®å˜èªžã®ã€Œãƒˆãƒ”ックã€ã‚’確率的ã«æ±‚ã‚る言語モデル。 「潜在的ディリクレé…分法ã€ã¨è¨³ã•ã‚Œã¦ã„ã‚‹ã“ã¨ã‚‚ã‚ã‚‹ãŒã€ãã®åå‰ã ã¨ã€Œãã‚Œã£ã¦ãªã‚“ã ã£ã‘？ã€ã¨ã„ã†äººã®ã»ã†ãŒå¤šãã†ï½—。 å„å˜èªžãŒã€Œéš れトピックã€(話題ã€ã‚«ãƒ†ã‚´ãƒªãƒ¼)ã‹ã‚‰ç”Ÿæˆã•ã‚Œã¦ã„ã‚‹ã€ã¨æƒ³å®šã—ã¦ã€ãã®ãƒˆãƒ”ックを文書集åˆã‹ã‚‰æ•™å¸«ç„¡ã—ã§æŽ¨å®šã™ã‚‹ã“ã¨ãŒã§ãる。特徴ã¯ã€æžœç‰©ã® apple ã¨éŸ³æ¥½ã® apple ã¨ã‚³ãƒ³ãƒ”ュータ関連㮠apple を区別ã™ã‚‹ã“ã¨ãŒå‡ºæ¥ã‚‹(ã“ã¨ãŒæœŸå¾…ã•ã‚Œã‚‹)ã¨ã„ã†ç‚¹ã€‚ãã®ãŸã‚ã«ã€ã©ã®ãƒˆãƒ”ックを生æˆã—ã‚„ã™ã„ã‹ã¨ã„ã†åˆ†å¸ƒã‚’å„æ–‡ç« ã‚‚æŒã¤ã€‚ç´°ã‹ã„話ã¯ç•¥ã€‚ çµæžœã®è¦‹æ–¹ã¨ã—ã¦ã¯ã€å®šé‡çš„ã«ã¯ãƒ‘ープレã‚シティを見るã—(一般ã«å°ã•ã„ã»ã©ã„ã„)ã€å®šæ€§çš„ã«ã¯å„トピックãŒã©ã®ã‚ˆã†ãªå˜èªžã‚’生æˆã™ã‚‹ã‹ã€ãã®ç¢ºçŽ‡ä¸Šä½ã®ã‚‚ã®ã‚’見ã¦ãµã‚€ãµã‚€ã™ã‚‹ã€‚ã“ã®ã€Œå„トピックãŒç”Ÿæˆã™ã‚‹å˜èªžã€
1
ãŠçŸ¥ã‚‰ã›
ランã‚ング
ランã‚ング
リリースã€éšœå®³æƒ…å ±ãªã©ã®ã‚µãƒ¼ãƒ“スã®ãŠçŸ¥ã‚‰ã›
最新ã®äººæ°—エントリーã®é…ä¿¡
j次ã®ãƒ–ックマーク
kå‰ã®ãƒ–ックマーク
lã‚ã¨ã§èªã‚€
eコメント一覧を開ã
oページを開ã
untitled
http://blog.yuku-t.com/entry/20110623/1308810518
http://yattemiyou.net/docs/lda_gibbs.pdf
ディリクレ分布ã¾ã¨ã‚ - ã‚らã³ã日記
{{#tags}}- {{label}}
{{/tags}}