LDA入門
本スライドã¯ã€å¼Šç¤¾ã®æ¢…本ã«ã‚ˆã‚Šå¼Šç¤¾å†…ã®æŠ€è¡“勉強会ã§ä½¿ç”¨ã•ã‚ŒãŸã‚‚ã®ã§ã™ã€‚ 近年注目を集ã‚るアーã‚テクãƒãƒ£ãƒ¼ã§ã‚る「Transformerã€ã®è§£èª¬ã‚¹ãƒ©ã‚¤ãƒ‰ã¨ãªã£ã¦ãŠã‚Šã¾ã™ã€‚ "Arithmer Seminar" is weekly held, where professionals from within and outside our company give lectures on their respective expertise. The slides are made by the lecturer from outside our company, and shared here with his/her permission. Arithmeræ ªå¼ä¼šç¤¾ã¯æ±äº¬å¤§å¦å¤§å¦é™¢æ•°ç†ç§‘å¦ç ”究科発ã®æ•°å¦ã®ä¼šç¤¾ã§ã™ã€‚ç§é”ã¯ç¾ä»£æ•°å¦ã‚’応用ã—ã¦ã€æ§˜ã€…ãªåˆ†é‡Žã®ã‚½ãƒªãƒ¥ãƒ¼ã‚·ãƒ§ãƒ³ã«ã€æ–°ã—ã„高度AIシステãƒ
最近èªã‚“ã è«–æ–‡(åŠæ•™å¸«CRFã€æ•™å¸«æœ‰ã‚ŠLDAã€TextRank) - 木曜ä¸è¶³
èªã‚“ã 自然言語処ç†ã‚„機械å¦ç¿’ã®è«–文を twitter ã§ã¡ã‚‡ã“ã£ã¨ç´¹ä»‹ã—ã¦ã¿ãŸã‚Šã—ã¦ã„る。 ã•ã‚‰ã£ã¨æ‰‹çŸã«æ›¸ã‘ã¦ã„ã„æ„Ÿã˜(ã¨å‹æ‰‹ã«æ€ã£ã¦ã„ã‚‹)ãªã®ã ãŒã€è«–æ–‡åを書ã余白ãŒãªã„ã®ã¨ã€çŸã„ã¨ã¯è¨€ãˆï¼’個３個㮠tweet ã«ã¯åˆ†é›¢ã—ã¦ã—ã¾ã†ã‚ãŸã‚ŠãŒæ¸›ç‚¹ã€‚ ã¨ã„ã†ã‚ã‘ã§ã€ã¯ã¦ãªãƒ€ã‚¤ã‚¢ãƒªãƒ¼ã® twitter 記法ã§è©¦ã—ã«ã¾ã¨ã‚ã¦ã¿ãŸã®ã ãŒã€ã†ãƒ¼ã‚“ã€æ±ºã—ã¦è¦‹ã‚„ã™ãã¯ãªã„ãªã‚……。 å†ç·¨é›†ã—ã¦ã¾ã§ç´¹ä»‹ã—ãŸã„è«–æ–‡ãªã‚‰ã€åˆ¥é€”記事を書ã‘ã°ã„ã„ã—。悩ã¾ã—ã„。 åŠæ•™å¸«CRF "Semi-Supervised Conditional Random Fields for Improved Sequence Segmentation and Labeling" (Jiao+, COLING/ACL 2006) http://www.metabolomics.ca/News/publications/Jiao_et_al
木曜ä¸è¶³
『図解å³æˆ¦åŠ› ChatGPTã®ã—ãã¿ã¨æŠ€è¡“ãŒã“ã‚Œ1冊ã§ã—ã£ã‹ã‚Šã‚ã‹ã‚‹æ•™ç§‘書ã€ãŒå‡ºç‰ˆã•ã‚Œã¦åŠå¹´ã€‚ 図解å³æˆ¦åŠ›ã€€ChatGPTã®ã—ãã¿ã¨æŠ€è¡“ãŒã“ã‚Œ1冊ã§ã—ã£ã‹ã‚Šã‚ã‹ã‚‹æ•™ç§‘書 作者:ä¸è°· 秀洋技術評論社Amazon ãµã¨ã€Œã“ã®æœ¬ã®å›³ã‚’ブãƒã‚°è¨˜äº‹ã¨ã‹ã‚¹ãƒ©ã‚¤ãƒ‰ã¨ã‹ã§ã€ã‚る程度自由ã«ä½¿ãˆãŸã‚‰AIや大è¦æ¨¡è¨€èªžãƒ¢ãƒ‡ãƒ«ã®ã—ãã¿ã‚’説明ã™ã‚‹ã®ã«ä¾¿åˆ©ã よãªã‚ã€ã¨æ€ã„ã€å‡ºç‰ˆç¤¾ã®æ‹…当ã®æ–¹ã¨åˆ¶ä½œä¼šç¤¾ã•ã‚“ã«ç¢ºèªã‚’ã„ãŸã ã„ãŸã¨ã“ã‚ã€è‡ªåˆ†ã®è‘—作権ã®ç¯„囲ã§æ‰±ã£ã¦æ§‹ã‚ãªã„ã¨ãŠå¢¨ä»˜ãã‚’ã„ãŸã ã„ãŸã®ã§ã€CC BY-SA ライセンスã§å…¬é–‹ã™ã‚‹ã“ã¨ã«ã—ã¾ã—ãŸã€‚ github.com 最åˆã«ã€ãƒ¢ãƒ‡ãƒ«ã®æ§‹æˆãªã©ã®å›³ãŒé›†ã¾ã£ã¦ã„る第6ç« ã€Œãƒˆãƒ©ãƒ³ã‚¹ãƒ•ã‚©ãƒ¼ãƒžãƒ¼ã€ã®å›³ã‚’公開ã—ã¦ã„ã¾ã™ã€‚以é™ã‚‚準備を済ã¾ã›ãŸé †ã«å…¬é–‹ã—ã¦ã„ãã¾ã™ã€‚ CC BY-SA ライセンスãªã®ã§ã€æ›¸ç±ã‚’購入ã—ã¦ã„ãªãã¦ã‚‚利用ã—ã¦ã„ãŸã ã‘ã¾ã™ã€‚ã‚‚ã¡ã‚ã‚“ã€è³¼å…¥ã—ã¦ã„ãŸã ã‘ã‚Œã°ã¨ã¦ã‚‚嬉ã—
Latent Dirichlet allocation - Wikipedia
One application of LDA in machine learning - specifically, topic discovery, a subproblem in natural language processing – is to discover topics in a collection of documents, and then automatically classify any individual document within the collection in terms of how "relevant" it is to each of the discovered topics. A topic is considered to be a set of terms (i.e., individual words or phrases) th
probabilistic latent semantic analysis - 機械å¦ç¿’ã®ã€Œæœ±é·ºã®æœWikiã€
probabilistic latent semantic analysis (pLSA)†文書ã¨å˜èªžãªã©ï¼Œé›¢æ•£2変数ã®è¨ˆæ•°ãƒ‡ãƒ¼ã‚¿ã®ç”Ÿæˆãƒ¢ãƒ‡ãƒ«ï¼Ž 文書(document)：\(d\in\mathcal{D}=\{d_1,\ldots,d_N\}\)， 語(word)：\(w\in\mathcal{W}=\{w_1,\ldots,w_M\}\)， 潜在変数ã®è©±é¡Œ(topic)：\(z\in\mathcal{Z}=\{z_1,\ldots,z_K\}\) を使ã£ãŸæ–‡æ›¸ã¨å˜èªžã®ç”Ÿæˆãƒ¢ãƒ‡ãƒ«ãŒpLSA (probabilistic latent semantic analysis) \[\Pr[d,w]=\Pr[d]\sum_{z\in\mathcal{Z}}\Pr[w|z]\Pr[z|d]\] ã“ã‚Œã¯ï¼Œæ–‡æ›¸ã¨èªžã«ã¤ã„ã¦å¯¾ç§°ã«å®šç¾©ã™ã‚‹ã“ã¨ã‚‚ã§ãã‚‹ \[\Pr[d,w]=\sum_{z\in\mat
Gibbsサンプラー - 機械å¦ç¿’ã®ã€Œæœ±é·ºã®æœWikiã€
Gibbsサンプラー (Gibbs sampler)†一度ã«ä¸€ã¤ã®ç¢ºçŽ‡å¤‰æ•°ã ã‘ã‚’æ›´æ–°ã™ã‚‹MCMCã®ä¸€ã¤ã§ã‚り，MCMC ã®ä¸ã§ã‚‚最もよã使ã‚れるもã®ã§ã‚ã‚ã†ï¼Ž 目的ã®åˆ†å¸ƒã‹ã‚‰æ±ºã¾ã‚‹æ¡ä»¶ä»˜åˆ†å¸ƒã«å¾“ã£ã¦ä¹±æ•°ã‚’発生ã•ã›ã‚‹ï¼Ž ã„ã‚ゆる rejection rate 㯠0 ã ãŒï¼Œç¢ºçŽ‡å¤‰æ•°ã®å€¤ãŒã¨ã©ã¾ã‚‹ç¢ºçŽ‡ã¯ 0 ã§ã¯ãªã„ã®ã§ï¼ŒMetropolis-Hastings法より必ãšã‚ˆãå‹•ãã¨ã„ã†ã‚ã‘ã§ã¯ãªã„． -- ã‚ã‹ã» ↑
[Gibbs Sampling（ギブスサンプリング）] by ã‹ã†ã±ãƒ¼ã¨
ã„よã„よGibbs Samplingã«ã¤ã„ã¦ã®ãƒ¡ãƒ¢ã§ã™ã€‚ 教科書ãªã©ã§ã¯ã€Œã‚®ãƒ–スサンプラーã€ã¨æ›¸ã‹ã‚Œã¦ã„ã‚‹æ–¹ãŒå¤šã„ã®ã§ã™ãŒã€ ç§ã¯Gibbs Samplingã§ç¿’ã£ãŸã®ã§ã“ã“ã§ã¯ã“ã‚Œã§é€šã—ã¾ã™ã€‚ ã€Gibbs Samplingã®æ‰‹é †ã€‘ #include <stdlib.h> #include <stdio.h> #include <math.h> #include "randlib.h" int main( void ) { // æ¯é›†å›£ã®å¹³å‡å€¤ double trueMean = 5.0; // æ¯é›†å›£ã®åˆ†æ•£ double trueVar = 1.0; // 観測値数 int dataNum = 1000; // è¦³æ¸¬å€¤æ ¼ç´åŸŸ double y[dataNum]; // 観測値ã®å¹³å‡ double xbar = 0.0; // 観測値ã®åˆ†æ•£ double xvar = 0.0; // 事
多変é‡æ£è¦åˆ†å¸ƒã‚’ギブスサンプリング㧠- 木曜ä¸è¶³
引ã続ã「パターンèªè˜ã¨æ©Ÿæ¢°å¦ç¿’ã€(PRML) 11ç« äºˆç¿’ä¸ã€‚ Gibbs サンプリングã€ã“ã‚Œã¯ã‚‚ã†è©¦ã—ã¦ã¿ã‚‹ã—ã‹ã€‚ syou6162 ã•ã‚“ãŒè©¦ã—ã¦ã¯ã‚‹ã®( http://d.hatena.ne.jp/syou6162/20090115/1231965900 )ã‚’ãªãžã‚‹ã ã‘ã§ã‚‚ã„ã„ã‚“ã ã‘ã©ã€ã›ã£ã‹ãã ã‹ã‚‰å¤šæ¬¡å…ƒä¸€èˆ¬åŒ–ã—よã†ã€‚ r_mul_norm1 <- function(x, mu, Sig) { idx <- 1:length(mu); for(a in idx) { b <- idx[idx!=a]; # b = [1,D] - a s <- Sig[b,a] %*% solve(Sig[b,b]); # Σ_ab Σ_bb ^ -1 # (PRML 2.81) μ_a|b = μ_a + Σ_ab Σ_bb ^ -1 (x_b - μ_b) mu_a_b <- mu[a] + s
Pythonã§LDAを実装ã—ã¦ã¿ã‚‹
Latent Dirichlet Allocationã¯ãƒ†ã‚ストã®ã‚ˆã†ãªä¸é€£ç¶šãƒ‡ãƒ¼ã‚¿ã®ãŸã‚ã®ç”Ÿæˆçš„確率モデル。入力ã¯ãƒ‰ã‚ュメント。出力ã¯ãƒ‰ã‚ュメントを特徴ã¥ã‘る何ã‹ï¼ˆtf-idfã¿ãŸã„ãªã‚‚ん）。 基本的ãªã‚¢ã‚¤ãƒ‡ã‚£ã‚¢ã¯ã€ã‚るドã‚ュメントã¯æ½œåœ¨çš„ãªã„ãã¤ã‹ã®ãƒˆãƒ”ックãŒæ··åˆã—ã¦ã„ã¦ã€ãã‚Œãžã‚Œã®ãƒˆãƒ”ックã¯èªžã®åˆ†å¸ƒã§ç‰¹å¾´ã¥ã‘られã¦ã„ã‚‹ã€ã¨ã„ã†ã“ã¨ã€‚ è«–æ–‡[1]ã§ã¯Î±ã¨Î²ã¨ã„ã†ãƒ‘ラメータを用ã„ã¦ãƒ‰ã‚ュメントãŒä»¥ä¸‹ã®ã‚ˆã†ã«ç”Ÿæˆã•ã‚Œã‚‹ã¨ä»®å®šã—ã¦ã„る。 ドã‚ュメントã®ãƒˆãƒ”ックã®åˆ†å¸ƒÎ¸ãŒãƒ‡ã‚£ãƒªã‚¯ãƒ¬åˆ†å¸ƒDir(α)ã«åŸºã¥ã„ã¦é¸ã°ã‚Œã‚‹ã€‚ ドã‚ュメントã®èªžæ•°N個ã«ãªã‚‹ã¾ã§ä»¥ä¸‹ã‚’ç¹°ã‚Šè¿”ã™ã€‚ トピックznãŒå¤šé …分布Mult(θ)ã«åŸºã¥ã„ã¦é¸ã°ã‚Œã‚‹ã€‚ å˜èªžwnãŒç¢ºçŽ‡p(wn|zn,β)ã§é¸ã°ã‚Œã‚‹ã€‚ ãŸã ã—ã€ãƒˆãƒ”ックzã®æ•°ã‚’k個ã€å˜èªžwã®ç¨®é¡žã‚’V個ã¨ã™ã‚‹ã¨ã€ãƒ‘ラメータαã¯k次元ã®ãƒ™ã‚¯ãƒˆãƒ«ã€Î²ã¯k x V次元ã®è¡Œåˆ—ã§Î²ij=
Latent Dirichlet Allocations ã® Python 実装 - 木曜ä¸è¶³
LDA ã¨ã¯ "Latent Dirichlet Allocation"。文書ä¸ã®å˜èªžã®ã€Œãƒˆãƒ”ックã€ã‚’確率的ã«æ±‚ã‚る言語モデル。 「潜在的ディリクレé…分法ã€ã¨è¨³ã•ã‚Œã¦ã„ã‚‹ã“ã¨ã‚‚ã‚ã‚‹ãŒã€ãã®åå‰ã ã¨ã€Œãã‚Œã£ã¦ãªã‚“ã ã£ã‘？ã€ã¨ã„ã†äººã®ã»ã†ãŒå¤šãã†ï½—。 å„å˜èªžãŒã€Œéš れトピックã€(話題ã€ã‚«ãƒ†ã‚´ãƒªãƒ¼)ã‹ã‚‰ç”Ÿæˆã•ã‚Œã¦ã„ã‚‹ã€ã¨æƒ³å®šã—ã¦ã€ãã®ãƒˆãƒ”ックを文書集åˆã‹ã‚‰æ•™å¸«ç„¡ã—ã§æŽ¨å®šã™ã‚‹ã“ã¨ãŒã§ãる。特徴ã¯ã€æžœç‰©ã® apple ã¨éŸ³æ¥½ã® apple ã¨ã‚³ãƒ³ãƒ”ュータ関連㮠apple を区別ã™ã‚‹ã“ã¨ãŒå‡ºæ¥ã‚‹(ã“ã¨ãŒæœŸå¾…ã•ã‚Œã‚‹)ã¨ã„ã†ç‚¹ã€‚ãã®ãŸã‚ã«ã€ã©ã®ãƒˆãƒ”ックを生æˆã—ã‚„ã™ã„ã‹ã¨ã„ã†åˆ†å¸ƒã‚’å„æ–‡ç« ã‚‚æŒã¤ã€‚ç´°ã‹ã„話ã¯ç•¥ã€‚ çµæžœã®è¦‹æ–¹ã¨ã—ã¦ã¯ã€å®šé‡çš„ã«ã¯ãƒ‘ープレã‚シティを見るã—(一般ã«å°ã•ã„ã»ã©ã„ã„)ã€å®šæ€§çš„ã«ã¯å„トピックãŒã©ã®ã‚ˆã†ãªå˜èªžã‚’生æˆã™ã‚‹ã‹ã€ãã®ç¢ºçŽ‡ä¸Šä½ã®ã‚‚ã®ã‚’見ã¦ãµã‚€ãµã‚€ã™ã‚‹ã€‚ã“ã®ã€Œå„トピックãŒç”Ÿæˆã™ã‚‹å˜èªžã€
1
リリースã€éšœå®³æƒ…å ±ãªã©ã®ã‚µãƒ¼ãƒ“スã®ãŠçŸ¥ã‚‰ã›
最新ã®äººæ°—エントリーã®é…ä¿¡
j次ã®ãƒ–ックマーク
kå‰ã®ãƒ–ックマーク
lã‚ã¨ã§èªã‚€
eコメント一覧を開ã
oページを開ã
untitled
http://blog.yuku-t.com/entry/20110623/1308810518
http://yattemiyou.net/docs/lda_gibbs.pdf
ディリクレ分布ã¾ã¨ã‚ - ã‚らã³ã日記
{{#tags}}- {{label}}
{{/tags}}