Vector Space, Probabilistic LSI, and LDA
Thoughts on Information Retrieval, Search Engines, Data Mining, Science, Engineering, and Programming source: http://www.cs.princeton.edu/~blei/papers/BleiNgJordan2003.pdf There is a kind of buzz about Probabilistic Latent Semantics Indexing, so this post goes. From VSM to LSI Prior to 1988 the prevalent IR model was Salton’s Vector Space Model (VSM). This model treats documents and queries as vec
大è¦æ¨¡ãƒ‡ãƒ¼ã‚¿å‡¦ç†ã®ãŸã‚ã®è¡Œåˆ—ã®ä½Žãƒ©ãƒ³ã‚¯è¿‘ä¼¼ -- SVD ã‹ã‚‰ç”¨ä¾‹ãƒ™ãƒ¼ã‚¹ã®è¡Œåˆ—分解ã¾ã§ -- - æ¦è”µé‡Žæ—¥è¨˜
id:naoya ã•ã‚“ã®Latent Semantic Indexing ã®è¨˜äº‹ã«è§¦ç™ºã•ã‚Œã¦ã€ã“ã“1週間ã»ã©ã¡ã‚‡ãã¡ã‚‡ã見ã¦ã„る行列ã®è¿‘似計算手法ã«ã¤ã„ã¦æ›¸ã„ã¦ã¿ã‚‹ã€‚ã“ã“ã§ã‚„ã‚ŠãŸã„ã®ã¯å˜èªž-文書行列(ã©ã®å˜èªžãŒã©ã®æ–‡æ›¸ã«å‡ºã¦ããŸã‹ã®å…±èµ·è¡Œåˆ—)や購入者-アイテム行列(ã©ã®äººãŒã©ã®æœ¬ã‚’è²·ã£ãŸã‹ã¨ã‹ã€æŽ¨è–¦ã‚¨ãƒ³ã‚¸ãƒ³ã§ä½¿ã†è¡Œåˆ—)ã€ãƒšãƒ¼ã‚¸-リンク行列(ã©ã®ãƒšãƒ¼ã‚¸ã‹ã‚‰ã©ã®ãƒšãƒ¼ã‚¸ã«ãƒªãƒ³ã‚¯ãŒå‡ºã¦ã„ã‚‹ã‹ã€ã‚‚ã—ãã¯ãƒªãƒ³ã‚¯ã‚’もらã£ã¦ã„ã‚‹ã‹ã€‚PageRank ãªã©ãƒšãƒ¼ã‚¸ã®ãƒ©ãƒ³ã‚ングã®è¨ˆç®—ã«ä½¿ã†)ã€ã¨ã„ã£ãŸã‚ˆã†ãªè¡Œåˆ—を計算ã™ã‚‹ã¨ãã€å¤§è¦æ¨¡è¡Œåˆ—ã ã¨è¨ˆç®—é‡ãƒ»è¨˜æ†¶ã‚¹ãƒšãƒ¼ã‚¹ã¨ã‚‚ã«è†¨å¤§ãªã®ã§ã€äº‹å‰ã«ã‚る程度計算ã—ã¦ãŠã‘ã‚‹ã®ã§ã‚ã‚Œã°ã€ã§ãã‚‹ã ã‘å°ã•ãã—ã¦ãŠããŸã„(ãã—ã¦å¯èƒ½ãªã‚‰ã°ç²¾åº¦ã‚‚上ã’ãŸã„)ã€ã¨ã„ã†æ‰‹æ³•ã§ã‚る。 行列ã®åœ§ç¸®ã«ã¯å…ƒã®è¡Œåˆ—ã‚’ A (mè¡Œn列)ã¨ã™ã‚‹ã¨ A = USV^T ã¨ã„ã†ã‚ˆã†ã«3ã¤ã«åˆ†è§£ã™ã‚‹ã“ã¨ãŒå¤šã„ãŒã€ã‚‚
Latent Semantic Indexing - naoyaã®ã¯ã¦ãªãƒ€ã‚¤ã‚¢ãƒªãƒ¼
æƒ…å ±æ¤œç´¢ã«ãŠã‘るベクトル空間モデルã§ã¯ã€æ–‡æ›¸ã‚’ベクトルã¨ã¿ãªã—ã¦ç·šå½¢ç©ºé–“ã§ãれを扱ã„ã¾ã™ã€‚ã“ã®æ–‡æ›¸ãƒ™ã‚¯ãƒˆãƒ«ã¯ã€æ–‡æ›¸ã«å«ã¾ã‚Œã‚‹å˜èªžã®å‡ºç¾é »åº¦ãªã©ã‚’æˆåˆ†ã«å–ã‚Šã¾ã™ã€‚çµæžœã€ä»¥ä¸‹ã®ã‚ˆã†ãªå˜èªžæ–‡æ›¸è¡Œåˆ— (term document matrix) ãŒå¾—られã¾ã™ã€‚ d1 d2 d3 d4 Apple 3 0 0 0 Linux 0 1 0 1 MacOSX 2 0 0 0 Perl 0 1 0 0 Ruby 0 1 0 3 ã“ã®å˜èªžæ–‡æ›¸è¡Œåˆ—ã«å¯¾ã—ã¦å†…ç©ã«ã‚ˆã‚‹é¡žä¼¼åº¦ãªã©ã®è¨ˆç®—ã‚’è¡Œã£ã¦ã€æƒ…å ±è¦æ±‚ã«é©åˆã™ã‚‹æ–‡æ›¸ã‚’探ã™ã®ãŒãƒ™ã‚¯ãƒˆãƒ«ç©ºé–“モデルã«ã‚ˆã‚‹æ¤œç´¢ãƒ¢ãƒ‡ãƒ«ã§ã™ã€‚ 見ã¦ã®é€šã‚Šã€å˜èªžæ–‡æ›¸è¡Œåˆ—ã®æ¬¡å…ƒæ•°ã¯ç´¢å¼•èªžã®ç·æ•°ã§ã™ã€‚文書ãŒå¢—ãˆã‚Œã°å¢—ãˆã‚‹ã»ã©æ¬¡å…ƒã¯å¢—åŠ ã™ã‚‹å‚¾å‘ã«ã‚ã‚Šã¾ã™ã€‚例ãˆã°ç´¢å¼•èªžãŒ100万語ã‚ã£ã¦æ¤œç´¢å¯¾è±¡ã®æ–‡æ›¸ãŒ 1,000万件ã‚ã‚‹ã¨ã€100万次元 * 1,000万ã¨ã„ã†å¤§ãã•ã®è¡Œåˆ—を扱ã†ã“ã¨ã«ãªã‚Šã¾ã™ãŒã€å˜
潜在的æ„味インデã‚シング - download_takeshi’s diary
id:naoyaã•ã‚“ã‚„ãŸã¤ã‚’ã•ã‚“ãªã©ã®è¶…有å人ãªæ–¹ã€…ãŒä»¥å‰ã‹ã‚‰å®Ÿæ–½ã•ã‚Œã¦ã„る「IIR輪èªä¼šã€ã¨ã„ã†ã‚‚ã®ãŒã‚ã‚Šã¾ã—ã¦ã€ã©ã†ã‚„ら今回ã¯ç¬¬18ç« ã® "Matrix decompositions and latent semantic indexing"を輪èªã—ãŸã‚ˆã†ã§ã™ã€‚ http://d.hatena.ne.jp/naoya/20090208 http://chalow.net/2009-02-08-2.html Latent Semantic Indexingã¨ã¯ã€é€šç§°LSIã¨ã‹LSA（Latent Semantic Analysis）ã¨ã‹ã„ã„ã¾ã™ãŒã€æ—¥æœ¬èªžã ã¨ã€Œæ½œåœ¨çš„æ„味インデã‚シングã€ãªã‚“ã¦å‘¼ã³ã¾ã™ã。 ç°¡å˜ã«è¨€ã£ã¦ã¿ã‚‹ã¨ ã§ã£ã‹ã„マトリックス（数万×数万ã¨ã‹ã®è¡Œåˆ—）をãŸã¨ãˆã°ã€Œæ•°ç™¾Ã—数万ã€ãらã„ã«ã¾ã§ã€ãŽã‚…ãŽã‚…ã£ã¨æ¨ªã«æŠ¼ã—ã¤ã¶ã™ã‚ˆã†ã«åœ§ç¸®ã—ã¦ã¿ã‚‹ã¨ã€ã‚らä¸æ€è°ã€ã®ã“ã£ãŸè¡Œåˆ—ã¯ã¨ã¦ã‚‚æ„味
18 Matrix decomposition and latent semantic indexing (pp.369-384) - シリコンã®è°·ã®ã‚¾ãƒ³ãƒ“
ã¡ã‚‡ã£ã¨é£›ã°ã—ã¦ï¼Œå…ˆã«IIR18ç« ã‚’èªã‚“ã§ã¿ãŸï¼Žå˜èªžæ–‡æ›¸è¡Œåˆ—を特異値分解ã—ã¦æ–°ã—ã„空間ã§ãƒ™ã‚¯ãƒˆãƒ«ç©ºé–“モデルを使ã†ã¨ã„ã†LSIã®è©±ï¼Ž ページ数ãŒå°‘ãªã‹ã£ãŸã®ã§ï¼Œé”ãŒå·®ã—ã¦ç¿»è¨³ã‚‚ã—ã¦ã¿ãŸï¼Žã•ã‚‰ã«æ•°å¼ãŒå¤šã„ã®ã§TeXã§æ›¸ã„ã¦ã¿ãŸï¼Žã“ã“ã¾ã§æ¥ãŸã‚‰ã“ã ã‚ã‚ã†ã¨ABåž‹ã®æ‚ªã„ç™–ãŒå‡ºã¦ï¼Œæ•°å¼ã‚„演習も全部訳ã—ã¦ã¿ãŸï¼Žã¤ã„カッã¨ãªã£ã¦ã‚„ã£ã¦ã—ã¾ã£ãŸï¼Žä»Šã¯å…¬é–‹ã—ã¦ã„る．ã§ã‚‚åçœã¯ã—ã¦ã„ãªã„．ã¾ã ã‚„ã£ã¤ã‘ã®éƒ¨åˆ†ãŒã‚ã‚‹ã®ã§ã“ã¤ã“ã¤ã¨ãƒãƒ¼ã‚¸ãƒ§ãƒ³ã‚¢ãƒƒãƒ—ã—ã¦ãã¾ã™ï¼Ž Introduction to information retrieval: 18 Matrix decomposition and latent semantic indexing（和訳） 大体1ページ1時間．ã“ã¤ã“ã¤å¤œãªã¹ã‚’ã—ã¦3日間ãらã„ã‹ã‹ã‚Šã¾ã—ãŸï¼Žå¦ãŒå¿œã§ã‚‚ç²¾èªã™ã‚‹ã®ã§ï¼Œã¨ã¦ã‚‚ç†è§£ãŒæ·±ã¾ã‚Šã¾ã—ãŸï¼Žã˜ã£ãã‚Šèªã‚€ã®ã‚‚翻訳作æ¥ã‚‚ã¨ã¦ã‚‚楽ã—ã‹ã£ãŸã®ã§ï¼Œãªã‚“
1
ランã‚ング
ãŠçŸ¥ã‚‰ã›
ランã‚ング
リリースã€éšœå®³æƒ…å ±ãªã©ã®ã‚µãƒ¼ãƒ“スã®ãŠçŸ¥ã‚‰ã›
最新ã®äººæ°—エントリーã®é…ä¿¡
j次ã®ãƒ–ックマーク
kå‰ã®ãƒ–ックマーク
lã‚ã¨ã§èªã‚€
eコメント一覧を開ã
oページを開ã
Installing LSI Logic RAID monitoring tools under the ESX service console
{{#tags}}- {{label}}
{{/tags}}