第2回ã•ãã•ãテã‚ストマイニング勉強会ã§ç™ºè¡¨ã—ãŸk-meansã«é–¢ã™ã‚‹è³‡æ–™ã§ã™ã€‚Weniger lesen
今日ã‹ã‚‰ä½¿ãˆã‚‹ï¼ ã¿ã‚“ãªã®ã‚¯ãƒ©ã‚¹ã‚¿ãƒªãƒ³ã‚°è¶…入門
第2回ã•ãã•ãテã‚ストマイニング勉強会ã§ç™ºè¡¨ã—ãŸk-meansã«é–¢ã™ã‚‹è³‡æ–™ã§ã™ã€‚Weniger lesen
第９回 データマイニング+WEB å‹‰å¼·ä¼šï¼ æ±äº¬ã«å‚åŠ ã—ã¦ã㟠- nokunoã®æ—¥è¨˜
ã¨ã„ã†ã‚ã‘ã§è¡Œã£ã¦ãã¾ã—ãŸã€‚第９回 データマイニング+WEB å‹‰å¼·ä¼šï¼ æ±äº¬ã€€( TokyoWebmining 9)?1st Week? 大è¦æ¨¡è§£æžãƒ»æ©Ÿæ¢°å¦ç¿’・クオンツ ç¥ã‚Š? : ATNDFirst Weekã£ã¦ã€‚■大è¦æ¨¡è§£æžï¼š1. Mahout Canopy Clustering (講師：@hamadakoichi)(発表30分＋è°è«–60分)　Canopy Clusteringã¯é€šå¸¸ã®å¤šãã®æ‰‹æ³•ã¨ç•°ãªã‚Šã€ã‚¯ãƒ©ã‚¹ã‚¿æ•°æŒ‡å®šã‚’å¿…è¦ã¨ã›ãšã€æŒ‡å®šè·é›¢ 離れãŸã‚¯ãƒ©ã‚¹ã‚¿ç®—出を実ç¾ã™ã‚‹ã€‚　Hadoop上ã§å‹•ä½œã™ã‚‹å¤§è¦æ¨¡ãƒ‡ãƒ¼ã‚¿ãƒžã‚¤ãƒ‹ãƒ³ã‚°ãƒ»æ©Ÿæ¢°å¦ç¿’ライブラリ Mahoutã§ã®å®Ÿè¡Œæ³•ã‚‚å«ã‚ãŠè©±ã—ã—ã¾ã™2. 機械å¦ç¿’ï¼æ©Ÿæ¢°ã®ä»£ã‚ã‚Šã«äººé–“ãŒå¦ç¿’ (講師：@shuyo))(発表20分＋è°è«–40分)　Gihyo.jp ã§ã‚‚機械å¦ç¿’ã®é€£è¼‰ã—裾野を広ã’る活動をã•ã‚Œã¦ã„ã‚‹ @shuyo ã•ã‚“。　今回ã€æ©Ÿæ¢°å¦ç¿’ã®æ´å²ã‚„専門外
クラスタリングツール bayon ãŒã¨ã¦ã¤ã‚‚ãªãç´ æ™´ã‚‰ã—ã„ã§ã™ï¼
クラスタリングツール bayon ãŒã¨ã¦ã¤ã‚‚ãªãç´ æ™´ã‚‰ã—ã„ã§ã™ï¼ 2009-06-10-5 [Algorithm][Software] mixi ã® fujisawa ã•ã‚“ã«ã‚ˆã‚‹ã€C++ ã§æ›¸ã‹ã‚ŒãŸã‚¯ãƒ©ã‚¹ã‚¿ãƒªãƒ³ã‚°ãƒ„ール bayon ãŒã‚·ãƒ³ãƒ—ルイナフã§çŒ›çƒˆã«ç´ 晴らã—ãã¦ã‚¯ãƒ¼ãƒ«ã§ã™ã€‚ - 軽é‡ãƒ‡ãƒ¼ã‚¿ã‚¯ãƒ©ã‚¹ã‚¿ãƒªãƒ³ã‚°ãƒ„ールbayon (mixi Engineers' Blog) http://alpha.mixi.co.jp/blog/?p=1049 - ãƒãƒ¥ãƒ¼ãƒˆãƒªã‚¢ãƒ«ï¼ˆTutorial_ja - bayon） http://code.google.com/p/bayon/wiki/Tutorial_ja 詳細ã¯ä¸Šè¨˜URLを見ã¦ã‚‚らã†ã¨ã—ã¦ã€ ãŸã¾ãŸã¾æ‰‹å…ƒã«250万件ã®ãƒ‡ãƒ¼ã‚¿ï¼ˆãƒ©ãƒ™ãƒ«ï¼‹ç‰¹å¾´èªžãƒªã‚¹ãƒˆï¼‰ãŒã‚ã£ãŸã®ã§ã•ã£ãã試ã—ã¦ã¿ã¾ã—ãŸã€‚ ドã‚ュメント数250万件。 å„ドã‚ュメントã®ç‰¹å¾´ã‚’ç¾ã™ã‚ーã®å¹³
Redisã®ã‚¯ãƒ©ã‚¹ã‚¿ãƒªãƒ³ã‚° — redis 2.0.3 documentation
New in version 2.2. Redisã§ã¯ã€å®Ÿéš›ã«ã‚¯ãƒ©ã‚¤ã‚¢ãƒ³ãƒˆã¨é€šä¿¡ã‚’ã™ã‚‹ãƒãƒ¼ãƒˆä»¥å¤–ã«ã€ã‚µãƒ¼ãƒ“ス用ãƒãƒ£ãƒ³ãƒãƒ«ã‚’é–‹ã„ã¦ã™ã¹ã¦ã®ãƒŽãƒ¼ãƒ‰ã¯ã“ã®ãƒãƒ£ãƒ³ãƒãƒ«ã‚’使ã£ã¦ç›´æŽ¥æŽ¥ç¶šã—ã‚ã„ã¾ã™ã€‚TCPã®ãƒ™ãƒ¼ã‚¹ã®ãƒãƒ¼ãƒˆ+4000番ãŒä½¿ã‚れるãŸã‚ã€ã‚¯ãƒ©ã‚¤ã‚¢ãƒ³ãƒˆå‘ã‘ã«6379番ã®ãƒãƒ¼ãƒˆã‚’使用ã—ã¦ã„ã‚‹å ´åˆã«ã¯ã€10379番を使用ã—ã¾ã™ã€‚ノード間ã®é€šä¿¡ã«ã¯ã€ãƒãƒ³ãƒ‰å¹…ã¨é€Ÿåº¦ã«æœ€é©åŒ–ã•ã‚ŒãŸãƒã‚¤ãƒŠãƒªãƒ—ãƒãƒˆã‚³ãƒ«ã‚’使用ã—ã¾ã™ã€‚クライアントã¨ã®é€šä¿¡ã§ã¯é€šå¸¸ã¯ã‚¢ã‚¹ã‚ープãƒãƒˆã‚³ãƒ«ã‚’使用ã—ã¾ã™ãŒã€ã„ãã¤ã‹å¤‰æ›´ãŒã‚ã‚Šã¾ã™ã€‚ノードåŒå£«ã¯ã€ã‚¯ã‚¨ãƒªãƒ¼ã‚’プãƒã‚シー(転é€)ã™ã‚‹ã“ã¨ã¯ã‚ã‚Šã¾ã›ã‚“。 ノード間ã®é€šä¿¡å†…容¶ å„ノードã¯ã€PING/PONGã¨åŒæ™‚ã«ã€è‡ªåˆ†ãŒé€šä¿¡ã—ãŸä¸Šã§åˆ¤æ–ã—ãŸå‘¨è¾ºãƒŽãƒ¼ãƒ‰æƒ…å ±(Gossip/ã†ã‚ã•è©±)も一緒ã«é€ä¿¡ã—ã¾ã™ã€‚
K-means and X-means implementations
K-means and KD-trees resources Read the K-means paper (PS), or K-means paper (PDF) . Note: recently a similar, though independent, result, was brought to our attention. It predates our work. For completeness, you can read that too. Read the X-means paper (PS) or X-means paper (PDF). The X-means and K-means implementation in binary form is now available for download! Currently, there are versions f
pLSI ã‚’ãƒãƒ¼ãƒ‰ã‚¯ãƒ©ã‚¹ã‚¿ãƒªãƒ³ã‚°ã«ä½¿ãŠã†ã¨ã—ãŸã‘ã©ã‚¤ãƒžã‚¤ãƒã ã£ãŸ - nokunoã®æ—¥è¨˜
ãã£ã‹ã‘ã¯Pythonã§pLSA(pLSI)を実装ã—ã¦ã„る人ãŒã„ãŸã®ã§ã€æ–‡æ›¸ã‚¯ãƒ©ã‚¹ã‚¿ãƒªãƒ³ã‚°ã«ä½¿ãˆãªã„ã‹ãªã€ã¨è€ƒãˆãŸã“ã¨ã§ã—ãŸã€‚satomacoto: Pythonã§PLSAを実装ã—ã¦ã¿ã‚‹ãŸã pLSIã¯ã„ã‚ゆるソフトクラスタリングã§ã€ä»¥ä¸‹ã®ã‚ˆã†ãªå•é¡ŒãŒã‚ã‚Šã¾ã—ãŸã€‚ çµæžœã®è§£é‡ˆãŒç›´æŽ¥ã—ã¥ã‚‰ã„ 処ç†æ™‚é–“ãŒã‹ã‹ã‚‹ã“ã®ã†ã¡1ã¤ç›®ã®å•é¡Œã¯æ–‡æ›¸ãŒä¸Žãˆã‚‰ã‚ŒãŸã¨ãã®ã‚¯ãƒ©ã‚¹ã‚¿ã¸ã®æ‰€å±žç¢ºçŽ‡ P(z|d) ã®æœ€å¤§å€¤ã‚’å–ã£ã¦ãƒãƒ¼ãƒ‰ãªã‚¯ãƒ©ã‚¹ã‚¿ãƒªãƒ³ã‚°ã®çµæžœã‚’å¾—ã‚Œã°è§£æ±ºã—ã¾ã™ã€‚ã—ã‹ã—ã€å‡¦ç†æ™‚é–“ã®ã»ã†ã¯EMアルゴリズムã®é€”ä¸ã§0ã§ãªã„パラメータãŒå¤šã„ã“ã¨ãŒåŽŸå› ãªã®ã§ã€å˜ã«P(z|d)ã‚’ãƒãƒ¼ãƒ‰åŒ–ã—ã¦ã‚‚ä»–ã®ãƒ‘ラメータ （P(z|w,d)ãªã©ï¼‰ ãŒãªããªã‚‰ãªã„ã®ã§ã‚¤ãƒžã‚¤ãƒã§ã—ãŸã€‚ãã“㧠P(z|w,d), P(w|z), P(d|z) ã®å„パラメータをãƒãƒ¼ãƒ‰åŒ–ã™ã‚‹ã“ã¨ã§é«˜é€ŸåŒ–ã§ããªã„ã‹ãªã¨è€ƒãˆãŸã®ã§ã™ãŒã€çµæžœã¯ã‹ãªã‚ŠåŠ£åŒ–ã—ã¦ã—ã¾
[機械å¦ç¿’] クラスタリングã«ãŠã‘るコサイン類似度ã«é–¢ã™ã‚‹æ€§è³ªã®è¨¼æ˜Ž - tsubosakaã®æ—¥è¨˜
bayonã‚„CLUTOãŒçˆ†é€Ÿãªç†ç”± - download_takeshi’s diaryã‚’èªã‚“ã§ã€ã™ãã«ã¯æˆã‚Šç«‹ã¤ã‹ã©ã†ã‹åˆ†ã‹ã‚‰ãªã‹ã£ãŸã®ã§è¨¼æ˜Žã—ã¦ã¿ãŸã€‚ 上ã®è¨˜äº‹ã§è¿°ã¹ã‚‰ã‚Œã¦ã„ã‚‹ã“ã¨ã¯ã‚¯ãƒ©ã‚¹ã‚¿ä¸ã®ãƒ™ã‚¯ãƒˆãƒ«ã¨ãã®ä¸å¿ƒãƒ™ã‚¯ãƒˆãƒ«ã®ã‚³ã‚µã‚¤ãƒ³é¡žä¼¼åº¦ã®å’Œã¨ã€ã‚¯ãƒ©ã‚¹ã‚¿ä¸ã®ãƒ™ã‚¯ãƒˆãƒ«ã‚’å…¨ã¦è¶³ã—ãŸãƒ™ã‚¯ãƒˆãƒ«ã®ãƒŽãƒ«ãƒ ãŒä¸€è‡´ã™ã‚‹ã¨ã„ã†ã§ã‚る。 ãŸã ã—ã“ã“ã§ã‚¯ãƒ©ã‚¹ã‚¿ä¸ã®è¦ç´ ベクトルã¯ã™ã¹ã¦å¤§ãã•1ã®è¦æ ¼åŒ–ã•ã‚ŒãŸãƒ™ã‚¯ãƒˆãƒ«ã§ã‚ã‚‹ã¨ã™ã‚‹ã€‚ 証明 今クラスタ内ã«å«ã¾ã‚Œã‚‹ãƒ™ã‚¯ãƒˆãƒ«ã‚’ ã¨ã™ã‚‹ã€‚ ã“ã®ã¨ã全ベクトルを足ã—ã“ã‚“ã 複åˆãƒ™ã‚¯ãƒˆãƒ«ã‚’ ã¨ã™ã‚‹ã€‚ã¾ãŸã“ã®ã‚¯ãƒ©ã‚¹ã‚¿ã®ã‚»ãƒ³ãƒˆãƒã‚¤ãƒ‰ã¯ ã¨ãªã‚‹ã€‚ã“ã®ã¨ãセントãƒã‚¤ãƒ‰ã¨å„ベクトルã¨ã®ã‚³ã‚µã‚¤ãƒ³é¡žä¼¼åº¦ã¯ [tex: s_i = \frac{}{||C|| ||x_i||} = \frac{}{||{C}||}] ã¨ãªã‚‹ã€‚ã“ã“ã§ã¨æ£è¦åŒ–ã•ã‚Œã¦ã„ã‚‹ã“ã¨ã‚’用ã„ãŸã€‚ã“ã®é¡žä¼¼åº¦ã®åˆè¨ˆã¯ [tex:
![[機械å¦ç¿’] クラスタリングã«ãŠã‘るコサイン類似度ã«é–¢ã™ã‚‹æ€§è³ªã®è¨¼æ˜Ž - tsubosakaã®æ—¥è¨˜](https://cdn-ak-scissors.b.st-hatena.com/image/square/437ae042a71338c391758f2afa29457c5ff0c015/height=288;version=1;width=512/https%3A%2F%2Fogimage.blog.st-hatena.com%2F17680117127124028144%2F17680117127124030345%2F1557332441)
bayonã‚„CLUTOãŒçˆ†é€Ÿãªç†ç”± - download_takeshi’s diary
クラスタリングツールbayonを使ã£ã¦ã„ã¦ã€å¸¸ã€…「ã©ã†ã—ã¦ã“ã‚“ãªã«é«˜é€Ÿã«å‡¦ç†ã§ãã‚“ã®ã‹ãªãã€ã¨ç–‘å•ã«æ„Ÿã˜ã¦ã„ã¾ã—ãŸã€‚repeated bisectionã¨ã„ã†æ‰‹æ³•è‡ªä½“ãŒk-means法ãªã©ã¨æ¯”ã¹ã‚‹ã¨åŠ¹çŽ‡ãŒã„ã„ã®ã§ã™ãŒã€ãã‚Œã«ã—ã¦ã‚‚ã€ãã‚Œã ã‘ã§ã¯èª¬æ˜ŽãŒã¤ã‹ãªã„ã»ã©çˆ†é€Ÿãªã‚ã‘ã§ã™ã€‚ ã†ã¾ã例ãˆã‚‰ã‚Œã¾ã›ã‚“ãŒã€è‡ªå‰ã§k-meansã®ã‚¹ã‚¯ãƒªãƒ—トを書ã„ã¦æ¯”ã¹ã¦ã¿ã‚‹ã¨ã€è‡ªè»¢è»Šã¨æ–°å¹¹ç·šãらã„ã¡ãŒã†ã¨ã„ã†å°è±¡ã§ã™ã€‚ã¯ã˜ã‚ã¦CLUTOを触ã£ãŸæ™‚ã€æ•°ä¸‡ä»¶ç¨‹è¦æ¨¡ã®ã‚¯ãƒ©ã‚¹ã‚¿ãƒªãƒ³ã‚°å‡¦ç†ãŒæœ¬å½“ã«ã€Œã‚ã£ã€ã¨ã„ã†é–“ã«çµ‚ã‚ã£ã¦ã—ã¾ã„ã€ã³ã£ãã‚Šã—ãŸè¨˜æ†¶ãŒã‚ã‚Šã¾ã™ã€‚ ãã£ã¨å®Ÿè£…é¢ã§ãªã«ã‹ç‰¹æ®Šãªã“ã¨ãŒã‚ã‚‹ã‚“ã ã‚ã†ãªã¨æ€ã„ã€mixiエンジニアブãƒã‚°ã§bayonã®è¨˜äº‹ã‚’改ã‚ã¦èªã¿æ¼ã£ã¦ã„ãŸã‚‰ã€ä»¥ä¸‹ã®éƒ¨åˆ†ãŒç›®ã«æ¢ã¾ã‚Šã¾ã—ãŸã€‚ ã“ã®ã‚¯ãƒ©ã‚¹ã‚¿ã®è©•ä¾¡ã¯ã€ã‚¯ãƒ©ã‚¹ã‚¿ã®å„è¦ç´ ã¨ã‚¯ãƒ©ã‚¹ã‚¿ã®ä¸å¿ƒã¨ã®cosine類似度ã®å’Œã¨ã—ã¦ã„ã¾ã™ã€‚ã“ã®å’ŒãŒå¤§ãã„ã»ã©
スペクトラルクラスタリングã¯æ¬¡å…ƒåœ§ç¸®ã—ãªãŒã‚‰Kmeansã™ã‚‹æ‰‹æ³• - æ¦è”µé‡Žæ—¥è¨˜
機械å¦ç¿’ç³»ã®ã‚¨ãƒ³ãƒˆãƒªã‚’続ã‘ã¦æ›¸ã„ã¦ã¿ã‚‹ã€‚クラスタリングã«ã¤ã„ã¦çŸ¥ã‚‰ãªã„人ã¯ä»¥ä¸‹ã®ã‚¨ãƒ³ãƒˆãƒªèªã‚“ã§ã‚‚ã¡ã‚“ã·ã‚“ã‹ã‚“ã·ã‚“ã ã¨æ€ã†ã®ã§ã€ã‚¯ãƒ©ã‚¹ã‚¿ãƒªãƒ³ã‚°ã¨ã„ã†æ¦‚念ã«ã¤ã„ã¦ã¯çŸ¥ã£ã¦ã„ã‚‹ã‚‚ã®ã¨ã™ã‚‹ã€‚ ãã‚Œã§ã€ä»Šæ—¥ã¯ã‚¹ãƒšã‚¯ãƒˆãƒ©ãƒ«ã‚¯ãƒ©ã‚¹ã‚¿ãƒªãƒ³ã‚°ã®è©±ã€‚自然言語処ç†ä»¥å¤–ã§ã‚‚利用ã•ã‚Œã¦ã„ã‚‹ãŒã€ã“ã‚Œã¯ã‚°ãƒ©ãƒ•ã®ã‚¹ãƒšã‚¯ãƒˆãƒ«ã«åŸºã¥ãクラスタリングã®æ‰‹æ³•ã§ã€åŠæ•™å¸«ã‚ã‚Šå¦ç¿’ã¸ã®æ‹¡å¼µãŒã‚„ã‚Šã‚„ã™ã„ã®ãŒåˆ©ç‚¹ã€‚ãªã«ã‚’ã™ã‚‹ã‹ã¨ã„ã†ã¨ã‚¯ãƒ©ã‚¹ã‚¿ãƒªãƒ³ã‚°ã‚’グラフã®åˆ†å‰²å•é¡Œ(ç–Žã§ã‚るエッジをカット)ã«å¸°ç€ã—ã¦è§£ã手法ã§ã€ã©ã†ã„ã†ãµã†ã«åˆ†å‰²ã™ã‚‹ã‹ã«ã‚ˆã£ã¦ Normalized cut (Ncut) ã¨ã‹ Min-max cut (Mcut) ã¨ã‹ã„ã‚ã„ã‚ã‚る。 完全ã«ã‚°ãƒ©ãƒ•ãŒåˆ†å‰²ã§ãã‚‹å ´åˆã¯ã“ã‚Œã§ã‚ã§ãŸã—ã‚ã§ãŸã—ãªã®ã ãŒã€å®Ÿä¸–ç•Œã®ã‚°ãƒ©ãƒ•ã¯ãã‚“ãªç°¡å˜ã«åˆ‡ã‚Œãªã„ã“ã¨ãŒå¾€ã€…ã«ã—ã¦ã‚る。ãã‚Œã§è¿‘ä¼¼ã—ã¦ã“ã®ã‚°ãƒ©ãƒ•åˆ†å‰²å•é¡Œã‚’解ãã®ã ãŒã€Normalized c
『Blogopolisã®è£å´ã€ç™ºè¡¨è³‡æ–™ - kaisehã®ãƒ–ãƒã‚°
昨日ã®Seasar Conference 2009 Autumnã§ç™ºè¡¨ã•ã›ã¦ã„ãŸã ã„ãŸã€ŽBlogopolisã®è£å´ã€ã®è³‡æ–™ã‚’公開ã—ã¾ã™ã€‚ Blogopolisã®è£å´View more documents from kaiseh. 資料ã®28æžšç›®ã«ã€é‡ã¿ä»˜ãボãƒãƒŽã‚¤å›³ã®é‡å¿ƒãƒ™ãƒ¼ã‚¹ãƒ¬ã‚¤ã‚¢ã‚¦ãƒˆã®èª¬æ˜Žç”¨å‹•ç”»ãŒã‚ã‚Šã¾ã—ãŸã€‚ãã®å‹•ç”»ã¯ä»¥ä¸‹ã«ã‚¢ãƒƒãƒ—ã—ã¾ã—ãŸã€‚ 講演者ã®çš†ã•ã‚“ã€é‹å–¶ã®çš†æ§˜ã€æœ¬å½“ã«ãŠç–²ã‚Œæ§˜ã§ã—ãŸï¼ 追記 id:mi-changã•ã‚“ p14ã§ã§ã¦ã‚‹ã€Œé ‚点数ã€ã€ã€Œå¤šè§’形数ã€ã£ã¦ä½•ã‚’æ„味ã—ã¦ã‚‹ã‚“ã ã‚ã†?é ‚ç‚¹æ•°ãŒå¤šã„ã¨ã„ã†ã“ã¨ã¯ã‚ˆã‚Šå¤šãã®ã‚¿ã‚°ã¨çµã³ã¤ã„ã¦ã„ã‚‹ã£ã¦ã“ã¨? ã“ã‚Œã¯ã€1ã¤1ã¤ã®ã‚¨ãƒ³ãƒˆãƒªãƒ¼ã‚„ブãƒã‚°ã€åœ°åŒºï¼ˆã‚«ãƒ†ã‚´ãƒªï¼‰ã«å¯¾å¿œã™ã‚‹åœŸåœ°ã®å¹¾ä½•ãƒ‡ãƒ¼ã‚¿ã®ã“ã¨ã§ã™ã€‚例ãˆã°ã€5角形ã®åœŸåœ°ã®å ´åˆã¯5個ã®é ‚点座標ãŒå¿…è¦ã«ãªã‚Šã¾ã™ã€‚土地ã®é ‚点数ã¯ãƒ¬ã‚¤ã‚¢ã‚¦ãƒˆä¸Šã®ç†ç”±ã§æ±ºã¾ã‚‹ã‚‚ã®ã§ã€ã‚¿ã‚°ã¨ã¯ç›´æŽ¥é–¢ä¿‚ã¯ã‚ã‚Šã¾ã›ã‚“。
ç”»åƒç ”究入門
ã€ç›®æ¬¡ã€‘ ï¼ï¼Žï¼£è¨€èªžåŸºç¤Ž ï¼ï¼ï¼‘．本当ã®åŸºç¤Ž ï¼ï¼ï¼’．é…列ã¨ãƒã‚¤ãƒ³ã‚¿ ï¼ï¼ï¼“．文å—列æ“作・ファイルæ“作 １．画åƒåŸºç¤Ž １ï¼ï¼‘．画åƒãƒ•ã‚©ãƒ¼ãƒžãƒƒãƒˆ １ï¼ï¼’．テã‚ストã¨ãƒã‚¤ãƒŠãƒª １ï¼ï¼“．é…列ã¨ãƒã‚¤ãƒ³ã‚¿ ２．画åƒå‡¦ç†åŸºç¤Ž ï¼’ï¼ï¼‘ï¼Žã‚¨ãƒƒã‚¸å‡¦ç† ï¼’ï¼ï¼’ï¼ŽèƒŒæ™¯å·®åˆ†å‡¦ç† ï¼“ï¼Žã‚°ãƒ©ãƒ•æ画基礎 ３ï¼ï¼‘．ｇｕｎï½ï½Œï½ï½” ３ï¼ï¼’．折れ線グラフ ３ï¼ï¼“．ヒストグラム表示 ４．アルゴリズム基礎 ï¼”ï¼ï¼‘．ｋï¼å¹³å‡ã‚¢ãƒ«ã‚´ãƒªã‚ºãƒ ï¼”ï¼ï¼’．Ｅï¼ã‚¢ãƒ«ã‚´ãƒªã‚ºãƒ ５．画åƒè¡¨ç¤ºåŸºç¤Ž ５ï¼ï¼‘．Ｏï½ï½…ｎＧＬ ５ï¼ï¼’．Ｏï½ï½…ｎＧＬã«ã‚ˆã‚‹äºŒæ¬¡å…ƒè¡¨ç¤º ５ï¼ï¼“．Ｏï½ï½…ｎＧＬã«ã‚ˆã‚‹ä¸‰æ¬¡å…ƒè¡¨ç¤º ã¯ã˜ã‚ã« ã“ã‚Œã‹ã‚‰ç”»åƒå‡¦ç†ãƒ»èªè˜ã®ç ”究を始ã‚よã†ã¨ã„ã†äººã‚’対象ã¨ã—ãŸå…¥é–€æ›¸ã‚’作ã£ã¦ã„ã¾ã™ï¼Žå¯¾è±¡ã¯ç ”究室ã«é…属ã•ã‚ŒãŸã°ã‹ã‚Šã®æƒ…å ±ç³»å¤§å¦ã®ï¼”年生を想定ã—ã¦ã„ã¾ã™ãŒï¼Œèª°ãŒèªã‚“ã§ã‚‚分ã‹ã‚‹ã‚ˆã†ã«å¿ƒãŒã‘ã¦ã„ã‚‹ã¤ã‚‚ã‚Šã§ã™ï¼Žèªã¿é€²ã‚ãªãŒã‚‰èª²é¡Œã‚’解ã„ã¦ã„ãã†ã¡ã«ç”»åƒã®åŸºç¤ŽçŸ¥è˜
クラスタリングツール「bayonã€ã‚’試ã—ã¦ã¿ãŸ - download_takeshi’s diary
夜ä¸ã®3時åŠéŽãŽã§ã™ãŒã€ä¹…ã—ã¶ã‚Šã«ãªã‚“ã‹æ›¸ã“ã†ã¨æ€ã„ã¾ã™ã€‚ ã¡ã‚‡ã£ã¨å‰ã«mixiã®fujisawaã•ã‚“ã¨ã„ã†æ–¹ãŒã™ã”ãナイスãªã‚½ãƒ•ãƒˆã‚¦ã‚§ã‚¢ã‚’リリースã—ã¦ãã‚Œã¾ã—ãŸã€‚ 「軽é‡ãƒ‡ãƒ¼ã‚¿ã‚¯ãƒ©ã‚¹ã‚¿ãƒªãƒ³ã‚°ãƒ„ールbayon〠http://alpha.mixi.co.jp/blog/?p=1049 今ã¾ã§ã«ã‚‚CLUTOã¨ã„ã†ã™ã”ã高精度ãªã‚¯ãƒ©ã‚¹ã‚¿ãƒªãƒ³ã‚°ãƒ„ールãŒã‚ã‚Šã¾ã—ãŸãŒã€ã“ã„ã¤ã¯ãƒ©ã‚¤ã‚»ãƒ³ã‚¹çš„ã«ã¡ã‚‡ã£ã¨ã‚¤ã‚±ã‚ºãªæ„Ÿã˜ã§ã—ãŸã€‚ãã“ã«bayonãŒã‚¹ãƒ¼ãƒ‘ーマンã®ã‚ˆã†ã«ç™»å ´ã—ã¦ãã‚Œã¾ã—ãŸï¼ã€Œå•†ç”¨åˆ©ç”¨OKã よã€ã¨ã„ã†ã“ã¨ã§ã€ä»•äº‹ã®ä¸Šã§ã®æ‚©ã¿ãŒè§£æ±ºã—ã¾ã—ãŸã€‚本当ã«ã‚ã‚ŠãŒãŸã„ã“ã¨ã§ã™ã€‚ ã•ã¦ã•ã¦ã€æ—©é€Ÿä½¿ã£ã¦ã¿ãŸã„ã‚“ã§ã™ãŒã€ãƒ–ãƒã‚°ã«æ›¸ãã®ã«ã¡ã‚‡ã†ã©ã„ã„é¡ŒæãŒãªã‹ã£ãŸã®ã§ã€ä»¥å‰ã«è‡ªåˆ†ãŒæ›¸ã„ãŸã‚¨ãƒ³ãƒˆãƒªã‹ã‚‰ãƒ‡ãƒ¼ã‚¿ã‚’æŒã£ã¦ãã‚‹ã“ã¨ã«ã—ã¾ã—ãŸã€‚ 「芸能人ã®ç›¸é–¢é–¢ä¿‚を探ã£ã¦ã¿ã‚‹ã‚¹ã‚¯ãƒªãƒ—ト〠http://d.hatena.ne.jp
クラスタリングã®å®šç•ªã‚¢ãƒ«ã‚´ãƒªã‚ºãƒ 「K-means法ã€ã‚’ビジュアライズã—ã¦ã¿ãŸ - ã¦ã£ã煮ブãƒã‚°
集åˆçŸ¥ãƒ—ãƒã‚°ãƒ©ãƒŸãƒ³ã‚° ã‚’èªã‚“ã§ã„ãŸã‚‰ã€K-means 法（Kå¹³å‡æ³•ï¼‰ã®èª¬æ˜ŽãŒå‡ºã¦ãã¾ã—ãŸã€‚K-means 法ã¯ã‚¯ãƒ©ã‚¹ã‚¿ãƒªãƒ³ã‚°ã‚’è¡Œã†ãŸã‚ã®å®šç•ªã®ã‚¢ãƒ«ã‚´ãƒªã‚ºãƒ らã—ã„ã§ã™ã€‚å˜åœ¨ã¯çŸ¥ã£ã¦ã„ãŸã‚“ã ã‘ã©ã„ã¾ã„ã¡ãƒ”ンã¨ãã¦ã„ãªã‹ã£ãŸã®ã§ã€å‹•ä½œã‚’ç†è§£ã™ã‚‹ãŸã‚ã«ã‚µãƒ³ãƒ—ルを作ã£ã¦ã¿ã¾ã—ãŸã€‚クリックã™ã‚‹ã¨ï¼‘ステップãšã¤å‹•ã‹ã™ã“ã¨ãŒã§ãã¾ã™ã€‚クラスタã®æ•°ã‚„点ã®æ•°ã‚’変更ã—ã¦ã€RESET を押ã™ã¨å¥½ããªãƒ‘ラメータã§è©¦ã™ã“ã¨ãŒã§ãã¾ã™ã€‚ã“ã†ã‚„ã£ã¦ï¼‘ステップãšã¤ç¢ºèªã—ãªãŒã‚‰å‹•ã‹ã—ã¦ã¿ã‚‹ã¨ã€æ„外ã«å˜ç´”ãªä»•çµ„ã¿ãªã®ãŒå®Ÿæ„Ÿã§ãã¾ã—ãŸã€‚K-means 法ã¨ã¯Kå¹³å‡æ³• - Wikipedia ã«è©³ã—ã書ã„ã¦ã‚ã‚‹ã‘ã©ã€ã‚‚ã†ã™ã“ã—ザックリã¨æ›¸ãã¨ã“ã‚“ãªã‚¤ãƒ¡ãƒ¼ã‚¸ã«ãªã‚Šã¾ã™ã€‚å„点ã«ãƒ©ãƒ³ãƒ€ãƒ ã«ã‚¯ãƒ©ã‚¹ã‚¿ã‚’割り当ã¦ã‚‹ã‚¯ãƒ©ã‚¹ã‚¿ã®é‡å¿ƒã‚’計算ã™ã‚‹ã€‚点ã®ã‚¯ãƒ©ã‚¹ã‚¿ã‚’ã€ä¸€ç•ªè¿‘ã„é‡å¿ƒã®ã‚¯ãƒ©ã‚¹ã‚¿ã«å¤‰æ›´ã™ã‚‹å¤‰åŒ–ãŒãªã‘ã‚Œã°çµ‚了。変化ãŒã‚ã‚‹é™ã‚Šã¯ 2. ã«æˆ»ã‚‹ã€‚ã“ã‚Œ
ニコニコ動画ã®å¤§è¦æ¨¡ãªãƒ‡ãƒ¼ã‚¿ã«å¯¾ã™ã‚‹ã‚¿ã‚°ä»˜ã‘ã¨ãƒªãƒ³ã‚¯è§£æž - æ¦è”µé‡Žæ—¥è¨˜
ニコニコ動画データ分æžç ”究発表会ã¨ã„ã†ã®ãŒé–‹å‚¬ã•ã‚Œã¦ã„ãŸã‚ˆã†ã 。 タイトルや説明文ã¯ãƒŽã‚¤ã‚¸ãƒ¼ãªã®ã§ã€å‹•ç”»ã«ã¤ã‘られãŸã‚¿ã‚°ã‚’使ã†ã¨å‰²ã¨ãã‚Œã„ãªãƒ‡ãƒ¼ã‚¿ã¨ã—ã¦å¯è¦–化ã—ãŸã‚Šã§ãã‚‹ã€ã¨ã„ã†è©±ã¯ã€ã¯ã¦ãªãƒ–ックマークã®é–¢é€£ã‚¨ãƒ³ãƒˆãƒªãƒ¼æ©Ÿèƒ½ã®ã¨ãã‚‚èžã„ãŸã‚ˆã†ãªè©±ã§ã€åŸºæœ¬çš„ã«ã¯ã‚¤ãƒ³ã‚¿ãƒ¼ãƒãƒƒãƒˆãƒ¦ãƒ¼ã‚¶ã«ç„¡æ–™ã§ãƒ‡ãƒ¼ã‚¿ã®ã‚¿ã‚°ä»˜ã‘ã‚’ã—ã¦ã‚‚らã£ã¦ã„ã‚‹ã€ã¨ã„ã†è©±ãªã‚“ã ã‚ã†ãªã€ã¨æ€ã†ã€‚以å‰ç´¹ä»‹ã—ãŸRion Snow ã®è«–æ–‡ (å½¼ã¯2005å¹´ã« Microsoft Research ã§ã‚¤ãƒ³ã‚¿ãƒ¼ãƒ³ã—ã€2006å¹´ã« Powerset (ç¾åœ¨ã¯ Microsoft ã«è²·åŽæ¸ˆã¿)ã€2007å¹´ã«ã¯ Google ã§ã‚¤ãƒ³ã‚¿ãƒ¼ãƒ³ã—ãŸäººç‰©ã€‚ACL ã¨ã„ã†è‡ªç„¶è¨€èªžå‡¦ç†ã®ãƒˆãƒƒãƒ—カンファレンスã§2006å¹´ã«ãƒ™ã‚¹ãƒˆãƒšãƒ¼ãƒ‘ーå—賞)ã§ã€ 今年㮠Rion Snow ã®ãƒˆãƒ¼ã‚¯ã¯ã€Amazon Mechanical Turkã¨ã„ã†ã‚·ã‚¹ãƒ†ãƒ を使ã£ã¦ã€éžå¸¸ã«å®‰ä¾¡
k-means++を試ã—ä¸ - ã®ã‚“ã³ã‚Šèªæ›¸æ—¥è¨˜
http://d.hatena.ne.jp/kaiseh/20090113/1231864089 上ã®è¨˜äº‹ã‚’見ã¦ã€k-means++ãŒé¢ç™½ãã†ã ã£ãŸã®ã§ã€ã¡ã‚‡ã£ã¨ã ã‘試ã—ã¦ã¿ãŸã€‚ k-meansã¯åˆæœŸå€¤ã«å¤§ããä¾å˜ã™ã‚‹ã¨ã“ã‚ãŒå«Œã„。åˆæœŸå€¤ã¸ã®ä¾å˜åº¦ã‚’軽減ã™ã‚‹ãŸã‚ã«ã€åˆæœŸå€¤ã‚’変ãˆã¦ä½•å›žã‹è©¦è¡Œã—ã¦ãã®ä¸ã§ä¸€ç•ªè‰¯ã„çµæžœã®ã‚‚ã®ã‚’使用ã™ã‚‹ã€ãªã‚“ã¦ã“ã¨ã‚’ã—ãªã„ã¨ã„ã‘ãªã„。ãã®ãŸã‚処ç†æ™‚間も馬鹿ã«ãªã‚‰ãªããªã£ã¦ã—ã¾ã†ã®ã§ã€ã¡ã‚‡ã£ã¨ã“ã‚Œã˜ã‚ƒã‚ãªã‚…ã¨ã„ã†ã“ã¨ã§ä½¿ã£ã¦ãªã‹ã£ãŸã€‚ ã§ã‚‚今回ã®k-means++ã¯åˆæœŸå€¤ã‚’ã†ã¾ã求ã‚ã‚‹ã“ã¨ã§ã€ç²¾åº¦ã¨é€Ÿåº¦ã®å‘上ãŒå¾—られるらã—ã„。ã“ã‚Œã¯ã†ã‚Œã—ã„ï¼ è«–æ–‡è‘—è€…ã®ãƒšãƒ¼ã‚¸ã«ã‚µãƒ³ãƒ—ルコードãŒã‚ã£ãŸã®ã§è©¦ã—ã¦ã¿ã‚ˆã†ã¨æ€ã£ãŸã‚“ã ã‘ã©ã€MFCを使ã£ã¦ã„ã‚‹ã¿ãŸã„ã§åƒ•ã®ç’°å¢ƒã§ã¯ã‚³ãƒ³ãƒ‘イルã§ããšâ€¦ã€‚ http://www.stanford.edu/~darthur/kMeansppTest
クラスタリング (クラスター分æž) - Toshihiro Kamishima
クラスタリング (clustering) ã¨ã¯ï¼Œåˆ†é¡žå¯¾è±¡ã®é›†åˆã‚’，内的çµåˆ (internal cohesion) ã¨å¤–的分離 (external isolation) ãŒé”æˆã•ã‚Œã‚‹ã‚ˆã†ãªéƒ¨åˆ†é›†åˆã«åˆ†å‰²ã™ã‚‹ã“㨠[Everitt 93, 大橋 85] ã§ã™ï¼Žçµ±è¨ˆè§£æžã‚„多変é‡è§£æžã®åˆ†é‡Žã§ã¯ã‚¯ãƒ©ã‚¹ã‚¿ãƒ¼åˆ†æž (cluster analysis) ã¨ã‚‚呼ã°ã‚Œï¼ŒåŸºæœ¬çš„ãªãƒ‡ãƒ¼ã‚¿è§£æžæ‰‹æ³•ã¨ã—ã¦ãƒ‡ãƒ¼ã‚¿ãƒžã‚¤ãƒ‹ãƒ³ã‚°ã§ã‚‚é »ç¹ã«åˆ©ç”¨ã•ã‚Œã¦ã„ã¾ã™ï¼Ž 分割後ã®å„部分集åˆã¯ã‚¯ãƒ©ã‚¹ã‚¿ã¨å‘¼ã°ã‚Œã¾ã™ï¼Žåˆ†å‰²ã®æ–¹æ³•ã«ã‚‚å¹¾ã¤ã‹ã®ç¨®é¡žãŒã‚り，全ã¦ã®åˆ†é¡žå¯¾è±¡ãŒã¡ã‚‡ã†ã©ä¸€ã¤ã ã‘ã®ã‚¯ãƒ©ã‚¹ã‚¿ã®è¦ç´ ã¨ãªã‚‹å ´åˆ(ãƒãƒ¼ãƒ‰ãªã‚‚ã—ãã¯ï¼Œã‚¯ãƒªã‚¹ãƒ—ãªã‚¯ãƒ©ã‚¹ã‚¿ã¨ã„ã„ã¾ã™)や，逆ã«ä¸€ã¤ã®ã‚¯ãƒ©ã‚¹ã‚¿ãŒè¤‡æ•°ã®ã‚¯ãƒ©ã‚¹ã‚¿ã«åŒæ™‚ã«éƒ¨åˆ†çš„ã«æ‰€å±žã™ã‚‹å ´åˆ(ソフト，ã¾ãŸã¯ï¼Œãƒ•ã‚¡ã‚¸ã‚£ãªã‚¯ãƒ©ã‚¹ã‚¿ã¨ã„ã„ã¾ã™)ãŒã‚ã‚Šã¾ã™ï¼Žã“ã“ã§ã¯å‰è€…ã®ãƒãƒ¼ãƒ‰ãªå ´åˆã®ã‚¯ãƒ©ã‚¹ã‚¿ãƒªãƒ³ã‚°ã«ã¤ã„ã¦è¿°ã¹ã¾ã™ï¼Ž
K-means法ã«ã‚ˆã‚‹ã‚¯ãƒ©ã‚¹ã‚¿ãƒªãƒ³ã‚°ã®ã‚¹ãƒžãƒ¼ãƒˆãªåˆæœŸå€¤é¸æŠžã‚’è¡Œã†K-means++ - kaisehã®ãƒ–ãƒã‚°
K-means法ã¯ã€å…¥åŠ›ãƒ‡ãƒ¼ã‚¿ã‹ã‚‰K個ã®ãƒ©ãƒ³ãƒ€ãƒ ãªå€‹ä½“ã‚’åˆæœŸã‚¯ãƒ©ã‚¹ã‚¿ã®ä¸å¿ƒã¨ã—ã¦é¸æŠžã—ã€ä»¥é™ã€ã‚¯ãƒ©ã‚¹ã‚¿ã®é‡å¿ƒã‚’移動ã•ã›ã‚‹ã‚¹ãƒ†ãƒƒãƒ—ã‚’ç¹°ã‚Šè¿”ã™ã“ã¨ã§ã‚¯ãƒ©ã‚¹ã‚¿ãƒªãƒ³ã‚°ã‚’è¡Œã†éžéšŽå±¤çš„手法ã§ã™ã€‚K-means法ã¯ã‚·ãƒ³ãƒ—ルã§é«˜é€Ÿã§ã™ãŒã€åˆæœŸå€¤ä¾å˜ãŒå¤§ãã„ã®ãŒå¼±ç‚¹ã§ã€ä¸é©åˆ‡ãªåˆæœŸå€¤é¸æŠžã‚’ã™ã‚‹ã¨é–“é•ã£ãŸè§£ã«åŽæŸã—ã¦ã—ã¾ã„ã¾ã™ã€‚ 以下ã¯ã€Introduction to Information Retrievalã®16ç« ã«å‡ºã¦ãる例ã§ã™ã€‚ {d1, d2, ..., d6}ã‚’K=2ã§ã‚¯ãƒ©ã‚¹ã‚¿ãƒªãƒ³ã‚°ã™ã‚‹å ´åˆã€{{d1, d2, d4, d5}, {d3, d6}}ãŒå¤§åŸŸæœ€é©è§£ã§ã™ãŒã€åˆæœŸã‚¯ãƒ©ã‚¹ã‚¿ã®ä¸å¿ƒã‚’d2, d5ã§ä¸Žãˆã‚‹ã¨ã€{{d1, d2, d3}, {d4, d5, d6}}ã¨ã„ã†èª¤ã£ãŸè§£ã«åŽæŸã—ã¦ã—ã¾ã„ã¾ã™ã€‚ ã“ã®å•é¡Œã‚’改善ã™ã‚‹K-means++ã¨ã„ã†æ‰‹æ³•ã‚’見ã¤ã‘ãŸã®ã§ã€è©¦ã—ã¦ã¿ã¾ã—ãŸã€‚ K-means+
Introduction to Information Retrieval #16 ã®å¾©ç¿’資料 - naoyaã®ã¯ã¦ãªãƒ€ã‚¤ã‚¢ãƒªãƒ¼
ã—ã°ã‚‰ãé–“ãŒç©ºã„ã¦ã—ã¾ã„ã¾ã—ãŸã€‚Introduction to Information Retrieval 輪èªä¼š 16ç« ã®å¾©ç¿’資料を以下ã«ã‚¢ãƒƒãƒ—ãƒãƒ¼ãƒ‰ã—ã¾ã—ãŸã€‚ http://bloghackers.net/~naoya/iir/ppt/iir_16.ppt 16ç« ã®ãƒ†ãƒ¼ãƒžã¯ã€"Flat Clustering" ã§è©±é¡Œã¯ã‚¯ãƒ©ã‚¹åˆ†é¡žã‹ã‚‰ã‚¯ãƒ©ã‚¹ã‚¿ãƒªãƒ³ã‚°ã¸ã¨ç§»ã‚Šã¾ã™ã€‚16ç« ã§ã¯ã‚¯ãƒ©ã‚¹ã‚¿ã¨ã‚¯ãƒ©ã‚¹ã‚¿ã®é–“ã«é–¢ä¿‚性ãŒãªã„フラットクラスタリングを扱ã„ã€ç¶šã 17ç« ã§ã¯ã‚¯ãƒ©ã‚¹ã‚¿é–“ã«éšŽå±¤çš„æ§‹é€ ã‚’è¦‹å‡ºã™éšŽå±¤åž‹ã‚¯ãƒ©ã‚¹ã‚¿ãƒªãƒ³ã‚° (Hierachical clustering) を扱ã„ã¾ã™ã€‚ クラスタリング 13ç« ã‹ã‚‰15ç« ã¾ã§ã¯ Naive Bayes ã‚„ SVM ãªã©ã«ã‚ˆã‚‹ "Classification" ãŒè©±ã®ä¸»é¡Œã§ã—ãŸã€‚クラスタリングもåŒæ§˜ã«æƒ…å ±ã®ã‚°ãƒ«ãƒ¼ãƒ”ングを行ã†ã‚‚ã®ã§ã™ãŒã€Classification
リリースã€éšœå®³æƒ…å ±ãªã©ã®ã‚µãƒ¼ãƒ“スã®ãŠçŸ¥ã‚‰ã›
最新ã®äººæ°—エントリーã®é…ä¿¡
j次ã®ãƒ–ックマーク
kå‰ã®ãƒ–ックマーク
lã‚ã¨ã§èªã‚€
eコメント一覧を開ã
oページを開ã
IBM Developer
IBM Developer
{{#tags}}- {{label}}
{{/tags}}