GitHub - facebookresearch/faiss: A library for efficient similarity search and clustering of dense vectors.
Faiss contains several methods for similarity search. It assumes that the instances are represented as vectors and are identified by an integer, and that the vectors can be compared with L2 (Euclidean) distances or dot products. Vectors that are similar to a query vector are those that have the lowest L2 distance or the highest dot product with the query vector. It also supports cosine similarity,
解説・講義資料 - Toshihiro Kamishima
機械å¦ç¿’・データマイニング全般 変ã‚りゆã機械å¦ç¿’ã¨å¤‰ã‚らãªã„機械å¦ç¿’ [物ç†å¦ä¼šèªŒ 2019]：機械å¦ç¿’・データマイニングã«ã¤ã„ã¦ã®å°‚門家以外ã«å‘ã‘ãŸè§£èª¬è¨˜äº‹ 機械å¦ç¿’・データマイニング分野ã®æ¦‚è¦ï¼šåˆ†é‡Žå…¨ä½“ã®æ¦‚è¦ã¨å›½éš›ä¼šè°å‹•å‘ã¾ã¨ã‚資料 ML, DM, and AI Conference Map：人工知能，機械å¦ç¿’，ãŠã‚ˆã³ãƒ‡ãƒ¼ã‚¿ãƒžã‚¤ãƒ‹ãƒ³ã‚°é–¢ä¿‚ã®å›½éš›ä¼šè°é–¢é€£ãƒžãƒƒãƒ— データマイニング：4種類ã®ä¸»è¦åˆ†æžã‚¿ã‚¹ã‚¯ã¨ãƒ‡ãƒ¼ã‚¿ãƒžã‚¤ãƒ‹ãƒ³ã‚°ã«ã‚ˆã‚‹çŸ¥è˜ç™ºè¦‹ãƒ—ãƒã‚»ã‚¹ã«ã¤ã„ã¦ã®å¦éƒ¨å‰åŠãƒ¬ãƒ™ãƒ«ã®èª¬æ˜Žè³‡æ–™ 社会ã«ãŠã‘る機械å¦ç¿’ Fairness-Aware Machine Learning and Data Mining: Tutorial on data analysis considering potential issues of fairness ç§ã®ãƒ–ックマーク「人工知能ã¨å…¬å¹³æ€§ã€ [人工知能å¦ä¼š 20
「目ã«è¦‹ãˆã‚‹ãƒ‘ーセプトãƒãƒ³ã€ã¨ã„ã†è³‡æ–™ã‚’作ã£ãŸã®ã§å…¬é–‹ã—ã¾ã™ · ã‘ã‚“ã”ã®ãŠå±‹æ•·
先日ã€ç¤¾å†…ã®å‹‰å¼·ä¼šã§ãƒã‚¿ãŒå‹Ÿé›†ã•ã‚Œã¦ã„ãŸã®ã§æ©Ÿæ¢°å¦ç¿’ã€ç‰¹ã«ãƒ‘ーセプトãƒãƒ³ã«ã¤ã„ã¦ã—ゃã¹ã‚Šã¾ã—ãŸã€‚パーセプトãƒãƒ³è‡ªä½“ã¯éžå¸¸ã«å˜ç´”ãªãƒ¢ãƒ‡ãƒ«ã§ã€ç†è§£ã‚‚実装も比較的容易ã§ã€ãれゆãˆã«æ§˜ã€…ãªã‚‚ã®ã®åŸºç¤Žã«ãªã£ã¦ã„ã¾ã™ã€‚è¿‘å¹´ã€æ·±å±¤å¦ç¿’ã¨å‘¼ã°ã‚Œã‚‹å¦ç¿’を何層ã«ã‚‚渡ã£ã¦è¡Œã†ã‚ˆã†ãªæ¦‚念ãŒè©±é¡Œã«ãªã£ã¦ã„ã¾ã™ãŒã€ãã“ã«å‡ºã¦ãるニューラルãƒãƒƒãƒˆãƒ¯ãƒ¼ã‚¯ã¯ä¸€ç¨®ã®å¤šå±¤ãƒ‘ーセプトãƒãƒ³ã§ã‚‚ã‚ã‚Šã¾ã™ã€‚ã“ã“æ•°å¹´ã§ã®æ©Ÿæ¢°å¦ç¿’や深層å¦ç¿’ã®é€²æ©ã®ã‚¹ãƒ”ードã¯ç´ 晴らã—ã„ã‚‚ã®ãŒã‚ã‚Šã¾ã™ãŒã€ãã‚“ãªä¸ã§åŸºç¤Žçš„ãªéƒ¨åˆ†ã‚’押ã•ãˆã¦ãŠãã“ã¨ã¯ã‚ˆã‚Šå¤§äº‹ã«ãªã£ã¦ãã‚‹ã®ã§ã¯ãªã„ã§ã—ょã†ã‹ã€‚ 社内勉強会ã§ä½¿ã£ãŸã‚¹ãƒ©ã‚¤ãƒ‰ã§ã¯ã€ç°¡å˜ãªæ©Ÿæ¢°å¦ç¿’ã®æ¦‚è¦ã¨ãƒ‘ーセプトãƒãƒ³ã®ä»•çµ„ã¿ã‚’解説ã—ã¦ã¿ã¾ã—ãŸã€‚インターãƒãƒƒãƒˆä¸Šã«å…¬é–‹ã—ãŸã®ã§ã€ã“ã®ãƒ–ãƒã‚°ã§ã‚‚紹介ã—ã¦ãŠãã¾ã™ã€‚ 補足 ã„ãã¤ã‹è³‡æ–™ã®è£œè¶³ã‚’ã—ã¦ãŠããŸã„ã¨æ€ã„ã¾ã™ã€‚ å¦ç¿’ã«ã¤ã„㦠基本的ã«ã¯å¯¾è±¡ãƒ‡ãƒ¼ã‚¿ã‹ã‚‰ç´ 性を抽出ã—ã¦ã€ãれを
æƒ…å ±ç§‘å¦ã«ãŠã‘ã‚‹18ã®ãƒ¡ã‚¿ãƒ†ã‚¯ãƒ‹ãƒƒã‚¯
1. Kanazawa Institute of Technology æƒ…å ±ç§‘å¦ã«ãŠã‘ã‚‹ 18ã®ãƒ¡ã‚¿ãƒ†ã‚¯ãƒ‹ãƒƒã‚¯ 2015å¹´4月30æ—¥ 金沢工æ¥å¤§å¦ æƒ…å ±å·¥å¦ç§‘ ä¸é‡Ž æ·³ http://www.nakanolab.net/ 2. K.I.T.æƒ…å ±ç§‘å¦ã«ãŠã‘ã‚‹18ã®ãƒ¡ã‚¿ãƒ†ã‚¯ãƒ‹ãƒƒã‚¯ 1. ã‚ャッシング 2. ブãƒãƒƒã‚ング vs. ノンブãƒãƒƒã‚ング 3. プãƒãƒ•ã‚¡ã‚¤ãƒªãƒ³ã‚° 4. パイプライニング 5. 投機的実行（予測） 6. æ¡ä»¶ã®ç·©å’Œ 7. ã™ãã‚„ã‚‹ vs. 先延ã°ã— 8. フィルタリング 9. å†åˆ©ç”¨ 10. 並列化 11. çµåˆ vs. 分離 12. 多階層ã€ã‚¯ãƒ©ã‚¹ã‚¿ãƒ¼åŒ– 13. å…ˆèªã¿ã€å…ˆå–ã‚Š 14. 動的（é©å¿œï¼‰ 15. 複製 16. 仮想化 17. ãƒã‚§ãƒƒã‚¯ãƒã‚¤ãƒ³ãƒˆã€ スナップショット 18. トランザクション é•·ã„ã“ã¨æƒ…å ±ç§‘å¦ã«é–¢ã‚ã£ã¦ãã¦ã€ä¼¼ãŸã‚ˆã†ãªæŠ€æ³•ãŒåˆ†é‡Žã‚’ã¾ãŸãŒã£ã¦ç¹°ã‚Šè¿”ã—
Serf+HAProxyã§ä½œã‚‹Automatic Load Balancer - Glide Note
hashicorp/serf Serf Serf使ã£ã¦ã¾ã™ã‹ï¼ã‚µãƒ¼ãƒ•ï¼ 諸事情ã¨ã„ã†ã‹å¤§äººã®äº‹æƒ…ã§æ€¥é½è‡ªå‰ã§ãƒãƒ¼ãƒ‰ãƒãƒ©ãƒ³ã‚µã‚’用æ„ã—ãªã„ã¨ã„ã‘ãªãã¦ã€ãれをissueã«æ›¸ã„ã¦ãŸã‚‰ã€ ã‚ã‚“ã¡ã½ã•ã‚“ãŒSerf+HAProxy使ã£ãŸã‚‰ã„ã„ã®ã§ã¯ã€ ã¨IRCã§åŠ©è¨€ã‚’ãã‚Œã¦ã€åŒæ—¥ã®mizzyã•ã‚“ã®ãƒ–ãƒã‚°ã§ã‚‚Serfã«è¨€åŠã—ã¦ã„ãŸã®ã§ã€ ã¡ã‚‡ã£ã¨Serfã®æ¦‚è¦ã‚’知るãŸã‚ã¨ã€Serf+HAProxyãŒå®Ÿéš›ãƒãƒ¼ãƒ‰ãƒãƒ©ãƒ³ã‚µã¨ã—ã¦ã©ã‚“ãªæ„Ÿã˜ã«ä½¿ãˆã‚‹ã®ã‹æ¤œè¨¼ã—ã¦ã¿ãŸã€‚ I told @glidenote about a combination of Serf and HAProxy this morning, and he has already implemented the arch. and done investigation… — kentaro (@kentaro) October 29, 2013
マニュアル(X 3.1 for Linux): HAクラスタリングソフト CLUSTERPRO X | NEC
本ウェブサイトã§ã¯ã€JavaScriptãŠã‚ˆã³ã‚¹ã‚¿ã‚¤ãƒ«ã‚·ãƒ¼ãƒˆã‚’使用ã—ã¦ãŠã‚Šã¾ã™ã€‚ãŠå®¢ã•ã¾ãŒã”使用ã®ãƒ–ラウザã§ã¯ã‚¹ã‚¿ã‚¤ãƒ«ãŒæœªé©å¿œã®ãŸã‚ã€æœ¬æ¥ã¨ã¯ç•°ãªã£ãŸè¡¨ç¤ºã«ãªã£ã¦ãŠã‚Šã¾ã™ãŒã€æƒ…å ±ã¯å•é¡Œãªãã”利用ã„ãŸã ã‘ã¾ã™ã€‚
異常検知ã®ä¸–ç•Œã¸ã‚ˆã†ã“ã - Preferred Networks Research & Development
比戸ã§ã™ã€‚ 先週Jubatusã®æœ€æ–°0.4.0ãŒãƒªãƒªãƒ¼ã‚¹ã•ã‚Œã¾ã—ãŸãŒã€å¤–れ値検知機能ã®è¿½åŠ ãŒç›®çŽ‰ã®ä¸€ã¤ã¨ãªã£ã¦ã„ã¾ã™ï¼ˆjubaanomaly）。昨年PFIã¸å…¥ç¤¾ã—ã¦åˆã‚ã¦æ‰‹ãŒã‘ãŸä»•äº‹ãŒå…¬é–‹ã•ã‚ŒãŸã¨ã„ã†ã“ã¨ã§æ„Ÿæ…¨ã²ã¨ã—ãŠã§ã™ãŒã€ä¾¿ä¹—ã—ã¦ã‚ã¾ã‚Šèªžã‚‰ã‚Œã‚‹ã“ã¨ã®ãªã„異常検知ã®ä¸–ç•Œã«ã¤ã„ã¦æ›¸ããŸã„ã¨æ€ã„ã¾ã™ã€‚以下ã®è³‡æ–™ã¯æ˜¨å¹´ã®FIT2012ã§ä½¿ã£ãŸã‚‚ã®ã§ã™ã€‚ 異常検知ã¨ã¯ç°¡å˜ã«ã„ãˆã°ã€ã€Œä»–ã«æ¯”ã¹ã¦å¤‰ãªãƒ‡ãƒ¼ã‚¿ã‚’見ã¤ã‘出ã™ã€ã‚¿ã‚¹ã‚¯ã§ã™ã€‚ãŠæ£æœˆã«ãƒ†ãƒ¬ãƒ“ã§ç¹°ã‚Šè¿”ã—æµã‚ŒãŸã€ãŠã™ãŽã¨ãƒ”ーコã®CM(*1)ãŒã‚ã‹ã‚Šã‚„ã™ã„イメージã§ã™ã。機械å¦ç¿’ã®æž 組ã¿ã§è¨€ãˆã°â€æ•™å¸«ç„¡ã—å¦ç¿’â€ã«å±žã—ã¾ã™ã€‚分類や回帰ã€ã‚¯ãƒ©ã‚¹ã‚¿ãƒªãƒ³ã‚°ãªã©å¿œç”¨ã‚‚多ãäººæ°—ã‚‚ç ”ç©¶ç†±ã‚‚é«˜ã„タスクã«æ¯”ã¹ã‚‹ã¨ã€ãƒžã‚¤ãƒŠãƒ¼ã§ã™ã€‚SVMã¨ã‹ã€Random Forestã¨ã‹ã€Boostingã¨ã‹ã€æœ€è¿‘ã ã¨Deep Neural Networkã¨ã‹ã€æœ‰åãªå¿…殺技アルゴリズãƒ
軽é‡ãƒ‡ãƒ¼ã‚¿ã‚¯ãƒ©ã‚¹ã‚¿ãƒªãƒ³ã‚°ãƒ„ールbayon - mixi engineer blog
逆転検事を先日クリアã—ã¦ã€ä¹…ã—ã¶ã‚Šã«é€†è»¢è£åˆ¤1〜3ã‚’ã‚„ã‚Šç›´ãã†ã‹è¿·ã„ä¸ã®fujisawaã§ã™ã€‚シンプルãªãƒ‡ãƒ¼ã‚¿ã‚¯ãƒ©ã‚¹ã‚¿ãƒªãƒ³ã‚°ãƒ„ールを作æˆã—ã¾ã—ãŸã®ã§ã€ãã®ã”紹介をã•ã›ã¦ã„ãŸã ãã¾ã™ã€‚ クラスタリングã¨ã¯ クラスタリングã¨ã¯ã€å¯¾è±¡ã®ãƒ‡ãƒ¼ã‚¿é›†åˆä¸ã§ä¼¼ã¦ã„ã‚‹ã‚‚ã®åŒå£«ã‚’ã¾ã¨ã‚ã¦ã€ã„ãã¤ã‹ã®ã‚°ãƒ«ãƒ¼ãƒ—ã«ãƒ‡ãƒ¼ã‚¿é›†åˆã‚’分割ã™ã‚‹ã“ã¨ã§ã™ã€‚データマイニングや統計分æžãªã©ã§ã‚ˆã利用ã•ã‚Œã€ãƒ‡ãƒ¼ã‚¿é›†åˆã®å‚¾å‘を調ã¹ãŸã„ã¨ããªã©ã«å½¹ã«ç«‹ã¡ã¾ã™ã€‚ 例ãˆã°ä¸‹å›³ã®ä¾‹ã§ã™ã¨ã€å½“åˆã¯ãƒ‡ãƒ¼ã‚¿ãŒã‚´ãƒãƒ£ã‚´ãƒãƒ£ã¨æ··ã–ã£ã¦ã„ã¦ã‚ˆã分ã‹ã‚‰ãªã‹ã£ãŸã®ã§ã™ãŒã€ã‚¯ãƒ©ã‚¹ã‚¿ãƒªãƒ³ã‚°ã™ã‚‹ã“ã¨ã§ã€å®Ÿéš›ã¯3ã¤ã®ã‚°ãƒ«ãƒ¼ãƒ—ã®ãƒ‡ãƒ¼ã‚¿ã®ã¿ã‹ã‚‰æ§‹æˆã•ã‚Œã¦ã„ã‚‹ã“ã¨ãŒåˆ†ã‹ã‚Šã¾ã™ã€‚ 様々ãªã‚¯ãƒ©ã‚¹ã‚¿ãƒªãƒ³ã‚°æ‰‹æ³•ãŒã“ã‚Œã¾ã§ã«æ案ã•ã‚Œã¦ã„ã¾ã™ãŒã€æœ‰åãªã¨ã“ã‚ã§ã¯K-means法ãªã©ãŒæŒ™ã’られã¾ã™ã€‚ã“ã“ã§ã¯è©³ç´°ã«ã¤ã„ã¦ã¯è§¦ã‚Œã¾ã›ã‚“ãŒã€ã‚¯ãƒ©ã‚¹ã‚¿ãƒªãƒ³ã‚°ã«ã¤ã„ã¦ã‚ˆã‚Šè©³ã—ã知りãŸã„æ–¹ã¯ä»¥ä¸‹ã®
「確率モデルã«ã‚ˆã‚‹webデータ解æžæ³•ã€8ç« ãƒ¡ãƒ¢ - <s>gnarl,</s>技術メモâ€â€™<marquee><textarea>ï¿¥
昔書ã„ãŸã‚„ã¤ã‚’発掘ã—ã¦ããŸã€‚ã¾ãŸèªã¿è¿”ã™å¿…è¦ãŒã‚ã‚‹ãªãƒ¼ã€‚ 8ç« ã¯å•†ç”¨ã‚¢ãƒ—リケーションã®è©±ã€ãƒ¬ã‚³ãƒ¡ãƒ³ãƒ€ã‚·ã‚¹ãƒ†ãƒ ã¨é¡§å®¢è¡Œå‹•è§£æžã€‚ ã“ã“ã§æ‰±ã†ãƒ¬ã‚³ãƒ¡ãƒ³ãƒ€ã‚·ã‚¹ãƒ†ãƒ ã¯ã€ãƒ¦ãƒ¼ã‚¶ã®è¡Œå‹•å±¥æ´ã«åŸºã¥ãユーザã«å¯¾ã—ã¦ã‚¢ã‚¤ãƒ†ãƒ を推薦ã™ã‚‹ã‚ˆã†ãªã‚‚ã®ã€‚ 興味深ã„å•é¡Œã¨ã—ã¦ã€æ¬ æã‚’ã™ã¹ã¦0ã¨è€ƒãˆãŸå ´åˆã€ãƒ¦ãƒ¼ã‚¶iãŒãƒã‚§ãƒƒã‚¯ã—ãªã‹ã£ãŸé …ç›®jã«é–¢ã™ã‚‹è¡Œåˆ—Vä¸ã®æ¬ æ地ã®æ‰±ã„ãŒã‚る。ã“ã‚Œã‚‰æ¬ æデータã¯ã€å¿…ãšã—も完全ã«ãƒ©ãƒ³ãƒ€ãƒ ã«æ¬ æã—ã¦ã„ã‚‹ã‚ã‘ã§ã¯ãªãã€ãƒ¦ãƒ¼ã‚¶ãŒå¥½ã¾ãªã„é …ç›®ã«å¯¾ã—ã¦ã€Œã©ã¡ã‚‰ã‹ã¨ã„ãˆã°é¸ã°ãªã„ã€ã¨ã„ã†è² ã®ãƒã‚¤ã‚¢ã‚¹ãŒ 影響ã—ã¦ã„ã‚‹ã¨æ€ã‚れる(Breese,J.S.,Heckerman,D. and Kadie,C. 1988 Empirical analysis of predictive algorithms for collaborative filtering.)。リコメンダシステムã«é–¢ã™ã‚‹å¤šãã®ç ”究ã«ãŠã„ã¦ã€
クラスタリングã®å®šç•ªã‚¢ãƒ«ã‚´ãƒªã‚ºãƒ 「K-means法ã€ã‚’ビジュアライズã—ã¦ã¿ãŸ - ã¦ã£ã煮ブãƒã‚°
集åˆçŸ¥ãƒ—ãƒã‚°ãƒ©ãƒŸãƒ³ã‚° ã‚’èªã‚“ã§ã„ãŸã‚‰ã€K-means 法（Kå¹³å‡æ³•ï¼‰ã®èª¬æ˜ŽãŒå‡ºã¦ãã¾ã—ãŸã€‚K-means 法ã¯ã‚¯ãƒ©ã‚¹ã‚¿ãƒªãƒ³ã‚°ã‚’è¡Œã†ãŸã‚ã®å®šç•ªã®ã‚¢ãƒ«ã‚´ãƒªã‚ºãƒ らã—ã„ã§ã™ã€‚å˜åœ¨ã¯çŸ¥ã£ã¦ã„ãŸã‚“ã ã‘ã©ã„ã¾ã„ã¡ãƒ”ンã¨ãã¦ã„ãªã‹ã£ãŸã®ã§ã€å‹•ä½œã‚’ç†è§£ã™ã‚‹ãŸã‚ã«ã‚µãƒ³ãƒ—ルを作ã£ã¦ã¿ã¾ã—ãŸã€‚クリックã™ã‚‹ã¨ï¼‘ステップãšã¤å‹•ã‹ã™ã“ã¨ãŒã§ãã¾ã™ã€‚クラスタã®æ•°ã‚„点ã®æ•°ã‚’変更ã—ã¦ã€RESET を押ã™ã¨å¥½ããªãƒ‘ラメータã§è©¦ã™ã“ã¨ãŒã§ãã¾ã™ã€‚ã“ã†ã‚„ã£ã¦ï¼‘ステップãšã¤ç¢ºèªã—ãªãŒã‚‰å‹•ã‹ã—ã¦ã¿ã‚‹ã¨ã€æ„外ã«å˜ç´”ãªä»•çµ„ã¿ãªã®ãŒå®Ÿæ„Ÿã§ãã¾ã—ãŸã€‚K-means 法ã¨ã¯Kå¹³å‡æ³• - Wikipedia ã«è©³ã—ã書ã„ã¦ã‚ã‚‹ã‘ã©ã€ã‚‚ã†ã™ã“ã—ザックリã¨æ›¸ãã¨ã“ã‚“ãªã‚¤ãƒ¡ãƒ¼ã‚¸ã«ãªã‚Šã¾ã™ã€‚å„点ã«ãƒ©ãƒ³ãƒ€ãƒ ã«ã‚¯ãƒ©ã‚¹ã‚¿ã‚’割り当ã¦ã‚‹ã‚¯ãƒ©ã‚¹ã‚¿ã®é‡å¿ƒã‚’計算ã™ã‚‹ã€‚点ã®ã‚¯ãƒ©ã‚¹ã‚¿ã‚’ã€ä¸€ç•ªè¿‘ã„é‡å¿ƒã®ã‚¯ãƒ©ã‚¹ã‚¿ã«å¤‰æ›´ã™ã‚‹å¤‰åŒ–ãŒãªã‘ã‚Œã°çµ‚了。変化ãŒã‚ã‚‹é™ã‚Šã¯ 2. ã«æˆ»ã‚‹ã€‚ã“ã‚Œ
大è¦æ¨¡ãƒ‡ãƒ¼ã‚¿ã‚’基ã«ã—ãŸè‡ªç„¶è¨€èªžå‡¦ç† - DO++
人工知能基本å•é¡Œç ”究会 (SIG-FPAI)ã§ã‚¿ã‚¤ãƒˆãƒ«ã®é¡Œç›®ã§ä¸€æ™‚é–“ã»ã©è©±ã—ã¦ãã¾ã—ãŸã€‚ 発表資料 [pptx] [pdf] 話ã—ãŸå†…容㯠- 自然言語処ç†ã«ãŠã‘る特徴ベクトルã®ä½œã‚Šæ–¹ã¨ã€æ€§è³ª - オンラインå¦ç¿’, Perceptron, Passive Agressive (PA), Confidence Weighted Learning (CW) 確率的勾é…é™ä¸‹æ³• (SGD) - L1æ£å‰‡åŒ–, FOLOS - 索引を用ã„ãŸåŠ¹çŽ‡åŒ–, å…¨ã¦ã®éƒ¨åˆ†æ–‡å—列を利用ã—ãŸæ–‡æ›¸åˆ†é¡ž ã§ã€ã‚¹ãƒ©ã‚¤ãƒ‰ã§70æžšãらã„。今ã¾ã§ã®ç™ºè¡¨ã¨ã‹ã¶ã£ã¦ã„ãªã„ã®ã¯PA CW SGD FOLOSã‚ãŸã‚Šã§ã—ょã†ã‹ オンラインå¦ç¿’ã€L1æ£å‰‡åŒ–ã®è©±ãŒãƒ¡ã‚¤ãƒ³ã«ãªã£ã¦ã„ã¦ã€ãã®ä¸¡æ–¹ã®æœ€çµ‚形㮠確率的勾é…é™ä¸‹æ³• + FOLOSã®çµ„ã¿åˆã‚ã›ã¯ä»»æ„ã®æ失関数ã«å¯¾ã—ã¦L1/L2æ£å‰‡åŒ–ã‚’ã‹ã‘ãªãŒã‚‰ã‚ªãƒ³ãƒ©ã‚¤ãƒ³å¦ç¿’ã‚’ã¨ã¦ã‚‚ç°¡å˜ã«ã§ãã‚‹ã¨ã„ã†ä¸€æ˜”å‰
IIR ã®éšŽå±¤çš„クラスタリングを試㙠(nakatani @ cybozu labs)
Pathtraq 㧠Web ページã®è‡ªå‹•åˆ†é¡žã‚’手ãŒã‘ã¦ã¿ã¦ã€‚ Web ページã¯æ—¥ã€…ã©ã‚“ã©ã‚“変ã‚ã£ã¦ã„ãã®ã§ãƒ•ã‚£ãƒ«ã‚¿ã¯å¸¸ã«æ›´æ–°ã•ã‚Œãªã‘ã‚Œã°ã„ã‘ãªã„ã‚“ã§ã™ãŒã€ãã®ãŸã‚ã«ã¯é©åˆ‡ãªã‚¿ã‚¤ãƒŸãƒ³ã‚°ã«ã€é©åˆ‡ãªå¦ç¿’データを用æ„ã—ãªã‘ã‚Œã°ãªã‚‰ãªã„。大変。 メンテナンスフリーãŒç†æƒ³ã§ã™ãŒã€ã‚‚ã¡ã‚ん難ã—ã„。 ç¾å®Ÿçš„ãªã¨ã“ã‚ã¨ã—ã¦ã¯ã€Œè¿½åŠ å¦ç¿’ãŒå¿…è¦ãªã“ã¨ã‚’検知ã—ã¦ã€é©åˆ‡ãªå¦ç¿’データã®å€™è£œã‚’æ案ã—ã¦ãれるã€ã¨ã„ã†ã‚‚ã®ãŒä½œã‚ŠãŸã„ãªã‚……ãªã©ãªã©è€ƒãˆã¦ã„ã‚‹ã‚ã‘ã§ã™ã€‚ ãã“らã¸ã‚“ã‚‚å«ã‚ã¦ã€è‡ªç„¶è¨€èªžå‡¦ç†ã¨ã‹æ©Ÿæ¢°å¦ç¿’ã¨ã‹ãã“ら辺ã®ãŠå‹‰å¼·ã‚’ã—ã¦ã‚‹ã‚“ã§ã™ãŒã€å®Ÿéš›ã«æ‰‹ã‚’å‹•ã‹ã•ãªã„ã¨ã‚ã‹ã‚“ãªã„ã§ã™ã‚ˆãー。 ã¨ã„ã†ã‚ã‘ã§ã€ "Introduction to Information Retrieval" ã® Chapter 17 "Hierarchical clustering" ã«æ²¿ã£ã¦ã€ãƒ‰ã‚ュメントã®åˆ†é¡žå™¨ã‚’作ã£ã¦ã¿ã¾ã—ãŸã€‚ ãƒã‚¤ãƒ³
ConsistentHashing - コンシステント・ãƒãƒƒã‚·ãƒ¥æ³•
ConsistentHashing - コンシステント・ãƒãƒƒã‚·ãƒ¥æ³• 目次 ã“ã®æ–‡æ›¸ã«ã¤ã„㦠コンシステント・ãƒãƒƒã‚·ãƒ¥æ³• 実例 実装 用途 コンシステント・ãƒãƒƒã‚·ãƒ¥æ³• ã“ã®æ–‡æ›¸ã«ã¤ã„㦠"Tom White's Blog: Consistent Hashing" ã®æ—¥æœ¬èªžè¨³ã§ã™. http://weblogs.java.net/blog/tomwhite/archive/2007/11/consistent_hash.html 推敲æ“è¿Ž: 誤訳, タイãƒ, 訳語ã®ä¸çµ±ä¸€, ãã®ã»ã‹... 原文ã®ãƒ©ã‚¤ã‚»ãƒ³ã‚¹: http://creativecommons.org/licenses/by-nc-sa/2.0/ ç§ã¯ä»Šã¾ã§ã«ä½•åº¦ã‹ã‚³ãƒ³ã‚·ã‚¹ãƒ†ãƒ³ãƒˆãƒ»ãƒãƒƒã‚·ãƒ¥æ³•ã«ã¨ã‚Šãã‚“ã ã“ã¨ãŒã‚る。 ã“ã®ã‚¢ã‚¤ãƒ‡ã‚¢ã‚’ã‚らã‚ã—ãŸè«–æ–‡ ( David Karger らã«ã‚ˆã‚‹ Consistent Hashing and R
汎用連想計算エンジン GETA ファミリー
汎用連想計算エンジンGETA ファミリー  公開 Siteã“ã®ãƒšãƒ¼ã‚¸ã§ã¯, 汎用連想計算エンジンGETA を紹介ã—ã¦ã„ã¾ã™. GETA ã®å®Ÿè£…ã¯ã„ãã¤ã‹ã‚ã‚Šã¾ã™ãŒ, ãã®ã†ã¡å…¬é–‹ã•ã‚Œã¦ã„ã‚‹ã‚‚ã®ã¯ç¾åœ¨ 2 ã¤ã‚ã‚Šã¾ã™. 汎用連想計算エンジンGETA ファミリー  公開ＨＰåˆä»£ GETA ã¯ã“ã¡ã‚‰ã‹ã‚‰é…布ã•ã‚Œã¦ã„ã¾ã™. 最新版㯠GETA3.2u ã§ã™.GETAssocGETAssoc ã¯, ã‚‚ã†ã²ã¨ã¤ã® GETA ã®å®Ÿè£…ã§ã™. Last Modified Tue Jul 21 14:12 JST 2009
Google Research Publication: MapReduce: Simplified Data Processing on Large Clusters
MapReduce: Simplified Data Processing on Large Clusters Jeffrey Dean and Sanjay Ghemawat Abstract MapReduce is a programming model and an associated implementation for processing and generating large data sets. Users specify a map function that processes a key/value pair to generate a set of intermediate key/value pairs, and a reduce function that merges all intermediate values associated with t
第1回　クラスタリングを5分ã§å®Œå…¨ç†è§£
クラスタリングã¨ã¯ “クラスタâ€ã¨ã¯â€œç¾¤ã‚Œã‚’æˆã™â€ã¨ã‹â€œæˆ¿ã«ãªã‚‹â€ã¨ã„ã£ãŸæ„味ã§ã™ã€‚コンピュータ用語ã§ã„ã†ï¼Œã‚¯ãƒ©ã‚¹ã‚¿ãƒªãƒ³ã‚°ã¨ã¯ï¼Œè¤‡æ•°ã®ã‚³ãƒ³ãƒ”ュータを房ã®ã‚ˆã†ã«ã¤ãªã’る，ã¨ã„ã£ãŸæ„味ã«ãªã‚Šã¾ã™ã€‚ã™ãªã‚ã¡ï¼Œè¤‡æ•°ã®ã‚³ãƒ³ãƒ”ュータを接続ã—，全体ã§1å°ã®ã‚³ãƒ³ãƒ”ュータã§ã‚ã‚‹ã‹ã®ã‚ˆã†ã«æŒ¯ã‚‹èˆžã‚ã›ã‚‹æŠ€è¡“ã§ã™ã€‚ クラスタリングã®ç›®çš„ã¯ï¼Œå¤§ãã2ã¤ã«åˆ†é¡žã§ãã¾ã™ã€‚ (1) 拡張性，高速性：接続ã™ã‚‹ã‚³ãƒ³ãƒ”ュータã®å°æ•°ã‚’増やã—ã¦ï¼Œæ€§èƒ½ã®å‘上を図る (2) 高å¯ç”¨æ€§ï¼š1å°ãŒåœæ¢ã—ã¦ã‚‚システム全体ãŒæ¢ã¾ã‚‹ã“ã¨ã¯ãªã，処ç†ã‚’継続ã•ã›ã‚‹ (1)を実ç¾ã™ã‚‹æŠ€è¡“ã¨ã—ã¦ã¯ï¼Œã€ŒHPC(High Performance Computing)ã€ã‚„「ãƒãƒ¼ãƒ‰ãƒãƒ©ãƒ³ã‚µï¼ˆè² è·åˆ†æ•£ï¼‰ã€ã¨ã„ã†ã‚ーワードãŒæŒ™ã’られã¾ã™ã€‚ 本連載ã§ã¯ï¼Œ(2)ã®é«˜å¯ç”¨æ€§ã‚’実ç¾ã™ã‚‹ã‚¯ãƒ©ã‚¹ã‚¿ãƒªãƒ³ã‚°æŠ€è¡“を対象ã¨ã—ã¾ã™ã€‚ã“ã®é«˜å¯ç”¨æ€§ã‚’実ç¾ã™ã‚‹ãŸã‚ã®ã‚½ãƒ•ãƒˆã¯(1)ã®æŠ€è¡“ã¨åŒºåˆ¥ã—
ニュースã®å¯è¦–化サイト『Newsgraphyã€ã‚’公開ã—ã¾ã—㟠- kaisehã®ãƒ–ãƒã‚°
日本ã®ãƒ‹ãƒ¥ãƒ¼ã‚¹ã‚’地図化ã—ã¦ä¿¯çž°ã§ãる『Newsgraphyã€ã¨ã„ã†ã‚µãƒ¼ãƒ“スを作りã¾ã—ãŸã€‚ Newsgraphy 6月ã«å…¬é–‹ã—ã¦å¤§ããªå響をã„ãŸã ã„ãŸHatenarMapsã®å¯è¦–化手法をã€Yahoo!ã®ãƒˆãƒ”ックスAPIã‹ã‚‰å–å¾—ã—ãŸãƒ‹ãƒ¥ãƒ¼ã‚¹è¨˜äº‹ã«é©ç”¨ã—ã¦ã€ã„ã‚ã„ã‚ã¨æ©Ÿèƒ½å¼·åŒ–ã‚’æ–½ã—ãŸã‚‚ã®ãŒNewsgraphyã§ã™ã€‚Mashup Award 4thã«ã‚‚応募ã—ã¦ã„ã¾ã™ã€‚ 追記（2008/9/26）: 「HatenarMapsã®å¯è¦–化手法をé©ç”¨ã€ã¨æ›¸ãã¾ã—ãŸãŒã€ã“ã‚Œã¯äºŒæ¬¡å…ƒå¹³é¢ã¸ã®ãƒžãƒƒãƒ”ング手法（Voronoi Treemap）ã®ã“ã¨ã§ã€ã‚¯ãƒ©ã‚¹ã‚¿ãƒªãƒ³ã‚°æ‰‹æ³•ã¯å«ã‚“ã§ã„ã¾ã›ã‚“。Newsgraphyã¯ã€Yahoo!ã§åˆ†é¡žæ¸ˆã¿ã®ãƒ‹ãƒ¥ãƒ¼ã‚¹ã‚«ãƒ†ã‚´ãƒªéšŽå±¤ã‚’使用ã—ã¦ã„ã¾ã™ã€‚ ニュースã®å¯è¦–化ã¨è¨€ãˆã°newsmapãŒæœ‰åã§ã™ãŒã€newsmapよりもé¢ç™½ãã¦å®Ÿç”¨æ€§ã®é«˜ã„サイトを目指ã—ã¦é–‹ç™ºã—ã¾ã—ãŸã€‚ 以下ã€Newsgra
クラスタリング (クラスター分æž) - Toshihiro Kamishima
クラスタリング (clustering) ã¨ã¯ï¼Œåˆ†é¡žå¯¾è±¡ã®é›†åˆã‚’，内的çµåˆ (internal cohesion) ã¨å¤–的分離 (external isolation) ãŒé”æˆã•ã‚Œã‚‹ã‚ˆã†ãªéƒ¨åˆ†é›†åˆã«åˆ†å‰²ã™ã‚‹ã“㨠[Everitt 93, 大橋 85] ã§ã™ï¼Žçµ±è¨ˆè§£æžã‚„多変é‡è§£æžã®åˆ†é‡Žã§ã¯ã‚¯ãƒ©ã‚¹ã‚¿ãƒ¼åˆ†æž (cluster analysis) ã¨ã‚‚呼ã°ã‚Œï¼ŒåŸºæœ¬çš„ãªãƒ‡ãƒ¼ã‚¿è§£æžæ‰‹æ³•ã¨ã—ã¦ãƒ‡ãƒ¼ã‚¿ãƒžã‚¤ãƒ‹ãƒ³ã‚°ã§ã‚‚é »ç¹ã«åˆ©ç”¨ã•ã‚Œã¦ã„ã¾ã™ï¼Ž 分割後ã®å„部分集åˆã¯ã‚¯ãƒ©ã‚¹ã‚¿ã¨å‘¼ã°ã‚Œã¾ã™ï¼Žåˆ†å‰²ã®æ–¹æ³•ã«ã‚‚å¹¾ã¤ã‹ã®ç¨®é¡žãŒã‚り，全ã¦ã®åˆ†é¡žå¯¾è±¡ãŒã¡ã‚‡ã†ã©ä¸€ã¤ã ã‘ã®ã‚¯ãƒ©ã‚¹ã‚¿ã®è¦ç´ ã¨ãªã‚‹å ´åˆ(ãƒãƒ¼ãƒ‰ãªã‚‚ã—ãã¯ï¼Œã‚¯ãƒªã‚¹ãƒ—ãªã‚¯ãƒ©ã‚¹ã‚¿ã¨ã„ã„ã¾ã™)や，逆ã«ä¸€ã¤ã®ã‚¯ãƒ©ã‚¹ã‚¿ãŒè¤‡æ•°ã®ã‚¯ãƒ©ã‚¹ã‚¿ã«åŒæ™‚ã«éƒ¨åˆ†çš„ã«æ‰€å±žã™ã‚‹å ´åˆ(ソフト，ã¾ãŸã¯ï¼Œãƒ•ã‚¡ã‚¸ã‚£ãªã‚¯ãƒ©ã‚¹ã‚¿ã¨ã„ã„ã¾ã™)ãŒã‚ã‚Šã¾ã™ï¼Žã“ã“ã§ã¯å‰è€…ã®ãƒãƒ¼ãƒ‰ãªå ´åˆã®ã‚¯ãƒ©ã‚¹ã‚¿ãƒªãƒ³ã‚°ã«ã¤ã„ã¦è¿°ã¹ã¾ã™ï¼Ž
リリースã€éšœå®³æƒ…å ±ãªã©ã®ã‚µãƒ¼ãƒ“スã®ãŠçŸ¥ã‚‰ã›
最新ã®äººæ°—エントリーã®é…ä¿¡
j次ã®ãƒ–ックマーク
kå‰ã®ãƒ–ックマーク
lã‚ã¨ã§èªã‚€
eコメント一覧を開ã
oページを開ã
IBM Developer
P.S.: � Clustering Delicious Tags
{{#tags}}- {{label}}
{{/tags}}