projects:sgd [leon.bottou.org]
Learning algorithms based on Stochastic Gradient approximations are known for their poor performance on optimization tasks and their extremely good performance on machine learning tasks (Bottou and Bousquet, 2008). Despite these proven capabilities, there were lingering concerns about the difficulty of setting the adaptation gains and achieving robust performance. Stochastic gradient algorithms ha
perlã§é«˜é€Ÿãªé¡žä¼¼æ¤œç´¢ã‚¨ãƒ³ã‚¸ãƒ³ã‚’構築ã§ãるよã†ã«ã—ã¦ã¿ãŸ - download_takeshi’s diary
ã™ã¿ã¾ã›ã‚“。タイトルã¯ã‚„や釣り気味ã§ã™ã€‚ 類似検索エンジンã¨ã„ã†ã‹ã€ãã®ã‚¢ã‚¤ãƒ‡ã‚¢ç¨‹åº¦ã®è©±ãªã‚“ã§ã™ãŒã€ä»¥å‰ã‹ã‚‰è€ƒãˆã¦ã„ãŸé¡žä¼¼æ¤œç´¢ã‚¨ãƒ³ã‚¸ãƒ³é¢¨ã®ãƒã‚¿ãŒã‚ã£ãŸã®ã§ã€ã¡ã‚‡ã£ã¨perlã§æ›¸ã„ã¦ã¿ãŸã®ã§ã€ãã„ã¤ã‚’æ™’ã—ã¦ã¿ã¾ã™ã€‚ Luigi 　 https://github.com/miki/Luigi 類似検索ãªã®ã§Luigi。ルイージã¨ã‹èªã¿ãŸã„人ã¯ãã†èªã‚“ã˜ã‚ƒã£ã¦ã‚‚良ã„ã§ã™ã€‚（冷） 考ãˆæ–¹ã¨ä»•çµ„㿠類似文書ã®æ¤œç´¢ã€ã¨ãªã‚Šã¾ã™ã¨ä¸€èˆ¬çš„ã«ã¯è¶…高次元ã§ã®ç©ºé–“インデックスã¨ã‹ãŒå¿…è¦ã«ãªã‚Šã¾ã™ã€‚ 昔ã‹ã‚‰R-Treeã‚„SR-Treeãªã©ã€ã„ã‚ã„ã‚ã¨æ案ã•ã‚Œã¦ã„ã¾ã™ãŒã€ã‚ˆã‚Šé«˜æ¬¡å…ƒã«ãªã‚‹ã¨ã€Œæ¬¡å…ƒã®å‘ªã„ã€ã«ã‚ˆã‚Šãƒ‘フォーマンスãŒå‡ºãªããªã‚‹ã€ãªã‚“ã¦è¨€ã‚ã‚Œã¦ã„ã¾ã™ã。 ãã“ã§æœ€è¿‘ã§ã¯LSHã«ä»£è¡¨ã•ã‚Œã‚‹ã‚ˆã†ãªã€ã‚ˆã‚Šé«˜åº¦ãªã€Œè¿‘ä¼¼ã€åž‹ã®ã‚¤ãƒ³ãƒ‡ã‚シング手法ãŒäººæ°—を集ã‚ã¦ã„るよã†ã§ã™ã€‚ ã§ã€ä»Šå›žè€ƒãˆãŸLuigiも実ã¯è¿‘似型ã®ã‚¤ãƒ³ãƒ‡ãƒƒ
Bayesian Setsã«ã‚ˆã‚‹é–¢é€£æ–‡æ›¸æ¤œç´¢ã‚·ã‚¹ãƒ†ãƒ Stupa - mixi engineer blog
都会よりも田舎ãŒå¥½ããªfujisawaã§ã™ã€‚Bayesian Setsã¨ã„ã†ã‚¢ãƒ«ã‚´ãƒªã‚ºãƒ を使ã£ã¦ã€é–¢é€£ã™ã‚‹æ–‡æ›¸ã‚’高速・高精度ã«æ¤œç´¢ã§ãるシステムを作æˆã—ã¾ã—ãŸã®ã§ã€ãã®ã”紹介をã•ã›ã¦ã„ãŸã ãã¾ã™ã€‚ Bayesian Setsã¨ã¯ Bayesian Setsã¯ã„ãã¤ã‹ã‚¢ã‚¤ãƒ†ãƒ を入力ã™ã‚‹ã¨ã€ãれを補完ã™ã‚‹ã‚ˆã†ãªã‚¢ã‚¤ãƒ†ãƒ ã‚’è¿”ã—ã¦ãれるアルゴリズムã§ã™ã€‚原著論文ã®å…ˆé ã«"Inspired by Google Sets"ã¨æ›¸ã‹ã‚Œã¦ã„るよã†ã«ã€Google Setsã‚’å‚考ã«ã—ã¦ä½œæˆã•ã‚Œã¦ã„ã¾ã™ã€‚実際ã«ã©ã®ã‚ˆã†ãªå‡ºåŠ›ãŒå¾—られるã‹ã€Google Setsã«ä»¥ä¸‹ã®è¡¨ã®ã‚¯ã‚¨ãƒªã‚’検索ã—ã¦è©¦ã—ã¦ã¿ã¾ã™ã¨ã€ クエリ 出力 apple, banana chocolate, strawberry, vanilla, cherry, ... apple, macintosh software, windows, mac,
次元ãŒé«˜ã„å ´åˆã«é–¢ã—ã¦ã®simhashã®è¨ˆç®— - tsubosakaã®æ—¥è¨˜
最近simhashã®å®Ÿè£…ã‚’è¡Œã£ã¦ã„ã¦ã€ãƒ‡ãƒ¼ã‚¿ã®æ¬¡å…ƒãŒé«˜ã„ã¨simhashを計算ã™ã‚‹ã®ã«å¿…è¦ãªãƒ©ãƒ³ãƒ€ãƒ ãªãƒ™ã‚¯ãƒˆãƒ«ã‚’メモリ上ã«ä¹—らãªã„ã¨ã„ã†äº‹æ…‹ãŒç”Ÿã˜ãŸã®ã§ad hocãªæ–¹æ³•ã§å›žé¿ã—ã¦ã„ãŸã‘ã©ã€è«–æ–‡[1]をよã見直ã™ã¨ã»ã¼åŒã˜æ–¹æ³•ã§ã‚ˆã‚Šè¨ˆç®—コストãŒå°‘ãªã„方法ãŒç´¹ä»‹ã—ã¦ã‚ã£ãŸã®ã§å°‘ã—解説を行ã£ã¦ã¿ã‚‹ã€‚ã¡ãªã¿ã«ä»¥ä¸‹ã®è§£èª¬ã§ã¯ä½Žæ¬¡å…ƒã®ãƒ“ットベクトルã«ç¸®ç´„ã—ãŸå¾Œã«ãƒãƒŸãƒ³ã‚°è·é›¢ãŒè¿‘ã„ã‚‚ã®ã‚’ã©ã†ã‚„ã£ã¦æŽ¢ç´¢ã™ã‚‹ã‹ã«ã¤ã„ã¦ã¯è¿°ã¹ãªã„ã§ã™ã€ãã‚Œã«é–¢ã—ã¦ã¯[1],[2]ã‚’å‚ç…§ã—ã¦ãã ã•ã„。 ã¡ãªã¿ã«è‡ªåˆ†ãŒå®Ÿè£…ã—ãŸã®ã¯å„ビットã”ã¨ã«æ¬¡å…ƒã«å¯¾ã™ã‚‹ãƒãƒƒã‚·ãƒ¥é–¢æ•°ã‚’定義ã—ã¦è¨ˆç®—ã™ã‚‹æ–¹æ³•ã§ã—ãŸã€‚ã“ã®æ–¹æ³•ã ã¨ä»¥ä¸‹ã§é–‹è¨ã™ã‚‹æ‰‹æ³•ã‚ˆã‚Šã‚‚få€ã®å›žæ•°ãƒãƒƒã‚·ãƒ¥é–¢æ•°ã‚’計算ã™ã‚‹å¿…è¦ãŒã‚ã‚‹ã®ã§å®Ÿè¡Œæ™‚é–“ãŒå‰²ã¨ã‹ã‹ã‚‹ã€‚ 解説 simhash[3](文献ã«ã‚ˆã£ã¦ã¯LSHã¨å‘¼ã¶ã“ã¨ã‚‚ã‚ã‚‹[2])ã¯æ¬¡å…ƒå‰Šæ¸›ã®æ‰‹æ³•ã®ä¸€ã¤ã§ã€é«˜æ¬¡å…ƒã®ãƒ‡ãƒ¼ã‚¿ã‚’低次元ã®ãƒ“ット
軽é‡ãƒ‡ãƒ¼ã‚¿ã‚¯ãƒ©ã‚¹ã‚¿ãƒªãƒ³ã‚°ãƒ„ールbayon - mixi engineer blog
逆転検事を先日クリアã—ã¦ã€ä¹…ã—ã¶ã‚Šã«é€†è»¢è£åˆ¤1〜3ã‚’ã‚„ã‚Šç›´ãã†ã‹è¿·ã„ä¸ã®fujisawaã§ã™ã€‚シンプルãªãƒ‡ãƒ¼ã‚¿ã‚¯ãƒ©ã‚¹ã‚¿ãƒªãƒ³ã‚°ãƒ„ールを作æˆã—ã¾ã—ãŸã®ã§ã€ãã®ã”紹介をã•ã›ã¦ã„ãŸã ãã¾ã™ã€‚ クラスタリングã¨ã¯ クラスタリングã¨ã¯ã€å¯¾è±¡ã®ãƒ‡ãƒ¼ã‚¿é›†åˆä¸ã§ä¼¼ã¦ã„ã‚‹ã‚‚ã®åŒå£«ã‚’ã¾ã¨ã‚ã¦ã€ã„ãã¤ã‹ã®ã‚°ãƒ«ãƒ¼ãƒ—ã«ãƒ‡ãƒ¼ã‚¿é›†åˆã‚’分割ã™ã‚‹ã“ã¨ã§ã™ã€‚データマイニングや統計分æžãªã©ã§ã‚ˆã利用ã•ã‚Œã€ãƒ‡ãƒ¼ã‚¿é›†åˆã®å‚¾å‘を調ã¹ãŸã„ã¨ããªã©ã«å½¹ã«ç«‹ã¡ã¾ã™ã€‚ 例ãˆã°ä¸‹å›³ã®ä¾‹ã§ã™ã¨ã€å½“åˆã¯ãƒ‡ãƒ¼ã‚¿ãŒã‚´ãƒãƒ£ã‚´ãƒãƒ£ã¨æ··ã–ã£ã¦ã„ã¦ã‚ˆã分ã‹ã‚‰ãªã‹ã£ãŸã®ã§ã™ãŒã€ã‚¯ãƒ©ã‚¹ã‚¿ãƒªãƒ³ã‚°ã™ã‚‹ã“ã¨ã§ã€å®Ÿéš›ã¯3ã¤ã®ã‚°ãƒ«ãƒ¼ãƒ—ã®ãƒ‡ãƒ¼ã‚¿ã®ã¿ã‹ã‚‰æ§‹æˆã•ã‚Œã¦ã„ã‚‹ã“ã¨ãŒåˆ†ã‹ã‚Šã¾ã™ã€‚ 様々ãªã‚¯ãƒ©ã‚¹ã‚¿ãƒªãƒ³ã‚°æ‰‹æ³•ãŒã“ã‚Œã¾ã§ã«æ案ã•ã‚Œã¦ã„ã¾ã™ãŒã€æœ‰åãªã¨ã“ã‚ã§ã¯K-means法ãªã©ãŒæŒ™ã’られã¾ã™ã€‚ã“ã“ã§ã¯è©³ç´°ã«ã¤ã„ã¦ã¯è§¦ã‚Œã¾ã›ã‚“ãŒã€ã‚¯ãƒ©ã‚¹ã‚¿ãƒªãƒ³ã‚°ã«ã¤ã„ã¦ã‚ˆã‚Šè©³ã—ã知りãŸã„æ–¹ã¯ä»¥ä¸‹ã®
大è¦æ¨¡ãƒ‡ãƒ¼ã‚¿å‡¦ç†ã®ãŸã‚ã®è¡Œåˆ—ã®ä½Žãƒ©ãƒ³ã‚¯è¿‘ä¼¼ -- SVD ã‹ã‚‰ç”¨ä¾‹ãƒ™ãƒ¼ã‚¹ã®è¡Œåˆ—分解ã¾ã§ -- - æ¦è”µé‡Žæ—¥è¨˜
id:naoya ã•ã‚“ã®Latent Semantic Indexing ã®è¨˜äº‹ã«è§¦ç™ºã•ã‚Œã¦ã€ã“ã“1週間ã»ã©ã¡ã‚‡ãã¡ã‚‡ã見ã¦ã„る行列ã®è¿‘似計算手法ã«ã¤ã„ã¦æ›¸ã„ã¦ã¿ã‚‹ã€‚ã“ã“ã§ã‚„ã‚ŠãŸã„ã®ã¯å˜èªž-文書行列(ã©ã®å˜èªžãŒã©ã®æ–‡æ›¸ã«å‡ºã¦ããŸã‹ã®å…±èµ·è¡Œåˆ—)や購入者-アイテム行列(ã©ã®äººãŒã©ã®æœ¬ã‚’è²·ã£ãŸã‹ã¨ã‹ã€æŽ¨è–¦ã‚¨ãƒ³ã‚¸ãƒ³ã§ä½¿ã†è¡Œåˆ—)ã€ãƒšãƒ¼ã‚¸-リンク行列(ã©ã®ãƒšãƒ¼ã‚¸ã‹ã‚‰ã©ã®ãƒšãƒ¼ã‚¸ã«ãƒªãƒ³ã‚¯ãŒå‡ºã¦ã„ã‚‹ã‹ã€ã‚‚ã—ãã¯ãƒªãƒ³ã‚¯ã‚’もらã£ã¦ã„ã‚‹ã‹ã€‚PageRank ãªã©ãƒšãƒ¼ã‚¸ã®ãƒ©ãƒ³ã‚ングã®è¨ˆç®—ã«ä½¿ã†)ã€ã¨ã„ã£ãŸã‚ˆã†ãªè¡Œåˆ—を計算ã™ã‚‹ã¨ãã€å¤§è¦æ¨¡è¡Œåˆ—ã ã¨è¨ˆç®—é‡ãƒ»è¨˜æ†¶ã‚¹ãƒšãƒ¼ã‚¹ã¨ã‚‚ã«è†¨å¤§ãªã®ã§ã€äº‹å‰ã«ã‚る程度計算ã—ã¦ãŠã‘ã‚‹ã®ã§ã‚ã‚Œã°ã€ã§ãã‚‹ã ã‘å°ã•ãã—ã¦ãŠããŸã„(ãã—ã¦å¯èƒ½ãªã‚‰ã°ç²¾åº¦ã‚‚上ã’ãŸã„)ã€ã¨ã„ã†æ‰‹æ³•ã§ã‚る。 行列ã®åœ§ç¸®ã«ã¯å…ƒã®è¡Œåˆ—ã‚’ A (mè¡Œn列)ã¨ã™ã‚‹ã¨ A = USV^T ã¨ã„ã†ã‚ˆã†ã«3ã¤ã«åˆ†è§£ã™ã‚‹ã“ã¨ãŒå¤šã„ãŒã€ã‚‚
æ–°ã¯ã¦ãªãƒ–ックマークã§ã‚‚使ã‚ã‚Œã¦ã‚‹Complement Naive Bayesを解説ã™ã‚‹ã‚ˆ - å°„æ’ƒã—ã¤ã¤å‰è»¢ 改
æ–°ã¯ã¦ãƒ–æ£å¼ãƒªãƒªãƒ¼ã‚¹è¨˜å¿µã¨ã„ã†ã“ã¨ã§ã€‚ã‚‚ã†ãƒªãƒªãƒ¼ã‚¹ã‹ã‚‰ä½•é€±é–“も経ã£ã¡ã‚ƒã£ãŸã‘ã©ã€‚ æ–°ã¯ã¦ãªãƒ–ックマークã§ã¯ãƒ–ックマークエントリをカテゴリã¸ã¨è‡ªå‹•ã§åˆ†é¡žã—ã¦ã„ã‚‹ãŒã€ã“ã®ã‚«ãƒ†ã‚´ãƒªåˆ†é¡žã«ä½¿ã‚ã‚Œã¦ã„るアルゴリズムã¯Complement Naive Bayesらã—ã„。今日ã¯ã“ã®ã‚¢ãƒ«ã‚´ãƒªã‚ºãƒ ã«ã¤ã„ã¦ç´¹ä»‹ã—ã¦ã¿ã‚‹ã€‚ Complement Naive Bayesã¯2003å¹´ã®ICMLã§J. RennieらãŒæ案ã—ãŸæ‰‹æ³•ã§ã‚る。ICMLã¨ã„ã†ã®ã¯ã€æ©Ÿæ¢°å¦ç¿’ã«é–¢ã™ã‚‹ï¼ˆãŸã¶ã‚“）最難関ã®å¦ä¼šã§ã€æŽ¡æŠžçŽ‡ã¯ã“ã“æ•°å¹´ã¯30%を切ã£ã¦ã„る。2003ã¯119/371ã§ã€32.1%ã®æŽ¡æŠžçŽ‡ã ã£ãŸã‚ˆã†ã 。 Complement Naive Bayesã®ä½ç½®ã¥ã‘㯠実装ãŒç°¡å˜ å¦ç¿’時間ãŒçŸã„ 性能もãã“ãã“よㄠã¨ã„ã†æ„Ÿã˜ã§ã€2003年段階ã«ã‚ã£ã¦ã‚‚ã€çµ¶å¯¾çš„ãªæ€§èƒ½ã§ã¯SVMã«è² ã‘ã¦ã„ãŸã€‚ã—ã‹ã—ã€å¦ç¿’ãŒæ—©ã„ã¨ã„ã†ã®ã¯å®Ÿã‚¢ãƒ—リケーシ
NIPS 2008 Proceedings
Advances in Neural Information Processing Systems 21 (NIPS 2008) The papers below appear in Advances in Neural Information Processing Systems 21 edited by D. Koller and D. Schuurmans and Y. Bengio and L. Bottou. They are proceedings from the conference, "Neural Information Processing Systems 2008." Structure Learning in Human Sequential Decision-Making Daniel Acuna, Paul R. Schrater The Gaussian P
最大マージンクラスタリング - DO++
ã“ã“æ•°æ—¥ã€æœ€å¤§ãƒžãƒ¼ã‚¸ãƒ³ã‚¯ãƒ©ã‚¹ã‚¿ãƒªãƒ³ã‚°ï¼ˆMMC, maximum margin clustering)ãªã‚‹ã‚‚ã®ã‚’サーベイã—ã¦ã„ã¾ã—ãŸã€‚ 自分用ã«ã‚‚メモ Maximum Margin Clustering, NIPS 2004 Maximum margin clustering made practical, ICML 2007 Efficient Maximum Margin Clustering via Cutting Plane Algorithm, SDM 2008 Efficient multiclass maximum margin clustering, ICML 2008 MMCã¯å¾“æ¥ã®SVMã€Multi-class SVMã¨å…¨ãåŒã˜å®šå¼åŒ–ã§æ¬¡ã®äºŒç‚¹ã ã‘ãŒé•ã„ã¾ã™ (1) é‡ã¿ï¼ˆdualã®å ´åˆã¯å„例ã«ä»˜ãalpha)ã«åŠ ãˆã‚¯ãƒ©ã‚¹å‰²ã‚Šå½“ã¦ã‚‚å«ã‚ã¦æœ€é©åŒ–å•é¡Œã‚’解ã。 (2) (1)
Burrows Wheeler Transform 㨠Suffix Array - naoyaã®ã¯ã¦ãªãƒ€ã‚¤ã‚¢ãƒªãƒ¼
,. -â€'''''""¨¨¨ヽ (.＿＿_,,,... -ｧァﾌ|　　　　　　　　　　ã‚…ã‚ã‚Šã®ã¾ã¾ 今日　起ã“ã£ãŸäº‹ã‚’話ã™ãœï¼ |i i|　 　 }!　}} /ï¼| |l､{　 　j}　/,,ｨ//｜　　　　　　　『BWT ã«ã¤ã„ã¦èª¿ã¹ã¦ã„ãŸã‚‰ Suffix Array ã®ãƒ©ã‚¤ãƒ–ラリãŒã§ãã¦ã„ãŸã€ i|:!ヾ､_ï¾‰ï¼ u {:}//ï¾ |ﾘ u' }　 ,ﾉ　_,!V,ﾊ | ï¼Â´fト､_{ï¾™{,ã‚£'ｅﾗ　, ﾀ人　　　　　　　　ãªâ€¦ã€€ä½•ã‚’言ã£ã¦ã‚‹ã®ã‹ã€€ã‚ã‹ã‚‰ãーã¨æ€ã†ãŒ /' 　 ヾ|宀| {´,)⌒`/ |<ヽﾄiã‚　　　　　　　　ãŠã‚Œã‚‚何をã•ã‚ŒãŸã®ã‹ã‚ã‹ã‚‰ãªã‹ã£ãŸâ€¦ ,ﾞ　 ï¼ )ヽ iLﾚ 　u' |　| ヾｌﾄﾊ〉 |ï¼_ï¼ã€€ ﾊ !ニ⊇　'ï¼:} 　V:::::ヽ　　　　　　　　é ãŒã©ã†ã«ã‹ãªã‚Šãã†ã ã£ãŸâ€¦ /ï¼ äºŒäºŒäºŒ7'T'' ï¼u'　__ /:::::::/｀ヽ /'
Splay Tree
ç ”ç©¶ä¸Šå¿…è¦ãŒã‚ã£ã¦, å‰ã€…ã‹ã‚‰ãšã£ã¨æ°—ã«ãªã£ã¦ã„ãŸ, Sleatorã¨Tarjan㮠スプレー木(Splay Tree) [LINK] を実装ã—ãŸã€‚ スプレー木ã¯ã€Œè‡ªå·±èª¿æ•´(自己組織化)二分木ã€ã¨ã‚‚ã„ã‚れる通り, é »åº¦ã®é«˜ã„アイテムをアクセスã®éš›ã«æœ¨ã®ä¸Šã®æ–¹ã«è‡ªå‹•çš„ã«æŒã£ã¦ãã‚‹ã“ã¨ã§, é«˜é »åº¦ãªã‚¢ã‚¤ãƒ†ãƒ ã¸ã®é«˜é€Ÿãªã‚¢ã‚¯ã‚»ã‚¹ã‚’実ç¾ã™ã‚‹é †åºæœ¨ã€‚ 自然言語ã®æ–‡å—列やå˜èªžåˆ—ã®é »åº¦ã¯åã‚Šã‚„ Power law ã®å›ºã¾ã‚Šãªã®ã§, éžå¸¸ã«é©ã—ã¦ã„ã‚‹ ã¨æ€ã†ã€‚ ã‹ã¤, 最悪ã®å ´åˆã§ã‚‚スプレー木㯠全体を通ã—ã¦, O(log n) ã®ã‚¢ã‚¯ã‚»ã‚¹ã‚’æä¾›ã™ã‚‹ã“ã¨ãŒã‚ã‹ã£ã¦ã„る。 トライを表ç¾ã™ã‚‹ãƒ‡ãƒ¼ã‚¿æ§‹é€ ã¨ã—ã¦ã¯, æ¾æœ¬ç ”çš„ã«ã¯ Double Array ã‚„ ãã®å®Ÿè£…ã§ã‚ã‚‹ Darts ãŒã™ãæ€ã„æµ®ã‹ã¶ã¨æ€ã„ã¾ã™ãŒ, Double Array ã¯æ—¢ã«å›ºå®šã•ã‚ŒãŸãƒˆãƒ©ã‚¤ã«ã¯é«˜é€Ÿã«ã‚¢ã‚¯ã‚»ã‚¹ ã§ãã‚‹ã‚‚ã®ã®, æ–°ã—ã„ノードã®
連載：検索エンジンを作る｜gihyo.jp … 技術評論社
é‹å–¶å…ƒã®ãƒã‚´ Copyright © 2007-2024 All Rights Reserved by Gijutsu-Hyoron Co., Ltd. ページ内容ã®å…¨éƒ¨ã‚ã‚‹ã„ã¯ä¸€éƒ¨ã‚’ç„¡æ–ã§åˆ©ç”¨ã™ã‚‹ã“ã¨ã‚’ç¦æ¢ã—ã¾ã™â 。個別ã«ãƒ©ã‚¤ã‚»ãƒ³ã‚¹ãŒè¨å®šã•ã‚Œã¦ã„る記事ç‰ã¯ãã®ãƒ©ã‚¤ã‚»ãƒ³ã‚¹ã«å¾“ã„ã¾ã™ã€‚
Introduction to Information Retrieval
This is the companion website for the following book. Christopher D. Manning, Prabhakar Raghavan and Hinrich Schütze, Introduction to Information Retrieval, Cambridge University Press. 2008. You can order this book at CUP, at your local bookstore or on the internet. The best search term to use is the ISBN: 0521865719. The book aims to provide a modern approach to information retrieval from a co
A simple C++ library for maximum entropy classification
Overview This is a simple C++ class library for maximum entropy classification. The main features of this library are: fast parameter estimation using the BLMVM algorithm (Benson and More, 2001) smoothing with Gaussian priors (Chen and Rosenfeld, 1999) modelling with inequality constraints (Kazama and Tsujii, 2003) support for real-valued features saving/loading a model to/from a file allowin
カイ二乗値ã§å˜èªžé–“ã®é–¢é€£ã®å¼·ã•ã‚’調ã¹ã‚‹
カイ二乗値ã§å˜èªžé–“ã®é–¢é€£ã®å¼·ã•ã‚’調ã¹ã‚‹ 2007-09-19-1 [Algorithm][Programming] カイ２乗値を使ã£ã¦å˜èªžé–“ã®é–¢é€£åº¦ã‚’調ã¹ã‚‹æ–¹æ³•ã€‚ ã¤ã¾ã‚Šã€é–¢é€£èªžã‚’探ã™ã¨ãã«ã€Ï‡äºŒä¹—値を関連度ã¨ã—ã¦ä½¿ã†ã€‚ perl ã«ã‚ˆã‚‹ã‚µãƒ³ãƒ—ルコード (chiword.pl)。昔ã€å‹‰å¼·ãŒã¦ã‚‰ä½œã£ãŸã‚³ãƒ¼ãƒ‰ã€‚ #!/usr/bin/perl use strict; use warnings; my %cnt; my $pair_num; while (<>) { chomp; next if /^\s*$/; my @list = sort split(/,/, $_); for (my $i = 0; $i < @list; $i++) { for (my $j = $i + 1; $j < @list; $j++) { next if $list[$i] eq $list[$j]; $c
0.1 0.1.1 Latent Semantic Indexing Latent Semantic Indexing :LSI ã®æ¬¡å…ƒã¾ã¨ã‚ã¦æ¬¡å…ƒã‚’下ã’ã‚‹ã¨ã„ã†ä½œæ¥ã‚’è¡Œ ãªã†ã‚ã‘ã§ã‚る。 ã•ã¦ã€æ¬¡å…ƒã‚’下ã’ã‚‹ã¨ã„ã†ã“ã¨ã¯å½“ç„¶æƒ…å ± ã®æ失を伴ã†ã‚ã‘ã ãŒã€ã“ã®æ�
0.1 0.1.1 Latent Semantic Indexing Latent Semantic Indexing :LSI ã®æ¬¡å…ƒã¾ã¨ã‚ã¦æ¬¡å…ƒã‚’下ã’ã‚‹ã¨ã„ã†ä½œæ¥ã‚’è¡Œ ãªã†ã‚ã‘ã§ã‚る。 ã•ã¦ã€æ¬¡å…ƒã‚’下ã’ã‚‹ã¨ã„ã†ã“ã¨ã¯å½“ç„¶æƒ…å ± ã®æ失を伴ã†ã‚ã‘ã ãŒã€ã“ã®æ失を最å°é™ã« ãã„ã¨ã‚ã‚‹ãŸã‚ã«æœ€å°äºŒä¹—誤差 ã¨ã„ã†è€ƒãˆæ–¹ ã§æœ›ã‚€ã€‚ 2 ã¨ã¯ ベクトル空間モデルã§ã¯ã‚¿ãƒ¼ãƒ ã®ç”Ÿèµ·ãŒç‹¬ ç«‹ã§ã‚ã‚‹ã“ã¨ã‚’仮定ã—ã¦ã€å„タームを一ã¤ã® 次元ã«å¯¾å¿œã•ã›ã‚‹ãƒ™ã‚¯ãƒˆãƒ«ç©ºé–“を作ã£ãŸã€‚ã— ã‹ã—ã€å®Ÿéš›ã«ã¯ã‚¿ãƒ¼ãƒ é–“ã®ç‹¬ç«‹æ€§ã¯ä¿è¨¼ã•ã‚Œ ãªã„。例ãˆã°ã€æƒ…å ±æ¤œç´¢ã®åˆ†é‡Žã§ã¯ã€Œãƒ™ã‚¯ãƒˆ ルã€ã¨ã€Œç©ºé–“ã€ã¯é«˜ã„相関をæŒã¤ã“ã¨ã¯å®¹æ˜“ ã«äºˆæƒ³ã§ãる。ã“ã®å•é¡Œã¸ã®å¯¾ç–ã¨ã—ã¦ã¯ä»¥ 下㮠2 点ãŒé‡è¦ã§ã‚る。 0.1.2 特異値分解 LSI 㧠用 ã„ ã‚‹ æ•° å¦ çš„ 㗠㋠㑠㯠特 ç•° 値 分 解 (Singular Value D
文書クラスタリングã®æŠ€æ³•ã‚¼ãƒŸ
III. 文書クラスタリングã®æŠ€æ³• A. å˜ä¸€ãƒ‘スアルゴリズム1. k-means 法ã®é©ç”¨ 2. Willett ã®ã‚¢ãƒ«ã‚´ãƒªã‚ºãƒ 3. å¹³å‡ã‚¯ãƒ©ã‚¹ã‚¿ãƒªãƒ³ã‚°ãƒ»ã‚¢ãƒ«ã‚´ãƒªã‚ºãƒ
1
リリースã€éšœå®³æƒ…å ±ãªã©ã®ã‚µãƒ¼ãƒ“スã®ãŠçŸ¥ã‚‰ã›
最新ã®äººæ°—エントリーã®é…ä¿¡
j次ã®ãƒ–ックマーク
kå‰ã®ãƒ–ックマーク
lã‚ã¨ã§èªã‚€
eコメント一覧を開ã
oページを開ã
å˜ç´”グッド・ãƒãƒ¥ãƒ¼ãƒªãƒ³ã‚°æŽ¨å®šæ³• (Simple Good-Turing Estimation) ã¨ã¯ä½•ãžã‚„？ - ã‚らã³ã日記
TV ãƒ‹ãƒ¥ãƒ¼ã‚¹æ˜ åƒã®è©±é¡Œã®ç¶²ç¾…性・一般性・å—容度ã®å¯è¦–化ã«ã‚ˆã‚‹è¦–è´æ”¯æ´
{{#tags}}- {{label}}
{{/tags}}