æ—¥æœ¬èªžå½¢æ…‹ç´ è§£æžãƒ©ã‚¤ãƒ–ラリ Kuromoji ã®ã‚³ãƒžãƒ³ãƒ‰ãƒ©ã‚¤ãƒ³ç”¨ã‚¤ãƒ³ã‚¿ãƒ¼ãƒ•ã‚§ã‚¤ã‚¹ã‚’書ã„㟠- ã²ã ã¾ã‚Šã‚½ã‚±ãƒƒãƒˆã¯å£Šã‚Œãªã„
Java ã§æ›¸ã‹ã‚ŒãŸæ—¥æœ¬èªžå½¢æ…‹ç´ 解æžãƒ©ã‚¤ãƒ–ラリ Kuromoji ã‚’ Perl ã‹ã‚‰ä½¿ã£ã¦ã¿ãŸã„ãªãƒ¼ã€ã¨æ€ã£ã¦ã€åˆ¥ã®è¨€èªžã®ãƒ—ãƒã‚°ãƒ©ãƒ ã‹ã‚‰ä½¿ã„ã‚„ã™ã„よã†ãªã‚¤ãƒ³ã‚¿ãƒ¼ãƒ•ã‚§ã‚¤ã‚¹ã‚’書ãã¾ã—ãŸã€‚ Kuromoji ã«ã¤ã„㦠kuromoji - japanese morphological analyzer Java ã§æ›¸ã‹ã‚ŒãŸã‚ªãƒ¼ãƒ—ンソースã®æ—¥æœ¬èªžã®å½¢æ…‹ç´ 解æžãƒ©ã‚¤ãƒ–ラリã§ã™ã€‚ 検索用ã®ãƒ©ã‚¤ãƒ–ラリらã—ãã¦ã€Apache Lucene 㨠Apache Solr ã«çµ„ã¿è¾¼ã¾ã‚Œã¦ã„るらã—ã„ã§ã™ã€‚ ã‚‚ã¡ã‚ん検索エンジンã¨ã¯ç‹¬ç«‹ã—ã¦åˆ©ç”¨ã™ã‚‹ã“ã¨ã‚‚å¯èƒ½ã§ã™ã€‚ 独立ã—ã¦ä½¿ç”¨ã™ã‚‹å ´åˆã¯ã€å˜ã« jar ファイルをダウンãƒãƒ¼ãƒ‰ã—ã¦ã㦠Java ã®ãƒ©ã‚¤ãƒ–ラリパスã«è¿½åŠ ã™ã‚‹ã ã‘ (ã‚ã‚‹ã„ã¯å…¬é–‹ã•ã‚Œã¦ã„ã‚‹ Maven リãƒã‚¸ãƒˆãƒªã‚’使用ã—ã¦ä¾å˜é–¢ä¿‚を解決ã™ã‚‹ã ã‘) ã§å½¢æ…‹ç´ 解æžã§ãるよã†ã«ãªã‚Šã¾ã™ã€‚ 便利ã§ã™ã。 Java
Lucene/Solrã‚’Java 7ã§ä½¿ã†ã¨ãã®æ³¨æ„（ã‚ã‚‹ã„ã¯Java 6以å‰ã§ã‚‚ホットスãƒãƒƒãƒˆã®ãƒã‚°ã‚’è¸ã‚€å¯èƒ½æ€§ã‚り） | é–¢å£å®å¸ã®Luceneブãƒã‚°
一定期間更新ãŒãªã„ãŸã‚広告を表示ã—ã¦ã„ã¾ã™
Luceneã®æ›–昧検索を100å€é«˜é€ŸåŒ–ã—ãŸã‚¢ãƒ«ã‚´ãƒªã‚ºãƒ - nokunoã®æ—¥è¨˜
@nobu_k ã•ã‚“ã®ã¤ã¶ã‚„ãã§ã“ã®ã‚¨ãƒ³ãƒˆãƒªã‚’知りã¾ã—ãŸã€‚Changing Bits: Lucene’s FuzzyQuery is 100 times faster in 4.0Luceneã§æ›–昧検索を効率化ã—ãŸè©±ã§ã™ã€‚ 最åˆã®å®Ÿè£…ã§ã¯ã€è»¢ç½®ã‚¤ãƒ³ãƒ‡ãƒƒã‚¯ã‚¹ã‚’全探索ã—ã¦ç·¨é›†è·é›¢ãŒN以下ã®å˜èªžã‚’拾ã£ã¦ã„ãŸãƒ¬ãƒ¼ãƒ™ãƒ³ã‚·ãƒ¥ã‚¿ã‚¤ãƒ³ã‚ªãƒ¼ãƒˆãƒžãƒˆãƒ³ã¨ã„ã†ã€ç·¨é›†è·é›¢ãŒN以下ã®å˜èªžã®ã¿ã‚’アクセプトã™ã‚‹ã‚ªãƒ¼ãƒˆãƒžãƒˆãƒ³ã‚’利用ã™ã‚‹ã“ã¨ã«ã—㟠å˜èªžã”ã¨ã«æ§‹ç¯‰ã—ãŸãƒ¬ãƒ¼ãƒ™ãƒ³ã‚·ãƒ¥ã‚¿ã‚¤ãƒ³ã‚ªãƒ¼ãƒˆãƒžãƒˆãƒ³ã‚’マージã™ã‚‹ã¨ã„ã†æ“作ãŒå¿…è¦ã«ãªã‚‹ãŒã€ãªã‹ãªã‹ã†ã¾ãã„ã‹ãªã‹ã£ãŸ 難解ãªè«–文を見ã¤ã‘ãŸãŒã€å®Ÿè£…ã¯é›£ã—ã‹ã£ãŸè‰¯ã„ライブラリを見ã¤ã‘ãŸã®ã§ã€Pythonã‹ã‚‰Javaã«ç§»æ¤ã—㟠最後ã«1ã¤ã ã‘残ã£ãŸãƒã‚°ã¯ã€ç§»æ¤ã®å¤±æ•—ã§ã¯ãªã元ライブラリã®ãƒã‚°ã ã£ãŸã€‚å ±å‘Šã™ã‚‹ã¨1æ—¥ã§ç›´ã£ã¦ããŸã€‚ã“ã®å‰ã®ã‚¨ãƒ³ãƒˆãƒªã§ã¯ã€æœ‰é™çŠ¶æ…‹ãƒˆãƒ©ãƒ³ã‚¹ãƒ‡ãƒ¥ãƒ¼ã‚µã‚’使ã£ãŸè¾žæ›¸ã®åœ§ç¸®
オープンソース Web 検索エンジン Apache Nutch ã®æ¦‚è¦ - 木曜ä¸è¶³
Apache Nutch ã¯ã‚ªãƒ¼ãƒ—ンソース㮠Web 検索エンジン。 今年ã«ãªã£ã¦ãƒãƒ¼ã‚¸ãƒ§ãƒ³ 1.0 ãŒå‡ºã¦ã€Apache ã® TLP(トップレベルプãƒã‚¸ã‚§ã‚¯ãƒˆ) ã«ãªã£ãŸã€‚ç¾åœ¨æœ€æ–°ã¯ v1.2。 Apache Nutch http://nutch.apache.org/ 乱暴ã«è¨€ã†ã¨ã€ã€Œæ¤œç´¢ã‚¨ãƒ³ã‚¸ãƒ³ Lucene ＋全文検索 Solr ＋ Web クãƒãƒ¼ãƒ©ãƒ¼ï¼‹ã‚¹ã‚³ã‚¢ãƒªãƒ³ã‚°(Page Rank)＋分散実行ã®ä»•çµ„ã¿ã€ãŒ Nutch。 ã¡ãªã¿ã«æ¤œç´¢ã‚¤ãƒ³ãƒ‡ãƒƒã‚¯ã‚¹ã‚’作æˆï¼†æ ¼ç´ã™ã‚‹ãŸã‚ã® mapper / reducer ãŠã‚ˆã³åˆ†æ•£ãƒ•ã‚¡ã‚¤ãƒ«ã‚·ã‚¹ãƒ†ãƒ ㌠Nutch ã‹ã‚‰ spin out ã—ãŸã®ãŒè©±é¡Œã® Hadoop。 ã®å‰²ã‚Šã«ã¯çŸ¥å度ãŒä½Žã„æ°—ãŒã™ã‚‹ã®ã¯ã€Web 検索エンジンを作りãŸã„ã¨ã„ã†è¦æ±‚ãŒå°‘ãªã„ã›ã„？(サイト内全文検索ãªã‚‰ Solr ã§ã„ã„) プラグインã®çµ„ã¿åˆã‚ã›ã§ virtical sea
LinkedInãŒé–‹ç™ºã—ãŸãƒªã‚¢ãƒ«ã‚¿ã‚¤ãƒ 検索システム·Zoie MOONGIFT
LinkedInã¯æœ€è¿‘4,500万ユーザをçªç ´ã—ãŸä¸–界最大ã®è¦æ¨¡ã®ãƒ“ジãƒã‚¹SNSã 。SNSã¨ã„ã†ã¨Facebookã«æ³¨ç›®ãŒé›†ã¾ã‚‹ãŒã€LinkedInも様々ãªè©¦ã¿ãŒè¡Œã‚ã‚Œã¦ãŠã‚Šéžå¸¸ã«èˆˆå‘³æ·±ã„システムã«ãªã£ã¦ã„る。Zoieã¯LinkedInã®é–‹ç™ºã—ãŸæ¤œç´¢ã‚¨ãƒ³ã‚¸ãƒ³ã«ãªã£ã¦ã„る。 シンプルãªã‚¤ãƒ³ã‚¿ãƒ•ã‚§ãƒ¼ã‚¹ 最近æµè¡Œã®ãƒªã‚¢ãƒ«ã‚¿ã‚¤ãƒ 性をå–り入れã€å®Ÿéš›ã«å½¼ã‚‰ã®ã‚·ã‚¹ãƒ†ãƒ ã§ä½¿ã‚ã‚Œã¦ã„る。ãã‚“ãªå®Ÿç”¨æ€§ã®é«˜ã„システムãŒã‚ªãƒ¼ãƒ—ンソースã«ãªã£ã¦ã„ã‚‹ã®ã 。 今回紹介ã™ã‚‹ã‚ªãƒ¼ãƒ—ンソース・ソフトウェアã¯Zoieã€Apache Luceneをベースã«ã—ãŸæ¤œç´¢ã‚¨ãƒ³ã‚¸ãƒ³ã 。 Zoieã¯Apache Luceneをベースã«é–‹ç™ºã•ã‚Œã¦ãŠã‚ŠJavaã§ä½œã‚‰ã‚Œã¦ã„ã‚‹ã€‚æ¤œç´¢å¯¾è±¡ã‚’è¿½åŠ ã™ã‚‹ã¨å³åº§ã«æ¤œç´¢çµæžœã«åæ˜ ã•ã‚Œã‚‹ã‚ˆã†ã«ãªã£ã¦ãŠã‚Šã€ã‚¤ãƒ³ãƒ‡ãƒƒã‚¯ã‚¹ã®å†æ§‹ç¯‰ã‚’å¾…ãŸãªãã¦è‰¯ã„。ã¾ãŸãã®ã‚¤ãƒ³ãƒ‡ãƒƒã‚¯ã‚¹ã®å†æ§‹ç¯‰ã¯æ¤œç´¢ãƒ‘フォーマンスã«å½±éŸ¿ã‚’与ãˆãªã„よã†ã«
Lucene 2.4ã¨Lucene 2.0ã®ã‚¤ãƒ³ãƒ‡ãƒƒã‚¯ã‚¹æ§‹ç¯‰é€Ÿåº¦æ¯”較 - kaisehã®ãƒ–ãƒã‚°
Luceneã¯ã€ã“ã¡ã‚‰ã®ãƒ™ãƒ³ãƒãƒžãƒ¼ã‚¯ãªã©ã‚’見るé™ã‚Šã€Sennaãªã©ä»–ã®å…¨æ–‡æ¤œç´¢ã‚¨ãƒ³ã‚¸ãƒ³ã«æ¯”ã¹ã¦ç›¸å½“é…ã„ã¨ã•ã‚Œã¦ã„るよã†ã§ã™ã€‚ 上記ページã®ãƒ™ãƒ³ãƒãƒžãƒ¼ã‚¯ã§ã¯Lucene 2.0ãŒä½¿ã‚ã‚Œã¦ã„ã¾ã™ã€‚僕も数年å‰ã«Lucene 2.0を使ã£ãŸã“ã¨ãŒã‚ã£ã¦ã€ãれ以é™ã¯Luceneã«è§¦ã‚Œã¦ã„ãªã‹ã£ãŸã‚“ã§ã™ãŒã€æœ€è¿‘ã®ãƒãƒ¼ã‚¸ãƒ§ãƒ³ã¯ãƒ‘フォーマンスãŒå¤§å¹…ã«æ”¹å–„ã•ã‚Œã¦ã„ã‚‹ãã†ãªã®ã§ã€ã©ã‚Œãらã„速ããªã£ãŸã®ã‹ã€ã‚¤ãƒ³ãƒ‡ãƒƒã‚¯ã‚¹ä½œæˆé€Ÿåº¦ã‚’比較ã—ã¦ã¿ã¾ã—ãŸã€‚ 比較ã«ä½¿ã£ãŸã®ã¯Lucene 2.4.1（2009/03）ã¨Lucene 2.0.0（2006/05）ã§ã™ã€‚以下ã®æ¡ä»¶ã§ã‚¤ãƒ³ãƒ‡ãƒƒã‚¯ã‚¹ä½œæˆæ™‚間を計測ã—ã¾ã—ãŸã€‚ データ: 日本語版Wikipediaã®ãƒ€ãƒ³ãƒ—ã‹ã‚‰å…ˆé 20万記事 インデックス形å¼: 記事タイトル: Store.YES, Index.ANALYZED（元文å—列＋インデックス） 記事本文: Store.COMPR
livedoor Techブãƒã‚° : 全文検索エンジン lucene(ルシーン) を使ã£ã¦ã¿ãŸ
ã“ã‚“ã«ã¡ã¯ 。 検索 関連 ã‚’ 担当 ã—㦠ã„ã‚‹ ã‚„ã¾ã—ー ã§ã™ 。 今回㯠livedoor ã§æä¾›ã—ã¦ã„るサービスã®ä¸ã®ã€Œæ¤œç´¢é–¢é€£ã€ã«ã¤ã„ã¦æ›¸ãã¾ã™ã€‚ ã“ã®ãƒ–ãƒã‚°ã§ã‚‚éŽåŽ»ã«ä½•åº¦ã‹å–り上ã’られã¦ã„ã¾ã™ãŒã€livedoor ã§ã¯æ¤œç´¢ã‚¨ãƒ³ã‚¸ãƒ³ã¨ã—㦠HyperEstraierã€luceneã€mysql + sennaã€Namazuã€SUFARY ãªã©ã‚’利用ã—ã¦ã„ã¾ã™ã€‚ ãã®ä¸ã§ lucene ã®åˆ©ç”¨æ–¹æ³•ã‚„機能拡張ã«ã¤ã„ã¦èª¬æ˜Žã—ã¾ã™ã€‚ lucene ã¨ã¯ Apache Lucene ã¯ã€Java ã§æ›¸ã‹ã‚ŒãŸé«˜æ€§èƒ½ã§é«˜æ©Ÿèƒ½ãªæ¤œç´¢ã‚¨ãƒ³ã‚¸ãƒ³ãƒ©ã‚¤ãƒ–ラリã§ã™ã€‚全文検索を（特ã«ã‚¯ãƒã‚¹ãƒ—ラットフォームã§ï¼‰å¿…è¦ã¨ã™ã‚‹ã»ã¨ã‚“ã©ã®ã‚¢ãƒ—リケーションã«é©ã—ã¦ã„る技術ã§ã™ã€‚※ å…¬å¼ã‚µã‚¤ãƒˆã‹ã‚‰æŠœç²‹ インデックスã®ä½œæˆ lucene ã¯è»¢ç½®ã‚¤ãƒ³ãƒ‡ãƒƒã‚¯ã‚¹åž‹ã®æ¤œç´¢ã‚¨ãƒ³ã‚¸ãƒ³ãªã®ã§ã€ãƒ‰ã‚ュメントを検索ã™ã‚‹ã«ã¯ã€ã¾ãšã‚¤ãƒ³ãƒ‡ãƒƒã‚¯ã‚¹ã®ä½œ
1
リリースã€éšœå®³æƒ…å ±ãªã©ã®ã‚µãƒ¼ãƒ“スã®ãŠçŸ¥ã‚‰ã›
最新ã®äººæ°—エントリーã®é…ä¿¡
j次ã®ãƒ–ックマーク
kå‰ã®ãƒ–ックマーク
lã‚ã¨ã§èªã‚€
eコメント一覧を開ã
oページを開ã
Lucene Solr Revolution 2013 - Dublin Presentations | lucenerevolution.org
[Apache-SVN] Index of /lucene/dev/branches/realtime_search
{{#tags}}- {{label}}
{{/tags}}