Google Code Archive - Long-term storage for Google Code Project Hosting.Code Archive Skip to content Google About Google Privacy Terms
第3回 Solr 勉強会 資料 | é–¢å£å®å¸ã®Luceneブãƒã‚°
一定期間更新ãŒãªã„ãŸã‚広告を表示ã—ã¦ã„ã¾ã™
Javaã§PDFã‹ã‚‰æ–‡ç« を抽出 - tsubosakaã®æ—¥è¨˜
プãƒã‚°ãƒ©ãƒ 上ã‹ã‚‰PDFã®æ–‡ç« ã‚’å–り出ã—ãŸã„ã¨æ€ã†ã“ã¨ãŒã‚ã£ãŸã®ã§ã€æ–¹æ³•ã‚’調ã¹ã¦ã¿ãŸã€‚ PDFBoxã¨ã„ã†ãƒ„ールを使ã†ã¨çµæ§‹ã„ã„æ„Ÿã˜ã«æŠ½å‡ºã§ããŸã€‚ 以下ã«ç°¡å˜ãªã‚µãƒ³ãƒ—ルプãƒã‚°ãƒ©ãƒ を示ã™ã€‚ import java.io.*; import org.apache.pdfbox.pdfparser.PDFParser; import org.apache.pdfbox.pdmodel.PDDocument; import org.apache.pdfbox.util.PDFTextStripper; public class ExtractPDF { private static String extractText(String filePath) throws FileNotFoundException, IOException { FileInputStream pdfStream = ne
SNA Projects Blog : Tech Talk: Michael Deerkoski (Flickr) — “Continuous Deployment at Flickrâ€
Hire the best. At 10x the speed.Hire the best. At 10x the speed.Screen and interview candidates 10x faster with MOPID AI Recruiter that saves upto 80% of your time and resources. Hiring 100+ positions? Tryâš¡Blitzhiringâš¡for a change!Hiring 100+ positions?Try âš¡Blitzhiringâš¡ for a changeWe get it. Large scale hiring costs a lot. What if you could hire the perfect talent AND save up to 80% resources? We
全文検索サーãƒ: ã“ã‚Œã‹ã‚‰Solrを始ã‚る人ã®ãŸã‚ã®Apache Solr概è¦ã¨ä¾¿åˆ©ãªæƒ…å ±ãƒªã‚¹ãƒˆé›†
ã¯ã˜ã‚ã¾ã—ã¦ã€‚ プãƒãƒ€ã‚¯ãƒˆ&サービス事æ¥éƒ¨ リーダーã®ä¹…ä¿ã§ã™ã€‚ 今日ã¯ã€å½“社ã§åˆ©ç”¨ã—ã¦ã„ã‚‹OSSã®å…¨æ–‡æ¤œç´¢ã‚¢ãƒ—リケーションã§ã‚ã‚‹Apache Solrã«ã¤ã„ã¦ã”紹介ã—ãŸã„ã¨æ€ã„ã¾ã™ã€‚ Googleã§Solrを検索ã—ã¦ã‚‚ã€æ—¥æœ¬èªžåœã®ã‚³ãƒ³ãƒ†ãƒ³ãƒ„ã¯ã¾ã ã¾ã å°‘ãªã„よã†ã§ã™ã€‚ 当社ãŒSolrを使ã„始ã‚ãŸæ˜¨å¹´ã¯ç¾åœ¨ã‚ˆã‚Šã‚‚ã•ã‚‰ã«å°‘ãªãã€çµæ§‹è‹¦åŠ´ã—ã¾ã—ãŸã€‚ 今回ã¯ã‚„や雑多ãªå†…容ã¨ãªã‚Šã¾ã™ãŒã€æ–°ã—ãSolrを使ã†éš›ã«å¿…è¦ã¨è€ƒãˆã‚‰ã‚Œã‚‹æƒ…å ±ã‚’ã¾ã¨ã‚ã¦ã¿ã¾ã—ãŸã€‚ 本エントリーã§ã¯ã€Solr1.3を対象ã¨ã—ã¦ã„ã¾ã™ã€‚ Solr1.3ãŒç¾åœ¨ã®å®‰å®šç‰ˆã§ã€Solr1.4-devãŒé–‹ç™ºç‰ˆã¨ãªã‚Šã¾ã™ã€‚ 目次 Solrã¨ã¯ 機能一覧 実績/事例 Solrを使ã£ãŸã‚·ã‚¹ãƒ†ãƒ ã®é–‹ç™ºæ–¹æ³• ãŠã™ã™ã‚ã™ã‚‹æ–¹ データé‡/性能ã¨ãƒãƒ¼ãƒ‰ã‚¦ã‚§ã‚¢ マルãƒã‚³ã‚¢æ§‹æˆ 様々ãªæ¤œç´¢ スケールアウト 検索ã¨æ›´æ–° Solrを始ã‚ã‚‹ãŸã‚ã®æƒ…å ±ãƒªã‚¹ãƒˆ å…¨
Solr勉強会行ã£ã¦ããŸã€‚ - public static void main
21æ—¥ã«ECナビã•ã‚“ã§é–‹å‚¬ã•ã‚ŒãŸSolr（ãーら）勉強会ã«å‚åŠ ã—ã¦ãã¾ã—ãŸã€‚ http://atnd.org/events/937 Luceneã‚’1ã€2å¹´å‰ãらã„ã«è§¦ã£ã¦ã„ã¦ã€ãã®ã¨ãSolrも調査ã—ãŸã“ã¨ãŒã‚ã£ãŸã®ã§ã€ãã®é ƒã‹ã‚‰ã©ã®ã‚ˆã†ã«å¤‰ã‚ã£ãŸã®ã‹æ¥½ã—ã¿ã«ã—ã¦ã„ãã¾ã—ãŸã€‚ 以下発表内容ã®ã¾ã¨ã‚ã§ã™ã€‚ Solrã¨ã¯ï¼Ÿï¼ˆãƒãƒ³ã‚¦ã‚£ãƒƒãƒˆé–¢å£ã•ã‚“） 全文検索ライブラリã®Lucene Javaã®APIを使ã†ã®ã§ã€é–‹ç™ºæœŸé–“ã®çŸããªã£ã¦ã„る昨今ã§ã¯å°Žå…¥ã®æ•·å±…ãŒé«˜ã„ Solrã¯Luceneを使ã£ãŸæ¤œç´¢ã‚µãƒ¼ãƒå®Ÿè£… HTTPベースã®APIãŒæä¾›ã•ã‚Œã¦ã„る→言語をé¸ã°ãªã„ 検索アプリãŒéžå¸¸ã«æ¥½ã«ä½œæˆå¯èƒ½â†’時代ã«åˆã£ã¦ã„ã‚‹ Solrã¨ã®ãƒ‡ãƒ¼ã‚¿ã‚„ã‚Šã¨ã‚Š XMLã§ç™»éŒ²ãƒ‡ãƒ¼ã‚¿ã‚’作æˆï¼ˆCSVã§ã‚‚å¯ï¼‰â†’HTTPã§POSTã™ã‚‹ã¨ç™»éŒ²ãŒå®Œäº† 検索çµæžœã‚‚XMLã§GETã™ã‚‹ 検索アプリã§ã¯ã€XMLã§è¿”ã£ã¦ããŸçµæžœã‚’åŠ å·¥ã—ã¦HTM
3è¡Œã§ã§ãる超ãŠæ‰‹è»½å…¨æ–‡æ¤œç´¢ - mixi engineer blog
梅雨。部屋干ã—ã—ãŸæ´—濯物ã«ã‚ˆã‚‹ç•°è‡é¨’ãŽã«è‹¦ã—ã‚€mikioã§ã™ã€‚今回ã¯ã€Tokyo Cabinetã®ãƒ†ãƒ¼ãƒ–ルデータベースã§è¶…ãŠæ‰‹è»½ã«å…¨æ–‡æ¤œç´¢ã‚’ã™ã‚‹æ–¹æ³•ã«ã¤ã„ã¦èª¬æ˜Žã—ã¾ã™ã€‚ 使ã„æ–¹ テーブルデータベースã«ã¤ã„ã¦ã¾ãšãŠã•ã‚‰ã„ã—ã¦ãŠãã¾ã—ょã†ã€‚Perlã‚„Rubyã®ãƒãƒƒã‚·ãƒ¥ã®ã‚ˆã†ã«ã‚³ãƒ©ãƒ åã¨ãã®å€¤ã‚’関連ã¥ã‘ãŸæ§‹é€ ã‚’ã€ä¸»ã‚ーをè˜åˆ¥åã¨ã—ã¦ä¿å˜ã™ã‚‹ãƒ‡ãƒ¼ã‚¿ãƒ™ãƒ¼ã‚¹ã§ã™ã€‚例ãˆã°Rubyã‹ã‚‰ãƒ‡ãƒ¼ã‚¿ã‚’ä¿å˜ã™ã‚‹ã«ä»¥ä¸‹ã®ã‚ˆã†ã«è¡Œã„ã¾ã™ã€‚データベースã§ã‚ã‚‹ã“ã¨ã‚’ã»ã¨ã‚“ã©æ„è˜ã•ã›ãªã„ã¨ã„ã†ã®ãŒç´ 敵ãƒã‚¤ãƒ³ãƒˆã§ã™ã€‚APIã¯Cã§ã‚‚Perlã§ã‚‚Rubyã§ã‚‚ã»ã¨ã‚“ã©åŒã˜ãªã®ã§ã€è¨€èªžã«ã‹ã‹ã‚らãšåŒã˜ã‚ˆã†ã«ãƒ¬ã‚³ãƒ¼ãƒ‰ã‚’æ“作ã§ãã¾ã™ã€‚ require 'tokyocabinet' include TokyoCabinet # データベースを開ã tdb = TDB::new tdb.open("casket", TDB::OWRITER
Apache Solrを使ã£ã¦ã¿ãŸã€‚
Apache Solrã¨ã„ã†ã®ã¯ã€Javaベースã®æ¤œç´¢ã‚¨ãƒ³ã‚¸ãƒ³ã‚·ã‚¹ãƒ†ãƒ ã§ã™ã€‚ 「ソーラã€ã¨å‘¼ã¶ãã†ã§ã™ã€‚ã©ã†ã—ã¦ã‚‚覚ãˆã‚‰ã‚Œã¾ã›ã‚“。 Solr - Wikipedia 実ã¯ãƒ¢ãƒãƒ„イッターã«ã‚‚ã€ç§˜ã‹ã«ãƒ„イッターã®ãƒã‚°æ¤œç´¢ãªã‚‹æ©Ÿèƒ½ãŒè¿½åŠ ã—ã¦ã‚ã‚Šã¾ã—ã¦ã€ãƒ¢ãƒãƒ„イã®ã‚¨ã‚´ã‚µãƒ¼ãƒãªã©ã‚’ã—ã¦ã€ä¸å…·åˆãŒãªã„ã‹ã‚’調ã¹ã¦ã„ãŸã‚Šã—ã¾ã™ã€‚ 検索エンジンã¯mysql + sennaを使ã£ã¦ã„ã‚‹ã®ã§ã™ãŒã€è‡ªåˆ†ã®ãƒžã‚·ãƒ³ã®ã‚¹ãƒšãƒƒã‚¯ã‚ˆã‚Šã‚‚ã€ãƒ‡ãƒ¼ã‚¿é‡ãŒå¢—ãˆã¦ã—ã¾ã£ãŸçŠ¶æ…‹ã‚‰ã—ãã€ãƒ’ット数ãŒå¤šã„「tinyurlã€ãªã©ã®æ–‡å—列ã§æ¤œç´¢ã™ã‚‹ã¨ã€ã‚ã£ã•é…ã„ã¨ã„ã†çŠ¶æ…‹ã«ãªã£ã¦ã—ã¾ã„ã¾ã—ãŸã€‚ ãŠãらãmysqlã®è¨å®šãªã©ã¯ã¾ã ã¾ã 余地ãŒã‚ã‚‹ã‚“ã§ã—ょã†ã€ã¨ã€ã„ã‚ã„ã‚工夫ã—よã†ã¨ã—ãŸã®ã§ã™ãŒã€ã©ã†ã›ãªã‚‰senna以外も使ãˆã‚‹ã‚ˆã†ã«ãªã‚ŠãŸã„ãªãã¨æ€ã£ã¦ã€ã“ã¡ã‚‰ã®twitter検索ã§ä½¿ã‚ã‚Œã¦ã„ã‚‹Solrã£ã¦ã®ãŒã‚ã‚‹ã¨ã„ã†ãŠè©±ã‚’èžã„ãŸã®ã§ã€Java久々
Apache Mahout - Taste Documentation
Taste is a flexible, fast collaborative filtering engine for Java. The engine takes users' preferences for items ("tastes") and returns estimated preferences for other items. For example, a site that sells books or CDs could easily use Taste to figure out, from past purchase data, which CDs a customer might be interested in listening to. Taste provides a rich set of components from which you can c
Luceneã¨GoSen - Vox
ç§ã‚‚Gosenã«å…¥ã‚Œæ›¿ãˆã‚ˆã†ã¨ã—ãŸã®ã§ã™ãŒã€ã€ã€ã†ã¾ãå‹•ãã¾ã›ã‚“。 クラスもã„ã‚ã„ã‚ã¨æ›¸ãæ›ãˆã‚‰ã‚Œã¦ã„ã¦æ•´åˆæ€§ãŒã¨ã‚Œã¾ã›ã‚“ã—ã€å¤‰ã‚ã£ãŸAPIã®ã©ã‚Œã‚’使ãˆã°ã‚ˆã„ã‹ã‚‚ã‚ã‹ã‚Šã¾ã›ã‚“。 ã‚ã‹ã‚‹ã‚ˆã†ã§ã—ãŸã‚‰ã©ã†ã‚„ã£ã¦å‹•ã„ãŸã®ã‹æ›¸ã„ã¦ãれるã¨åŠ©ã‹ã‚Šã¾ã™ã€‚ Tokenã®getPosã¨ã‹ã€ã€ã€ã€‚ 変更ã¯ã€StreamTaggerã®ã‚³ãƒ³ã‚¹ãƒˆãƒ©ã‚¯ã‚¿ã®å¼•æ•°ã‚’〠input, configFileã‹ã‚‰ã€ SenFactory.getStringTagger(configFile), inputã« tokenãŒnet.java.sen.Tokenãªã®ã‚’〠net.java.sen.dictionary.Tokenã« org.apache.lucene.analysis.Tokenã®ã‚³ãƒ³ã‚¹ãƒˆãƒ©ã‚¯ã‚¿ã‚’ final Morpheme m = token.getMorpheme(); return new T
N-gramモデルを利用ã—ãŸãƒ†ã‚スト分æžã€€â€•ã‚¤ãƒ³ãƒ‡ãƒƒã‚¯ã‚¹ãƒšãƒ¼ã‚¸â€•
↑ページ先é N-gramモデルを利用ã—ãŸäº‹ä¾‹ ã‚るテã‚ストã‹ã‚‰ã€ä»»æ„ã®N-gramå˜ä½ã§å…±èµ·é »åº¦ã‚’集計ã—（N-gram統計をå–る）ã€ãã®çµæžœã‚’利用ã—ã¦ãƒ†ã‚ストや言語ã®æ€§æ ¼ã‚’見ã„ã ã™ç ”究ã«ã‚ˆã利用ã•ã‚Œã‚‹ã€‚ N-gramモデルã§ã€ã‚ã‚‹æ–‡å—列ã®ç›´å¾Œã«ã€ç‰¹å®šã®åˆ¥ãªæ–‡å—列ã¯å‡ºç¾ã™ã‚‹ç¢ºçŽ‡ã‚’求ã‚る。 「anã€ã®å¾Œã«ã¯ã€å¿…ãšæ¯éŸ³ï¼ˆaiueo）ã§å§‹ã¾ã‚‹å˜èªžãŒçµã³ã¤ã確率ãŒ100% 「qã€ã®å¾Œã«ã¯ã€ã€Œuã€ãŒçµã³ã¤ãå¯èƒ½æ€§ãŒé«˜ã„。 『論語ã€ã§ã¯ã€Œåã€ã®å¾Œã«ã€Œæ›°ã€ãŒçµã³ã¤ãå¯èƒ½æ€§ãŒé«˜ã„。 「百人一首ã€ã‚’平仮åã«é–‹ã„ãŸå ´åˆã®å»¶ã¹æ•°ã¯ã€ä¸Šä½å五ä½ã¾ã§ã§å…¨ä½“ã®äº”割ã®ä½¿ç”¨é‡ã‚’å ã‚る（全部ã§å…å八種ã®ç•°ãªã‚‹å¹³ä»®å（æ¿ç‚¹å«ã‚€ï¼‰ãŒä½¿ã‚ã‚Œã¦ã„る） 音声èªè˜ã‚„OCR（原稿èªã¿ã¨ã‚Šã‚½ãƒ•ãƒˆï¼‰ã§ã®åˆ©ç”¨ èªã¿ã«ãã„æ–‡å—ã§ã‚‚ã€å…±èµ·é »åº¦ã®ç™ºç”Ÿç¢ºçŽ‡ã‚’考慮ã™ã‚Œã°ã€æ£ã—ã原稿をå¯èªå‡ºæ¥ã‚‹ ↑ページ先é 人文å¦çš„ã¸ã®N-gramモデル導入 è¿‘è—¤ã¿ã‚†
Luceneã§éŠã‚“ã§ã¿ã‚‹
サービス終了ã®ãŠçŸ¥ã‚‰ã› ã„ã¤ã‚‚Yahoo! JAPANã®ã‚µãƒ¼ãƒ“スをã”利用ã„ãŸã ãèª ã«ã‚ã‚ŠãŒã¨ã†ã”ã–ã„ã¾ã™ã€‚ ãŠå®¢æ§˜ãŒã‚¢ã‚¯ã‚»ã‚¹ã•ã‚ŒãŸã‚µãƒ¼ãƒ“スã¯æœ¬æ—¥ã¾ã§ã«ã‚µãƒ¼ãƒ“スを終了ã„ãŸã—ã¾ã—ãŸã€‚ 今後ã¨ã‚‚Yahoo! JAPANã®ã‚µãƒ¼ãƒ“スをã”愛顧ãã ã•ã„ã¾ã™ã‚ˆã†ã€ã‚ˆã‚ã—ããŠé¡˜ã„ã„ãŸã—ã¾ã™ã€‚
記事ã‹ã‚‰åè©žã ã‘ã‚’å–り出㙠| é–¢å£å®å¸ã®Luceneブãƒã‚°
一定期間更新ãŒãªã„ãŸã‚広告を表示ã—ã¦ã„ã¾ã™
Hello, Lucene （入門者å‘ã‘プãƒã‚°ãƒ©ãƒ 例） | é–¢å£å®å¸ã®Luceneブãƒã‚°
一定期間更新ãŒãªã„ãŸã‚広告を表示ã—ã¦ã„ã¾ã™
トップページ
SQL データベースæ“作言語SQLã«ã¤ã„ã¦ã€ã¾ãŸRDBMSã®æŒã¤æ©Ÿèƒ½ã«ã¤ã„ã¦è©³ã—ã解説ã—ã¾ã™ã€‚ DB概è¦ã€SQLã€ãƒ†ãƒ¼ãƒ–ルæ“作ã€ãƒ‡ãƒ¼ã‚¿æ“作 ... 特集：replication PostgreSQLã®ãƒ¬ãƒ—リケーションシステムを紹介ã—ã€ãれらã®æ©Ÿèƒ½ã‚’比較ã—ã¦ã„ãã¾ã™ã€‚ 特集：pgbench PostgreSQLã®ãƒ™ãƒ³ãƒãƒžãƒ¼ã‚¯ãƒ†ã‚¹ãƒˆã«ç”¨ã„られるプãƒã‚°ãƒ©ãƒ ã§ã‚ã‚‹ pgbench ã«ã¤ã„ã¦è§£èª¬ã—ã¾ã™ã€‚ SQL演習å•é¡Œ å„ç« ã«ç”¨æ„ã•ã‚ŒãŸæ¼”ç¿’å•é¡Œã‚’集ã‚ã¾ã—ãŸã€‚
1
ランã‚ング
ランã‚ング
ランã‚ング
リリースã€éšœå®³æƒ…å ±ãªã©ã®ã‚µãƒ¼ãƒ“スã®ãŠçŸ¥ã‚‰ã›
最新ã®äººæ°—エントリーã®é…ä¿¡
j次ã®ãƒ–ックマーク
kå‰ã®ãƒ–ックマーク
lã‚ã¨ã§èªã‚€
eコメント一覧を開ã
oページを開ã
IBM Developer
Lucidworks
http://www.itarchitect.jp/enterprise/-/25122.html
{{#tags}}- {{label}}
{{/tags}}