Hadoop @ Java CCC 2008 Spring
•Download as PPTX, PDF•
0 likes•1,353 views
- The document discusses using Lucene and Hadoop to build large-scale search engines. Lucene is introduced as a Java-based search engine library, while Hadoop is a framework for distributed storage and processing of large datasets. - Code examples are provided for creating a Lucene index from files and for performing searches on the indexed data. - The presentation agenda indicates it will cover Lucene, Hadoop, building search engines with Lucene+Hadoop, and questions. Reference materials on Lucene and Hadoop are also listed.
![Luceneインデックス作成サンプ
ル
//インデックスに登録するファイルのあるディレクトリ
File directory = new File(args[0]);
String[] filepath = directory.list();
//インデックスの保存先
String index = args[1];
//インデクサの生成
IndexWriter writer = new IndexWriter(index, new JapaneseAnalyzer(), true);
//文書の解析
for (int i = 0; i < filepath.length; i++) {
Document doc = new Document();
//ファイルの登録
doc.add(Field.UnIndexed(quot;urlquot;, filepath[i]));
Reader reader = new FileReader(filepath[i]);
//文書内容の登録
doc.add(Field.Text(quot;contentsquot;,reader));
writer.addDocument(doc);
}
//インデクサのクローズ
writer.optimize(); writer.close();](https://image.slidesharecdn.com/20081016javaccc-090503155616-phpapp02/85/Hadoop-Java-CCC-2008-Spring-6-320.jpg)
![Luceneインデックス作成サンプ
ル
//インデックスに登録するファイルのあるディレクトリ
File directory = new File(args[0]);
String[] filepath = directory.list();
//インデックスの保存先
String index = args[1];
//インデクサの生成
IndexWriter writer = new IndexWriter(index, new JapaneseAnalyzer(), true);
//文書の解析
for (int i = 0; i < filepath.length; i++) {
Document doc = new Document();
//ファイルの登録
doc.add(Field.UnIndexed(quot;urlquot;, filepath[i]));
Reader reader = new FileReader(filepath[i]);
//文書内容の登録
doc.add(Field.Text(quot;contentsquot;,reader));
writer.addDocument(doc);
}
//インデクサのクローズ
writer.optimize(); writer.close();](https://image.slidesharecdn.com/20081016javaccc-090503155616-phpapp02/85/Hadoop-Java-CCC-2008-Spring-7-320.jpg)
![Luceneインデックス作成サンプ
ル
//インデックスに登録するファイルのあるディレクトリ
File directory = new File(args[0]);
String[] filepath = directory.list();
//インデックスの保存先
String index = args[1];
//インデクサの生成
IndexWriter writer = new IndexWriter(index, new JapaneseAnalyzer(), true);
//文書の解析
for (int i = 0; i < filepath.length; i++) {
Document doc = new Document();
//ファイルの登録
doc.add(Field.UnIndexed(quot;urlquot;, filepath[i]));
Reader reader = new FileReader(filepath[i]);
//文書内容の登録
doc.add(Field.Text(quot;contentsquot;,reader));
writer.addDocument(doc);
}
//インデクサのクローズ
writer.optimize(); writer.close();](https://image.slidesharecdn.com/20081016javaccc-090503155616-phpapp02/85/Hadoop-Java-CCC-2008-Spring-8-320.jpg)
![Luceneインデックス作成サンプ
ル
//インデックスに登録するファイルのあるディレクトリ
File directory = new File(args[0]);
String[] filepath = directory.list();
//インデックスの保存先
String index = args[1];
//インデクサの生成
IndexWriter writer = new IndexWriter(index, new JapaneseAnalyzer(), true);
//文書の解析
for (int i = 0; i < filepath.length; i++) {
Document doc = new Document();
//ファイルの登録
doc.add(Field.UnIndexed(quot;urlquot;, filepath[i]));
Reader reader = new FileReader(filepath[i]);
//文書内容の登録
doc.add(Field.Text(quot;contentsquot;,reader));
writer.addDocument(doc);
}
//インデクサのクローズ
writer.optimize(); writer.close();](https://image.slidesharecdn.com/20081016javaccc-090503155616-phpapp02/85/Hadoop-Java-CCC-2008-Spring-9-320.jpg)
Hadoop @ Java CCC 2008 Spring
- 1. 100行ぐらいで書く分散検索エンジ ン Hadoop + Lucene 太田一樹 <[email protected]>
- 2. 自己紹介 • 太田一樹 – http://kzk9.net/ – 東京大学情報理工学系研究科コンピューター 科学専攻石川研究室
- 3. 今回のテーマ • Javaで分散検索エンジンを楽をして作る – Lucene (検索エンジン) – Hadoop (MapReduceフレームワーク) • 個人でも大規模な検索エンジンがさくっ と作れる時代ということを示してみる
- 4. Agenda • Luceneの説明 • Hadoopの説明 • Lucene + Hadoopで検索エンジンを構築 • まとめ
- 5. (Lucene)とは？ • Javaで書かれた検索エンジン – Yahoo ResearchのDougCutting氏が開発 – Javaのクラスライブラリとして提供され、他 のソフトウェアから簡単に使用可能 – 文章サイズにもよるが、数百万件程度なら１ 台で検索可能 • 検索できるようになるまでの流れ – 文章を登録し、検索用インデックスを作成 – 検索用インデックスを読み込み、クエリーを 発行
- 6. Luceneインデックス作成サンプ ル //インデックスに登録するファイルのあるディレクトリ File directory = new File(args[0]); String[] filepath = directory.list(); //インデックスの保存先 String index = args[1]; //インデクサの生成 IndexWriter writer = new IndexWriter(index, new JapaneseAnalyzer(), true); //文書の解析 for (int i = 0; i < filepath.length; i++) { Document doc = new Document(); //ファイルの登録 doc.add(Field.UnIndexed(quot;urlquot;, filepath[i])); Reader reader = new FileReader(filepath[i]); //文書内容の登録 doc.add(Field.Text(quot;contentsquot;,reader)); writer.addDocument(doc); } //インデクサのクローズ writer.optimize(); writer.close();
- 7. Luceneインデックス作成サンプ ル //インデックスに登録するファイルのあるディレクトリ File directory = new File(args[0]); String[] filepath = directory.list(); //インデックスの保存先 String index = args[1]; //インデクサの生成 IndexWriter writer = new IndexWriter(index, new JapaneseAnalyzer(), true); //文書の解析 for (int i = 0; i < filepath.length; i++) { Document doc = new Document(); //ファイルの登録 doc.add(Field.UnIndexed(quot;urlquot;, filepath[i])); Reader reader = new FileReader(filepath[i]); //文書内容の登録 doc.add(Field.Text(quot;contentsquot;,reader)); writer.addDocument(doc); } //インデクサのクローズ writer.optimize(); writer.close();
- 8. Luceneインデックス作成サンプ ル //インデックスに登録するファイルのあるディレクトリ File directory = new File(args[0]); String[] filepath = directory.list(); //インデックスの保存先 String index = args[1]; //インデクサの生成 IndexWriter writer = new IndexWriter(index, new JapaneseAnalyzer(), true); //文書の解析 for (int i = 0; i < filepath.length; i++) { Document doc = new Document(); //ファイルの登録 doc.add(Field.UnIndexed(quot;urlquot;, filepath[i])); Reader reader = new FileReader(filepath[i]); //文書内容の登録 doc.add(Field.Text(quot;contentsquot;,reader)); writer.addDocument(doc); } //インデクサのクローズ writer.optimize(); writer.close();
- 9. Luceneインデックス作成サンプ ル //インデックスに登録するファイルのあるディレクトリ File directory = new File(args[0]); String[] filepath = directory.list(); //インデックスの保存先 String index = args[1]; //インデクサの生成 IndexWriter writer = new IndexWriter(index, new JapaneseAnalyzer(), true); //文書の解析 for (int i = 0; i < filepath.length; i++) { Document doc = new Document(); //ファイルの登録 doc.add(Field.UnIndexed(quot;urlquot;, filepath[i])); Reader reader = new FileReader(filepath[i]); //文書内容の登録 doc.add(Field.Text(quot;contentsquot;,reader)); writer.addDocument(doc); } //インデクサのクローズ writer.optimize(); writer.close();
- 10. Lucene検索サンプル // インデックス読み込み IndexSearcher is = new IndexSearcher(quot;indexquot;); // クエリーパーサーの作成 QueryParser qp = new QueryParser(quot;contentquot;, new SimpleAnalyzer()); // 検索クエリーの準備 Query q = qp.parse(“SomeQueryquot;); // 検索を実行 Hits hs = is.search(q); // 検索結果を表示 System.out.println(hs.length() + quot; hit(s)quot;); for(int i=0; i<hs.length(); i++) { System.out.println(hs.doc(i).toString()); } is.close();
- 11. Hadoopとは？ • Googleの基盤ソフトウェアのクローン – Google File System – MapReduce • Yahoo Research の Doug Cutting氏が開発 – 元々はNutch Crawlerのサブプロジェクト – Dougの子供の持っているぬいぐるみの名前 • Javaで記述
- 12. Hadoop参考文献 • Hadoop公式サイト – http://hadoop.apache.org/core/ – Wiki: http://wiki.apache.org/hadoop/ • インストール方法・チュートリアル・プレゼン資 料など • Hadoop解析資料 (拙著) • http://preferred.jp/pub/hadoop.html • Hadoop, hBaseで構築する大規模データ処 理システム on CodeZine (拙著) – http://codezine.jp/a/article/aid/2448.aspx
- 13. MapReduceの実行フロー Map Data Reduce Data Shuffle Map Data Reduce Data Map Data
- 14. Hadoopのスケーラビリティ • Scaling 4000 nodes at Yahoo! – http://developer.yahoo.net/blogs/hadoop/2008/09/sc aling_hadoop_to_4000_nodes_a.html • Hadoop wins Terabyte Sort Benchmark – http://developer.yahoo.net/blogs/hadoop/2008/07/a pache_hadoop_wins_terabyte_sort_benchmark.html • Hadoopで書いとけば、4000ノードぐらいま ではスケールするよ！
- 15. 例: ワードカウント 入力文書: doc1 foo foo foo bar bar buzz Map Data Reduce Data Shuffle Map Data Reduce Data Map Data
- 16. 例: ワードカウント 入力文書: doc1 foo foo foo bar bar buz Map Data doc1: foo Reduce Data doc1: foo Shuffle Map Data doc1: foo Reduce doc1: bar Data Map Data doc1: bar doc1: buz
- 17. 例: ワードカウント 入力文書: doc1 foo foo foo bar bar buz doc1: foo doc1: foo Map Data Reduce Data doc1: foo doc1: bar Shuffle Map Data Reduce doc1: bar Data doc1: buz Map Data
- 18. 例: ワードカウント 入力文書: doc1 foo foo foo bar bar buz doc1: foo foo: 1 doc1: foo foo: 1 Map Data Reduce Data doc1: foo bar: 1 doc1: bar foo: 1 Map Data Reduce doc1: bar bar: 1 Data doc1: buz buz: 1 Map Data
- 19. 例: ワードカウント 入力文書: doc1 foo foo foo bar bar buz foo: 1 foo: 1 bar: <1, 1> Map Data buz: <1> Reduce Data bar: 1 foo: 1 Map Data foo: <1, 1, 1> Reduce bar: 1 Data buz: 1 Map Data
- 20. 例: ワードカウント 入力文書: doc1 foo foo foo bar bar buz bar: <1, 1> Map Data buz: <1> Reduce Data Map Data foo: <1, 1, 1> Reduce Data Map Data
- 21. 例: ワードカウント 入力文書: doc1 foo foo foo bar bar buz bar: <1, 1> bar: 2 Map Data buz: <1> buz: 1 Reduce Data Map Data foo: <1, 1, 1> foo: 3 Reduce Data Map Data
- 22. 例: ワードカウント 入力文書: doc1 foo foo foo bar bar buz bar: 2 Map Data buz: 1 Reduce Data Map Data foo: 3 Reduce Data Map Data
- 23. 作成する検索エンジンの仕組み 検索用ノード Lucene クロールしてきた文章 インデック ス1 Lucene url1: <html>… インデック url2: <html>… ス2 url3: <html>… Lucene Hadoopによる url4: <html>… 分散 インデック 分散インデックス url5: <html>… クエリー ス3 作成 url6: <html>… 発行 Lucene url7: <html>… インデック … ス4 Lucene インデック ス5
- 24. Hadoopによる分散インデックス作 成 url1: <html>… Map Data url2: <html>… Reduce Data url3: <html>… Shuffle Map Data url4: <html>… Reduce Data url5: <html>… Map Data url6: <html>…
- 25. Hadoopによる分散インデックス作 成 url1: <html>… Map Data url2: <html>… Reduce Data url3: <html>… Shuffle Map Data url4: <html>… Reduce Data url5: <html>… Map Data url6: <html>…
- 26. Hadoopによる分散インデックス作 成 url1: <html>… Map Data url2: <html>… url1: <html>… url4: <html>… Reduce Data url5: <html>… url3: <html>… Shuffle Map Data url4: <html>… url2: <html>… Reduce url3: <html>… Data url6: <html>… url5: <html>… Map Data url6: <html>…
- 27. Hadoopによる分散インデックス作 成 url1: <html>… Lucene url4: <html>… インデック Map Data url5: <html>… ス Reduce Data url2: <html>… Lucene Shuffle<html>… Map Data url3: インデック url6: <html>… ス Reduce Data Map Data
- 28. Hadoopによる分散インデックス作 成 Lucene インデック Map Data ス Reduce Data Lucene Shuffle Map Data インデック ス Reduce Data Map Data
- 29. Hadoopによる分散インデックス作 成 Lucene インデック Map Data ス Reduce Data Lucene インデック Shuffle Map Data ス Reduce Data Map Data
- 30. Hadoopによる分散インデックス作 成 Lucene Map Data インデック ス Reduce Data Lucene Shuffle Map Data インデック ス Reduce Data Map Data
- 31. 分散インデックス作成 (Mapフェーズ) // 何もしない public void map(Text key, Text value, OutputCollector<Text, Text> output, Reporter reporter) throws IOException { Text url = key; Text str = value; output.collect(url, str); }
- 32. 分散インデックス作成 (Reduceフェーズ) public void reduce(Text key, Iterator<Text> values, OutputCollector<Text, Writable> output, Reporter reporter) throws IOException { // URL Text url = key; // 本文 Text str = values.next(); // ドキュメントを追加 Document doc = new Document(); doc.add(new Field(quot;urlquot;, url.toString(), Field.Store.YES, Field.Index.NO)); doc.add(new Field(quot;contentquot;, str.toString(), Field.Store.YES, Field.Index.TOKENIZED)); output.collect(url, new LuceneDocumentWrapper(doc)); }
- 33. 分散インデックス作成 (Reduce終了フェーズ) public void close(final Reporter reporter) throws IOException { // 分散ファイルシステムに保存するための何か final Path perm = new Path(job.getOutputPath(), name); final Path temp = job.getLocalPath( “index/_” + Integer.toString(new Random().nextInt())); // インデックス作成 final IndexWriter writer = new IndexWriter( fs.startLocalOutput(perm, temp).toString(), new JapaneseAnalyzer(), true); try { writer.optimize(); writer.close(); fs.completeLocalOutput(perm, temp); // copy to dfs } finally { closed = true; } }
- 34. 以上のコードを実行 • Hadoopのインストール – 今回は24 (dual core)台のクラスタを使用 • ビルド • 実行 – bin/hadoop jar indexer.ja net.kzk9.indexer in out • 分散ファイルシステムのoutというディレ クトリにLuceneインデックスが作成されて いる – 30Gのドキュメントで約2-3時間?
- 35. 作成する検索エンジンの仕組み 検索用ノード Lucene クロールしてきた文章 インデック ここを作った ス1 Lucene url1: <html>… インデック url2: <html>… ス2 url3: <html>… Lucene Hadoopによる url4: <html>… 分散 インデック 分散インデックス url5: <html>… クエリー ス3 作成 url6: <html>… 発行 Lucene url7: <html>… インデック … ス4 Lucene インデック ス5
- 36. 落ち穂拾い • 時間的にここまで • 残りのタスク – クエリー受け付け用のサーバーを用意 – 作成されたインデックスをそいつらに転送 – クライアントから各サーバーにクエリーを発 行
- 37. とはいえ • 商用検索エンジンにするには絶対的に欠 けている要素 – ランキング – クローラー • OSSの分散検索エンジン – Nutch • OSSの検索エンジン • あんまり出来が良くない – Senna • 分散バージョンﾏﾀﾞｰ？
- 38. まとめ • Luceneの使い方を説明 • Hadoopの使い方を説明 • 組み合わせて分散でインデックスを作成 する方法を紹介
- 39. おわり % wc -l indexer.java 145 indexer.java