![検索クエリ
curl -X POST 'http://localhost:9200/livedoor-gourmet/_search?pretty' -d '{
"query":{
"query_string":{
"query":"name:ワイン AND pref_id:13"
Luceneクエリで条件指定
}
いわゆるWHERE句
},
"sort" : [
並び替え条件を指定
{ "access_count" : "desc" },
ORDER BY access_count DESC ...
"fan_count",
"_score"
],
範囲選択 LIMIT 0, 10
"from" : 0, "size" : 10
}'
page 37](https://image.slidesharecdn.com/introducingelasticsearchformysqlusers-140209205559-phpapp01/85/MySQL-Elasticsearch-37-320.jpg)
MySQLユーザ視点での小さく始めるElasticsearch
- 1. 07th Feb, 2014 MySQLユーザ視点での 小さく始めるElasticsearch Kentaro Yoshida in 第3回 Elasticsearch勉強会 page 1
- 2. 1. はじめに 2. 自己紹介 3. 今回のテーマ 本日の流れ 4. Yamabikoの紹介 5. 検索ことはじめ 6. Elasticsearch雑感 7. まとめ page 2
- 8. つまり page 8
- 9. “Solr” or “Elasticsearch” が必要 page 9
- 12. 2. 自己紹介 page 12
- 13. 自己紹介 • よしけんさん • (株)リブセンス • Web系インフラの 研究開発エンジニア • Elasticsearch歴： 2013年 初夏∼ 好きなプロダクト page 13
- 14. お知らせ
- 16. 3.今回のテーマ page 16
- 17. 今回のテーマ 実データを用いて手軽にElasticsearchと連携した検索を行いたい Elasticsearchをスモールスタートで使い始めたい 既存プログラムの更新系処理に触れずに小さく始めたい メインRDBはMySQLではあるが、検索のみElasticsearchを使う構成 Amazon RDS for MySQLにも応用できる手離れの良い構成にしたい MySQLサーバの管理無しに冗長化構成を実現できる (Multi-AZ) page 17
- 20. 既存製品はElasticsearch非対応 Attunity Replicate / Tungsten Replicator page 20
- 27. そこで！ page 27
- 31. Yamabiko 概要 MySQLからElasticsearchへデータを非同期に逐次反映 Amazon RDS・MariaDB・PerconaServer等の互換DBにも対応 Elasticsearchとは別の単体ミドルウェアとして動作 CentOS 6.x向けのRPMパッケージとして配布中 任意のSQL文の結果の差分から、insert/update/deleteイベントを検知 SELECT * FROM contents WHERE DATE_ADD(updated_at, INTERVAL 5 MINUTE) > NOW(); といったクエリで差分同期も可能 page 31
- 35. データ投入 かねてから無償配布されているライブドアグルメのCSVデータを利用 MySQLをGUI管理できるMacアプリ”Sequel Pro"を用いてDBへ流し込む Yamabikoを利用し、MySQLからデータの同期を始める 登録クエリ：SELECT * FROM restaurants WHERE closed = 0; 次のトピックは後ほど解説 mapping：緯度経度を扱えるgeo_point型を使うため analyzer：高機能な全文検索を扱えるKuromojiを使うため page 35
- 36. page 36
- 37. 検索クエリ curl -X POST 'http://localhost:9200/livedoor-gourmet/_search?pretty' -d '{ "query":{ "query_string":{ "query":"name:ワイン AND pref_id:13" Luceneクエリで条件指定 } いわゆるWHERE句 }, "sort" : [ 並び替え条件を指定 { "access_count" : "desc" }, ORDER BY access_count DESC ... "fan_count", "_score" ], 範囲選択 LIMIT 0, 10 "from" : 0, "size" : 10 }' page 37
- 38. 意外と簡単！ page 38
- 39. 緯度経度検索 MySQLでのGeo検索はイケてないのです SPATIALインデックスを使えるのはMyISAMだけ 最近はInnoDBでGeohashを用いればある程度のことは出来る Geohashにも対応しているElasticsearchであれば、Z曲線のグループ毎に facet検索できるので、地域毎に何件ヒットしたかの検索も(多分)可能 MySQL側で緯度と経度が別カラムに格納されているテーブルを Yamabikoを使ってElasticsearchに流し込む場合には、 SELECT文に CONCAT(lat, ",", lon) AS location という列を追加し、 次ページのmapping定義をすれば緯度経度や近傍検索が出来る page 39
- 40. 緯度経度検索 # mapping定義を行った後にデータを流し込む $ curl -XPUT "http://localhost:9200/livedoor/restaurants/_mapping" -d ' { "restaurants" : { "properties" : { "location": { "type": "geo_point", "lat_lon": "true" } } } }' page 40
- 41. 緯度経度検索 # 検索例 渋谷近辺で店名に「ワイン」を含むお店を10件リストアップします $ curl -XGET "http://localhost:9200/livedoor/restaurants/_search?pretty" -d ' { "query" : { "filtered" : { "query":{ "query_string":{ "query":"name:ワイン" } }, "filter" : { "geo_distance" : { "distance" : "1km", "location" : { "lat" : 35.3924, "lon" : 139.4157 } } } } }, "from" : 0, "size" : 10 }' page 41
- 42. 意外と簡単！ page 42
- 44. Analyzer Kuromojiの利用方法 環境：Elasticsearch 1.0.0 RC2 RPM 注意点 次のような手順でプラグインをインストール indexを作る前に登録する必要がある（既にある場合は作り直し） プラグインを入れた後はelasticsearchを再起動する $ cd /usr/share/elasticsearch $ sudo ./bin/plugin --install elasticsearch/elasticsearch-analysis-kuromoji/2.0.0.RC1 $ sudo /etc/init.d/elasticsearch restart page 44
- 45. Analyzer $ curl -XPUT 'http://localhost:9200/livedoor/' -d' { "index":{ "analysis":{ "tokenizer" : { "kuromoji" : { "type" : "kuromoji_tokenizer", "mode" : "extended" } }, "analyzer" : { "analyzer" : { "type" : "custom", "tokenizer" : "kuromoji" } } } } }' page 45
- 49. Elasticsearch ハマり所 Query DSLは奥が深く実に複雑なため、未だに自在に操れません... mapping定義を更新するためには、index/typeごと消す必要があること 列はinsertAPIやbulkAPIでは自動追加されないため、updateAPIを用いる noSQL的な概念の理解 GROUP BYに相当する機能は無い GitHubの Field Collapsing/Combining · Issue #256 の今後に期待 MySQLでは正規化さえしておけばSQL言語で自在に扱えるが、JOINが 出来ないElasticsearchでは厳しい。そのため、取り出したい形式に合 わせた非正規化データ構造を入念に準備する必要があること page 49
- 50. Elasticsearch ハマり所 noSQL故にJOIN出来ないということは、結果として各typeに同じデータ を複製された状態で持たせることになり、一貫性が失われるという懸念 mappingやデータ登録時の_parentや_childを使うと類似の事は可能 ただし、1:Nとしての紐付け、つまりLEFT JOIN的な事は不可能 こちらのページの「Parent & child」が分かりやすいのでオススメ Fun with elasticsearch's children and nested documents - Space Vatican http://www.spacevatican.org/2012/6/3/fun-with-elasticsearch-schildren-and-nested-documents/ page 50
- 51. 7. まとめ page 51
- 52. まとめ Elasticsearchの手軽さは革命的 ElasticsearchはKibanaの為だけのプロダクトではない Yamabikoを使えば、並行運用しつつスモールスタートが可能 page 52
- 53. お知らせ
- 54. お知らせ
- 58. Air Intern にてオフィス動画を公開中 http://airintern.com/company/detail/livesense LIVESENSE made* にてエンジニア求人掲載中 http://made.livesense.co.jp/