1:n のドキュメントの 検索で試行錯誤した話 @kaiba

NewRelic / Elasticsearch ではじめるSREに必要な性能監視入門 https://supporterzcolab.com/event/177/ にて話した資料です！

Elasticsearchでエイリアスの作成の方法です。 基本的にサービス提供で利用する場合にはElasticsearchではエイリアスを作成しての運用が向いています。 indexを時間などをつけたもので作成し、indexを変更する際にはエイリアスを切り替えるなどの運用面でのメリットは大きいです。 indexの再作成なども運用を行なっていると発生するのでそちらも向いています。 テストなどの時にも便利ですよね。 それでは実際に作成しています。 エイリアスの確認 ますエイリアスの確認を行います。 「index1_v1」と「index2_v1」というindexがあるだけの状態です。 $ curl -XGET 'localhost:9200/*/_alias?pretty=true' { "index1_v1" : { "aliases" : { } }, "index2_v1" : { "ali

こんにちは。 エンジニアの伊藤です。 11/18に開催された第7回Elasticsearch勉強会にて「niconicoの検索を支えるElasticsearch」と題して、niconicoでのElasticsearchの運用事例について発表してきました。 発表の機会を与えてくださった@johtaniさん、スタッフの皆さん、ありがとうございました。 (この投稿は報告が遅くなっただけで、アドベントカレンダーネタではありません...) 使用したスライドがコチラになります。 https://speakerdeck.com/shoito/niconico-elasticsearch 講演では、まずElasticsearchを使った検索基盤を作った背景、 次に、なぜElasticsearchを使うことにしたのか？ そして、どう使っているのか？どう運用しているのか？ 最後に、良く参考にしているElast

_reindexと_update_by_queryが、Elasticsearch 2.3.0と5.0.0-alpha1に登場しました! _reindexは、ドキュメントをひとつのindexから読み込み、他のindexに書き込みます。これにより、ドキュメントをあるindexから他のindexにコピーしたり、あらたな情報をfieldとして加えたり、index作成時に決められた設定を、indexの再作成により変更できます。 _update_by_queryは、ドキュメントをひとつのindexから読み取り、同じindexに書き戻します。これにより多くのドキュメントに含まれるfieldの更新や、mappingの変更をオンラインで行えます。 _reindex はドキュメントをコピーこの_reindex APIは、ドキュメントをあるindexから他にコピーするだけの便利な機能です。他にできることは全て副

Author：Makito HP:Walker Industries LCC 過去にデータ登録をcurl -XPUTなどで入れていたと思いますが、一括で入れる手法をやります。（シンプルに） Bulk APIを使う理由Bulk API create/index, delete, updateのアクションを一括してまとめてElasticsearchへ送信する仕組み １度のリクエストで、複数のドキュメントに対する追加・更新・削除をが可能 大量のデータを追加・更新・削除する場合は、この Bulk API を使用したほうがパフォーマンスが良い How big is Too big? Google先生に訳してもらうと バルク要求全体が、要求を受信したノードによってメモリにロードされる必要があるため、要求が大きければ大きいほど、他の要求に使用できるメモリは少なくなります。バルクリクエストの最適なサイズが

こんにちは。ZOZOテクノロジーズZOZOTOWN部 検索チーム 兼 ECプラットフォーム部 検索基盤チームの有村です。 ZOZOTOWNでは、以前からキーワード検索時にはRDBと併用してElasticsearchを使用していました。本記事ではこれまでRDBで行っていたIDによる索引検索も含め、すべての検索をElasticsearchへ置き換えた事例と、その際に行った設定内容の一部をご紹介します。 背景 弊社CTOによるこちらの記事にもある通り、ZOZOTOWNでは現在マイクロサービス化を進めており検索システムについてもその対象となっています。検索の文脈では、全文検索/サジェスト/ロギング等関連する様々な課題への解決策として有効であるElasticsearchを採用しマイクロサービス化を進めています。 また、もう1つの背景として検索のパーソナライズ化があります。これまでZOZOTOWNでは

Elasticsearchに実際に書き込む系のテスト，どうやってもindexの反映のために1000ms待つことになるためテストケースを書けば書くほど線形にテスト時間が増えてゆき頭を抱えている— 好評分譲中 (@moznion) 2018年10月11日 Elasticsearchに実際に書き込む系のテストをするとき，例えば「fixtureを作ってindexしてクエリ打ってちゃんと結果が取れるかどうか」みたいなことをやると思うんですが，fixtureをindexする際にそのデータがindexに反映されるまでにrefresh_intervalぶんの時間がかかってつらい！！！　というときにどうするかという話です． Plan A. refresh_interval をめっちゃ短くする 要はrefresh_intervalがめっちゃ短ければ解決する（こともある）話なのでそれをやるという方法．上記のtw

Elasticsearch is near-realtime, in the sense that when you index a document, you need to wait for the next refresh for that document to appear in a search. Refreshing is an expensive operation and that is why by default it’s made at a regular interval, instead of after each indexing operation. This interval is defined by the index.refresh_interval setting, which can go either in Elasticsearch’s co

こんにちは、スタメンのエンジニア、津田です。以前、弊ブログでも「TUNAGの全文検索を支える Elasticsearch × Rails」として紹介させていただいたように、TUNAGでは検索機能の実装にElasticsearchを利用しています。検索クエリとしては主にMulti Matchを利用しているのですが、RDBに登録されているレコードを利用しやすい形でElasticsearchのドキュメント化する方法について試行錯誤したため、共有させていただきます。 TL;DR (概要) Elasticseachでは、Multi Match Queryを使って、複数のフィールドを検索対象とするクエリを発行できます。検索時に対象とするフィールドを指定することができるため、一つのインデックスを、検索対象フィールドの異なる複数の用途で共用することができます。ただし、一つのインデックスに含められるフィール

Solr というか Lucene には Sloppy Phrase Search (Proximity Search) という機能があります。 "foo bar" で検索すると "foo bar" というフレーズの存在するドキュメントしかヒットしませんが、"foo bar"~n だと foo と bar の間に n 単語存在していてもヒットします。この n の値が slop と呼ばれるものです。例えば n = 1 であれば "foo bar"~1 で "foo baz bar" というフレーズの存在する文書もヒットします。 % # "foo baz bar" を追加 % curl -d '[{"id":1, "name_t":"foo baz bar"}]' 'http://localhost:8983/solr/test/update?commit=true' % # "foo bar"

リインデックスってどうやるんだろう？と思い調べていたところ、エイリアスの方が気になってしまったので先にまとめ。 インデックス・エイリアスとは？インデックス・エイリアスはその名の通りインデックスに別名をつけられる機能のこと、同じエイリアス名を複数のインデックスにつけることもできるし、１つのインデックスに複数のエイリアス名をつけることもできます。FAST ESP のサーチプロファイルっぽい！または、リレーショナルDBのビューみたい！なイメージの機能です。 実際の設定は、各インデックスに対してエイリアス名を設定するのですが、理解するイメージは下の図の方がイメージしやすいかと思います。 インデックス・エイリアスエイリアスを使わない場合は、直接インデックスを指定して検索するわけですが、クライアントからエイリアス宛に検索するようにすることで、検索対象のインデックスをElasticsearch側でコント

Amazon Elasticsearch Service の Kibana に Cognito を使って、ログイン機能を追加できるようになりました。しかも設定も非常に簡単。設定方法をご紹介します。 すごく嬉しいアップデートが来ました！ Announcement: Amazon Elasticsearch Service Simplifies User Authentication and Access for Kibana with Amazon Cognito 概要 Amazon Elasticsearch Service は Elasticsearch、Kibana の AWSマネージドサービスです。クラスタ・ノードを AWS が運用・管理してくれ、数クリックで Elasticsearch、Kibana のクラスタをプロビジョニングでき、ノードで障害が発生すればユーザーは何もしなくても

はじめに 最近、仕事で Amazon Elasticsearch Service（以下、Amazon ES）を本格的に使う機会があって、認証周りの仕様で苦労させられました。 Elasticsearch を本格的に使う人は、自分で Elasticsearch クラスタを立てたり、Elastic Cloud を使ったりしてしまうからか、Amazon ES 周りの情報は意外と見つかりませんでした。せっかくなので、今回の記事では、自分が Amazon ES を使うにあたって調べた情報をまとめてみます。 はじめに いろいろな Elasticsearch Amazon ES の基本 Amazon ES が提供する認証・認可 パブリックアクセスの場合 VPC アクセスの場合 IP アドレス以外の認証・認可方法は AWS 署名しかない Elasticsearch API へのリクエストを AWS 署名する

こんにちは、オウチーノの山本です。この記事はくふうカンパニー Advent Calendar 2018の17日目として書いています。 はじめに 以前の記事 （ 漸進的なシステムリプレイス（STTMeetup システムリプレイスNight））内の資料でも触れているのですが、オウチーノでは物件の検索にElasticsearchを、Elasticsearchへの登録には、Embulkを使用しています。 このElasticsearchに登録している物件の情報ですが、階層構造を持つ必要があるので、現在は Nested datatype を使用しています。 # Embulkのconfigから一部抜粋 estate: _all: enabled: false dynamic: false properties: estate_id: type: keyword traffics: type: neste

今回は少し、思考を変えてシステムを開発する際にどんなところで Elasticsearch を使えるのか？という視点で説明したいと思います。 最近のシステムの特徴 最近のシステムは、ビッグデータの重要性の認知、ソーシャルデータの活用など、１つのシステムでも様々な種類のデータを管理し活用するようになってきました。また、クラウドサービスやオープンソースが当たり前に使われるようになり、データを管理し活用するためのシステムやサービスも様々な選択肢があります。 そのため、最近のシステムではデータの利用目的によってデータストアを使い分けることが多くあります。 例えば、商品情報など構造化されたデータは、ビジネス要件を満たすためにデータを矛盾なく永続化する必要があるため、MySQL などのリレーショナル・データベースに保存されます。 また、更新や参照トラフィックが多くデータ数も多いゲームやモバイルアプリケー

今回は「ドキュメント管理は意外と高度なことができる」というテーマで、そのドキュメントを追加・更新・削除する操作について解説します。 きっと、他の検索エンジンと比べ、その高機能ぶりに驚くはずです。 直感的に分かりやす API Elasticsearch は検索をはじめ、各種設定やサーバの状態取得など、ほとんどの操作を API として提供しています。もちろんドキュメントの追加・参照・更新・削除の API も提供していて、その仕様はとてもシンプルで直感的に使いこなすことができます。 ドキュメントをあらわす URL スキーマは以下のようになっています。 /{index}/{type}/{id} 基本的には、各種ドキュメントのエンドポイントに対して、GET PUT POST DELETE HEAD メソッドで追加・更新・削除などの操作が可能です。 例えば、posts というタイプを持つ blog イ

みなさんこんにちは。フジサワです。前回の記事でお伝えしていたElasticsearchの検証がひと段落しましたので、検証結果をレポートいたします。 連載目次 『全文検索 〜 Elasticsearchとデータ匿名化手法』 『全文検索の探求 Elasticsearch(1) 』: プロジェクト方針およびElasticsearch概要 大量データを検索するサービスでElasticsearchはRDBの代替候補になりうるか？(Elasticsearch vs pg_bigm)』 ←今読んでいる記事 データ匿名化 第1回：匿名化された個人情報とは何なのか データ匿名化 第2回：個人情報は匿名化しても意味がないのではないか？ データ匿名化 第3回：個人情報を匿名化するプロセス データ匿名化 第4回：匿名化のために行うデータ項目の一般化とは データ匿名化 第5回：データ匿名化の指標 データ匿名化 第6