こんにちは。木内です。elasticsearchは分散アーキテクチャで可用性を確保するデータベースです。今回はelasticsearchクラスタでノード障害が起きたときに、どのような挙動を取るかについて解説します。 elasticsearchのプライマリシャードとレプリカシャード elasticsearchのデータを考える際に、キーとなる要素は「プライマリシャード」と「レプリカシャード」です。それぞれ以下のような役割を果たします。 プライマリシャード : ドキュメント（つまりインデックスに保存されるデータのうちの１つ）がelasticsearchに記録されるときに、あらかじめ定義された関数に従い、できるだけ分散されるようにプライマリシャードに配置されます。(elasticsearchクラスタの中に、インデックスごとに作成される)プライマリシャード数のデフォルト値は 5 です。 レプリカシャ

Rails Developers Meetup 2018 (#railsdm) で話した資料です。Railsの話はほとんどなくて、全文検索の仕組みとスコアリングについてのまとめが主です。 Q&Aシステムでの質問もここで回答します。 Q. データの同期はどうされていますか？ 同期はActiveRecordのcallbackでActiveJobに更新jobを投げる形で非同期で行っています。また、データ構造などの更新がある場合にindex再構築するときのためのblue-green deployment用のバッチがあります。 Q. 何かgemを使われていますか？使われているなら、どんな選定理由ですか？ いまはelasticsearch-railsを使っていますが、このエントリの後半にあるような理由で捨てようと思っています。移行先はまだ決めていません。 Q. 辞書を作ったりしていますか？ Amazo

Percolator とは？ろ過器。 その名の通り、雑多な情報の中から欲しい情報だけを拾い(あれば)通知する、といったことができるElasticsearchの機能です。ちょっと変わっているのが、「ドキュメントをさがす」のではなく、「条件(クエリ)をさがす」ところです。 このElasticsearchのPercolatorに関する公式ガイドは何度読んでもなかなか理解できなかったので(私だけかもしれませんが)、概要をまとめてみたいと思います。 〜 MEMO 〜 Elasticsearch 0.9 と1.0以降とでPercolatorの設計が変わったようです。 0.9では、”_percolator”という1つのINDEXの位置づけでしたが、1.0以降は、INDEXの中のTYPEの位置づけになりました。 仕組み標準的な検索では、ドキュメントをINDEXし、条件を指定したクエリを発行して検索しますが

UPDATE: This article refers to our hosted Elasticsearch offering by an older name, Found. Please note that Found is now known as Elastic Cloud. Leader election is one of the most tricky things to do in distributed systems. At same time, understanding how a leader is elected and the responsibilities of the leader is key to understanding a distributed system. IntroductionAll distributed systems have

APIの一覧をまとめた資料が見当たらなかったので、APIでできることを把握できるようにAPIの一覧をまとめてみました。 NOTE: バージョン1.x の本家リファレンスを参考にしています。 Elasticsearch の提供している各種APIは、以下の図のように検索やドキュメントの登録だけではなく、各種設定、モニタリング、メンテナンスの為のAPIまで幅広く提供されています。 Elasticsearch API Over Viewdocument apisドキュメントの追加・更新などのドキュメント操作の為のAPI 【document api】 PUT /{index}/{type}/{id} # ドキュメントの追加更新 POST /{index}/{type} # ドキュメントの追加更新（ID自動生成） GET /{index}/{type}/{id} # ドキュメントの取得 GET /{i

今回、第1回目の Elasticsearch 入門という事で、今回は「インデックスを設計する際に知っておくべき事」というテーマにしてみました。ここでのインデックスの設計とは RDB のデータベースとかテーブル、ビューの設計に当たるところです。 Elasticsearch は RDB など他のデータベスに比べ、その設計方法も結構独特です。（と言うか同じ事を実現するにしても色々な方法が用意されていて、さらにアプリケーション要件〜システムアーキテクチャ、運用面など広い範囲が関わってくる）RDB との比較も交え解説していきます。 Index で分けるか？ Type で分けるか？ 例えば、商品情報を保存するインデックスの設計を考えてみましょう。いわゆるRDBの設計で言うところのテーブル設計ですね。おそらくRDBではアプリケーション要件のみが、その設計の中心になるはずです。例えば、商品名や説明、価格情

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?

概要 Elasticsearch の char_filter のひとつ，icu_normalizer の使い方メモです． オプションの設定方法がよく分からなかったので調べてみました． icu plugin は char_filter 以外にもいろいろ利用可能ですが，ここで扱うのは char_filter だけです． こんなかんじ icu_normalizer を使うと，「㌶」→「ヘクタール」など，いい感じに変換してくれます． ※ 下の画面は，「Å」→「å 」「㌢」→「セ」「ン」「チ」，「①」→「1」，「⑵」→「(」「2」「)」，「Ⅲ」→「i」「i」「i」となっている例です． インストール github: https://github.com/elasticsearch/elasticsearch-analysis-icu バージョンごとにブランチが切られているので，それぞれのブランチの R

こんにちはJapornLady開発者のリヒトです これの続き。 〜宣伝〜 スケーラブルなデータベースが簡単に手に入る時代なのだから、何万人ものユーザを抱える様な大規模なサービスを作って運用してみたいなぁという思いから、熟考した果てのエロサイト ジャポルノレディーズ を作る事を決めました。このページは開発にあたってのTipsとジャポルノレディーズの宣伝です（人気AV女優のフルDVD動画が見れるよ）。 前回の投稿でElasticSearchの簡単なデータの構造を紹介しました。 ジャポルノレディーズでは Index(DB名): okazu、 Type(テーブル名)：actors, actors_detail, moviesなどがあります。 こんな感じでデータ（ドキュメント）が入っています。 Index:okazu, Type:actors_detailには { "_index": "okazu"

第12回Elasticsearch勉強会で使用した資料です。 Elasticsearch2.0の変更点などの紹介をしました。 発表時にはブラウザで表示したMigrationプラグインの画面を追加してあります。

Eureka EngineeringLearn about Eureka’s engineering efforts, product developments and more.

前回の「Logstashを利用したApacheアクセスログのインポート」の続きです。 前回の記事では、Logstashの設定ファイルについて説明しました。 今回は「Elasticsearchに設定するインデックステンプレート」について説明します。 テンプレートの設定 Elasticsearchでは、登録するデータの特性に合わせてMappingを定義する方がデータを効率良く扱うことができる場合があります。 この場合、通常ですと、インデックス作成時にMappingを指定します。 ただ、今回は、インデックス名に「年」を含める形で指定してあります。 「年」はLogstashで処理したデータによって決まります。このため、あらかじめMappingを指定してインデックスを作成するのは難しいです。 このような場合に便利な機能として、「インデックステンプレート」があります。 インデックステンプレートとは 実

完成予定図の赤の点線がElasticsearchのindexとなり、それらは一つ以上のshardによって構成されます。 shardはElasticsearchの土台となる検索エンジンライブラリApache Luceneのindexに等しいです。入力されたデータはshardsにストアされます。ここにもindexという言葉が出てくるので、混乱しないよう気をつけて下さい。 Elasticsearch Indexは複数のLucene indices(shards)の集まりと考えられ、Elasticsearchはnode間にまたがるshardsをElasticsearchのIndexにします。基本的にshardはprimaryとreplicaの２種類に分かれています。RDBでいうmasterとslaveと考えてもらっても構いません。shardsの管理などはここでは深く言及しませんが、shardsはデ

はじめに Elasticsearchのv1.0.0 が無事リリースされ、Aggregations APIの利用が可能になりました。 Elasticsearchはこれまで、検索結果を集約して解析する仕組みとしてFacets APIを提供していましたが、実質SQLのGroup byでのcountに相当する機能しかなかったため、maxやavgといった複雑な条件で集約を行いたい場合、クエリを分けて集約したり解析したりするしかありませんでした。 v1.0.0でAggregations APIが提供されたことで、maxやavgはもちろん、日付でヒストグラムを取得するといった複雑な集約も楽に行えるようになり、SQL型検索エンジンからの置き換えも行いやすくなってきたのではないかと思います。 内容 Aggregationsで何ができるのか、SQLのGroup byとの置き換えを例に検証してみましたので、その

はじめに 藤本です。 気づけば一月も終わりかけていますが、、、2016年一本目です。今年もよろしくお願いします。 チープなタイトルですが、Sense便利です！Elasticsearchを使っていて、Sense使っていない方は是非使ってみてください！以上！ 概要 ElasticsearchのSearch APIの検証やテストデータ投入やその準備などでAPIを実行する時、私はターミナルからcURLコマンドを使って実行していました。簡単なAPIであれば苦ではありませんが、リクエストボディのJSONが長くなったり、似たようなAPIを幾つか流したりする場合、cURLコマンドでは手間です。 そんなElasticsearchへのAPI実行を楽にしてくれる操作ツールのSenseをご紹介します。 Senseとは SenseはElasticsearchを開発しているElastic社が提供するAPI発行するため

Hatena Engineer Seminar #5 での発表スライド

（募集はダミーデータです） （参考: ドキュメント登録の流れについては Elasticsearch 入門 を参照すると良いです。） Analyzer 上記のデータを実際に入れる前に、index の作成と analyzer の設定をします。 以下のコマンドを実行することで analyzer の設定ができます。 下記で説明して行きます。 curl -XPUT 'http://localhost:9200/wantedly-demo' -d \ '{ "settings": { "analysis": { "filter": { "pos_filter": { "type": "kuromoji_part_of_speech", "stoptags": [ "助詞-格助詞-一般", "助詞-終助詞" ] }, "greek_lowercase_filter": { "type": "lowerc

この記事は 「Elasticsearch Advent Calendar 2013」 の 4 日目の記事です、とかしたかったけど Elasticsearch の Advent Calendar はなさそうなので普通に投稿します。 Elasticsearch でクエリを投げるときにお世話になる Query DSL。 とりあえず match クエリ ぐらいは見様見真似で書けていましたが、基本的な構造をちゃんと理解していなかったので調べてみました。 Query DSL って何? クエリとフィルタって何が違うのか? というような基礎的な話を公式ガイドを見ながらまとめました。 英語の理解が怪しかったりするので変なところは公式ガイドの方を見てください。 参照先ドキュメントの Elasticsearch のバージョン Elasticsearch 0.90 のドキュメントを参照してこの記事を書きました。