はじめに 本稿では、とりあえずElasticsearchとkibanaをインストール後、 基本的なAPIをつかって動かしてみます。 Elasticsearchとは 超ざっくり特徴を言うと、 Elastic社が開発している、LuceneベースでOSSの全文検索エンジン RESTでアクセス可能。最近SQLも使えるようになった 検索エンジン界隈では一番人気（らしい） kibanaとは kibana(キバナ)はElasticsearchのデータを分析・可視化するツール kibanaのDevtoolsを使うとElasticsearchのクエリを書くのが少し楽になる 環境 今回使用した動作環境は以下のとおりです。 OS : MacOS X 10.12.4 Java : 1.8.0_121 Elasticsearch＋Kibanaインストール Homebrenwでもインストールできるし、 % brew

どうも！大阪オフィスの西村祐二です。 アクセスログや、さまざまなログをAmazon Elasticsearch Serviceに配信し、Kibanaで可視化するということがよくあると思います。 下記ブログではじめて触ったのですが、すごく使い勝手がよく、使いこなせるようになりたいなと思ったので、 個人的な備忘録も兼ねて、何回かに分けてKibanaの使い方をまとめていきたいと思います。 今回はKibanaを使うための環境準備となります。 (本ブログは2017/12/25時点の内容となります) Lambda関数の実行アクティビティをAmazon Elasticsearch Serviceへ配信してみる – ClassmethodサーバーレスAdvent Calendar 2017 #serverless #adventcalendar #reinvent 環境 サービス：Amazon Elast

Elasticesearchについて何も知らない状態で最新のバージョン5.6を使い出そうとする人向け。 公式ドキュメント 最新版はここ。 2017/11/11現在はバージョン5.6。 チュートリアル・基礎知識系 はじめての Elasticsearch インストールや基本的なREST API操作についての素晴らしいまとめ。 初日はこれを読まずに、curlでAPIを叩いてSAN値の急激な低下により挫折した... とにかくElasticsearchだけじゃなくて、Kibanaも一緒にインストールしてDev Tool画面からAPIを叩いてみるのが初心者ルートだ！ Elasticsearch 日本語全文検索 日本語のデータをつかった簡単なサンプルが紹介されている。 MappingとAnalyzerという概念が重要なことに気づく。 フィールドごとにAnalyzerを変えるという使い方が通常のようだ。

６月２７日にクラスメソッド事業開発部の開発メンバーとベルトラ開発メンバー合同で Elasticsearch 勉強会１/２を開催しました。参加者はリモートも含めて約２５人くらい。時間は２時間。久しぶりに長時間喋ったので疲れました。。たくさんの人が参加すると聞いていたので、この勉強会のために資料まとめたので公開します。 Elasticsearch 勉強会 1/2 前半全文検索エンジンの特徴について話しました。いきなり「転置インデックス」と言われても、ピンと来ないかもしれませんが。全文検索エンジンの設計を担当する人も、それを使ってアプリケーションを開発する人もこの仕組みを知らなければ Elasticsearch のリファレンスで提供されている機能を見てもピンと来ません。「この機能何に使うんだろう？」となってしまいます。世の中にある全文検索エンジンに標準規格というものは存在しませんが、その仕組みは

こんにちは。ホリデー株式会社の内藤です。 ホリデー株式会社では Holiday（https://haveagood.holiday） という新規サービスの開発・運営を行っています。*1 以前投稿した記事でご紹介したように、Holiday では全文検索エンジンとして Elasticsearch を利用しています。 Ruby on Rails で構築されたアプリケーションから Elasticsearch を操作するには、公式 gem である elasticsearch-rails を使うのがとても便利です。 もちろん、Holiday でも活用させてもらっています。 大方の機能についてはこの gem で提供されるもので満足だったのですが、一点だけ、Holiday の運用をしている中で困ることがありました。 それが、サービス公開後のインデックスの再構築です。 elasticsearch-rails

こんにちは、藤本です。 現地時間10/26に Elastic Stack 5.0.0 の GA がリリースされました。Beta 1 が一ヶ月ちょっと前、rc 1 が20日弱前とまだまだ rc のバージョンを積み重ねて来るかと思ったらもう GA リリースです！早い！ 細かい機能の検証はおいおいやるとして、今回は Elastic Stack 5.0.0 の全体的なアップデート情報、および機能単位の情報で得ることができるリンクを集めてみました。Elastic Stack 5.0.0 のアップデートを追っていなかった人の参考になると幸いです。 Elastic Stack 5.0.0 まずはElastic Stack 5.0.0の全体的な大きなアップデートをサラッと拾い上げたいのであれば以下のURLが参考になります。 公式ブログ（日本語） Elastic Stack 5.0.0 GA リリース ht

Google に代表される「キーワードサジェスト」機能を Elasticsearch を前提に日本語向けに設計。 よくある要件サイト内で過去に検索された有効なキーワードをサジェストしたい。入力されたテキストに関連性が高く、過去に検索された回数の多い順でサジェストしたい。最初に入力された言葉の後に空白を入力すると、最初の言葉と一緒に検索される複合語の候補サジェストしたい比較的シンプルな要件のように見えますが。。日本語を対象にしたサジェスト機能を実装する場合、入力途中の日本語のテキスト受けながら、ひらがな、カタカナ（半角・全角）、漢字、ローマ字（大文字・小文字・全角・半角）のコンビネーションを合わせて、関連性の高い言葉を素早くユーザーに提案しなければなりません。以外と難しいのです。。 Elasticsearch にも Completion Suggester と言うサジェスト向けの機能があるの

Elasticsearch クエリーのデフォルトのオペレーターは OR です。これ自体は問題ないのですが、このORが適用されるタイミングがとても違和感 … 。 どうやら、リクエストする単語が１単語でもアナライザーで解析され、分割された最小単語単位でORで検索されるみたい！ どういう事かと言うと、キーワード：「東京都」 で検索した場合、アナライズ後、「東京」 と 「都」 の２単語にトークナイズされ、検索は 「東京 OR 都」で検索される動きをしているようです。 もちろんこの場合、「東京都」を含んでいるドキュメントもマッチしますが、「東京」だけ、「都」だけ、または、「東京 … 都」「都 … 東京」などの単語が離れているドキュメントにもマッチする可能性があります。 ネットを調べてもあまり見当たらず、みんなどうしているんだろう？当たり前の仕様なのか？この動き違和感ありありです。 デフォルトの仕様を

初めてElasticsearchのクエリをビルドしたのでいろいろハマりました。SQLの世界観とちょっと違っていて、なれるまで時間がかかると思います。でも、なれたら複雑な検索条件をSQLより簡単に書けるかも知れません。 では、Elasticsearchの基礎クエリの一つ、Bool Queryを解説してみます。 Bool Queryについて Elasticsearch 2.0からandクエリとorクエリは全部非推奨になり、その代わりにboolクエリの方が推奨されます。Boolクエリは複数のクエリを組み合わせる（つまりAND、OR、NOTで結合）のに使います。 Boolクエリは４種類があります：must、 filter、 should、 must_notです。 クエリ 説明

本連載は、対話インターフェースを利用して新しい形の検索システムを体験してもらうことを目的としています。今回は日本語検索システムでよく用いられるElasticsearchを紹介します。Elasticsearchは大規模なデータに対しても適用可能な検索機能を提供している全文検索エンジンです。特徴としてスケーラブル、検索速度の速さ、検索結果の分析のしやすさ、開発者にとって使いやすいRESTfulなAPIが挙げられます。今回の記事はElasticsearchを用いた日本語検索システムの仕組みから設定の部分までを記述し、次回の記事で実際に動作させてもらいます。 本連載の内容 本連載で紹介予定の内容は次のとおりです。 Step1：Elasticsearchを用いた日本語検索システム 対話型の検索システムを作成するためのStep1として、Elasticsearchを用いた日本語検索システムの構築方法を紹

RailsでElasticsearchを使ってレストラン検索アプリを作成、店名、住所、カテゴリなどからレストランを全文検索できるようにします。また、フィルタ(filter)も使って検索条件を指定することで、閉店している店舗も含めて検索できるようにします。 今後、Elasticsearchのページネーション・ページあたりの表示件数、ソート、ファセット・post_filter、ハイライト、サジェスト機能などをより実践的な機能を実装していきます。 目次 ElasticsearchのMacへのインストール Railsプロジェクト作成とテストデータ作成 RailsとElasticsearchで全文検索を実装 検索条件を指定する 動作確認 Mac OS X 10.11 El Capitan elasticsearch 1.7.2 Rails 4.2.3 elasticsearch-dsl 0.1.2

Elasticsearch では、すでに日本語で全文検索する為のトークナイザーやノーマライズなどの加工処理で使用するフィルターなどがビルトインまたは、サードパーティ製のプラグインとして多数存在します。 ここでは、日本語全文検索で使用しそうなトークナイザーやフィルターなどを説明します。 主要モジュールNGram Tokenizer N-グラムを提供するトークナイザーです。Elasticsearch にバンドルされています。Japanese (kuromoji) Analysis for Elasticsearch 日本語形態素解析を提供するプラグインです。各種 Analyzer、Tokenizer、TokenFilterが含まれます。cjk_width Token Filter 半角・全角などを統一するためのフィルターです。Elasticsearch にバンドルされています。Lowercas

RailsでElasticsearchを使って簡単な全文検索 ページネーション・１ページあたりの表示件数 ソート機能 アグリゲーション（ファセット）と Post Filter とRailsでElasticsearchを使って検索機能を実装してきました。 今回は、「Elasticsearchのハイライト機能」について簡単に説明します。 参考までに、ソースコードはこちらです。elasticsearch_test - GitHub 目次 ハイライト機能を実装 動作確認 Mac OS X 10.11 El Capitan elasticsearch 1.7.2 Rails 4.2.3 elasticsearch-dsl 0.1.2 elasticsearch-model 0.1.8 elasticsearch-rails 0.1.8 1. ハイライト機能を実装次のようにハイライト機能を実装します。

概要 Elasticsearchでアナライザを設定する方法です。 N-gramや形態素解析などありますが、今回は単に設定する方法だけを紹介します。設定方法は主に以下の３通りがあります。 configで設定する インデクス全体に設定する 各フィールド個別に設定する これらを順に説明していきます。 環境 Ubuntu 14.04 Elasticsearch 1.4.2 事前知識 アナライザの構成要素 アナライザは次のように構成されています。 ref: Writing analyzers | Elasticsearch.Net and NEST: the .NET clients [2.x] | Elastic 要素 説明 例 順番 個数 Char Filter 文字レベルの前処理 Unicode正規化 HTMLエンティティの除去: & を & に変換する 1 0~n Tokenizer テキス

ども、@kimihomです。 今回は Elasticsearch の Query と Filter について自分の理解した範囲で書いてみることにする。 クエリ と フィルタ の違い 本家の英語ドキュメントを読むと、以下のように書かれている。 As a general rule, use query clauses for full-text search or for any condition that should affect the relevance score, and use filter clauses for everything else. 軽く訳すと、一般的なルールとして、フルテキスト検索か関連するスコアに影響する条件があるときは クエリ を使い、それ以外はフィルタを使う。 とある。どの程度、検索結果に関連性が高いかを示すスコアが大事な時は query を使うという感

以前少しだけElasticsearchを触った時に、自分流Elasticsearch入門 - $shibayu36->blog; というElasticsearchに入門した時のメモをまとめていた。しかし、その頃はElasticsearchを使って完全に一人で一つの機能を作るというところまではいけなかった。 最近になってまたElasticsearchを一から導入する仕事をすることになった。この時以前自分がまとめた記事を読みながらやっていたのだが、実践で一から導入するためにはこの記事だけでは知識が足りなかった。 そこで、前の記事の知識をベースに、一から導入するために少しずつ学んでいき、自分のブログにまとめるなどのことをしてきたので、今回はその締めくくりとして、知識ゼロからElasticsearchを使えるようになるために学習したことについて書いておきたいと思う。 今回書くこと・書かないこと 今

Elasticsearch導入前に気を付けておきたいこと はじめに Elasticsearchを仕事で使うことになったので導入前に考えるであろうことを調査・検証し、まとめてみました。 記載されている内容はほぼ公式ドキュメントから引っ張ってきています。それぞれの章にリンクを付けてありますので、記載されていること以外に気になる部分があればそちらを参照されるとよいと思います。 インストールについて ここで設定している内容はすべてansibleのスクリプトに落としてあります。 5分あればcurl,javaのインストール、Elasticsearchのインストール・初期設定、プラグインのインストールが終わるはずです。 https://github.com/uzresk/ansible-elasticsearch2 環境 CentOS6.7 Java1.8.0_45 Elasticsearch 2.1.

gem elasticsearch-ruby前提として、ubuntu serever 14.04にelasticsearchがインストール済みの環境とします. elasticsearch-rubyはRubyでElasticsearchを使うことができるgem. elastic/elasticsearch-ruby その他に、railsから使うことを想定したelasticsearch-railsやrailsのモデルと容易にインテグレートできるsearchkickといったgemがある. elasticsearch-rubyは、elasticsearch-apiとelasticsearch-transportとに分けられる. elasticsearch-apiはElasticsearchのREST APIを操作でき、elasticsearch-transportはclusterに接続することがで