全文検索は一般的に知られていますが、検索エクスペリエンスで非常に重要な役割を果たしています。ただし、日本語など、一部の言語では、全文検索を実装するのが難しい場合があります。このブログでは、日本語で全文検索を実装する際の課題を探り、Elasticsearchでこれらの課題を解決する方法をいくつか示します。 全文検索とは？ Wikipediaより、下記が定義となります。 全文検索とは、コンピュータにおいて、複数の文書（ファイル）から特定の文字列を検索すること。「ファイル名検索」や「単一ファイル内の文字列検索」と異なり、「複数文書にまたがって、文書に含まれる全文を対象とした検索」という意味で使用される。 全文検索は、現在多くのデジタル体験を強化するものです。全文検索は、データセット内に隠れている可能性のある単語やフレーズを見つけようとしてくれます。例えば、ネットショッピングして「phone」を検

オープンソースのパフォーマンス監視ツールであるstagemonitorのプロジェクトマネージャーとして、優れてはいるものの経年劣化してきたGraphiteの時系列データベース(TSDB)に取って代わるバックエンドのデータベースを模索していました。TSDBとは、アプリの応答時間やサーバーのCPU使用率といった(パフォーマンス)指標データを保存する専用パッケージです。弊社では最終的に、簡単にインストールでき、スケーラブルで、さまざまな機能を備え、指標の視覚化もサポートするデータストアを探すことにしました。 Elasticsearchは以前に使ったことがあったため、簡単にインストールでき、スケーラブルで、多くのアグリゲーション機能を備えていることは知っていましたし、Kibanaにすばらしい視覚化ツールがあることも分かっていました。けれども、時系列データに向いているかどうかは不明でした。 こうした

今回は「ドキュメント管理は意外と高度なことができる」というテーマで、そのドキュメントを追加・更新・削除する操作について解説します。 きっと、他の検索エンジンと比べ、その高機能ぶりに驚くはずです。 直感的に分かりやす API Elasticsearch は検索をはじめ、各種設定やサーバの状態取得など、ほとんどの操作を API として提供しています。もちろんドキュメントの追加・参照・更新・削除の API も提供していて、その仕様はとてもシンプルで直感的に使いこなすことができます。 ドキュメントをあらわす URL スキーマは以下のようになっています。 /{index}/{type}/{id} 基本的には、各種ドキュメントのエンドポイントに対して、GET PUT POST DELETE HEAD メソッドで追加・更新・削除などの操作が可能です。 例えば、posts というタイプを持つ blog イ

前回は3番煎じぐらいでしたが、今回は初記事かな？（だといいな） Kibanaには、前回の記事で書いたものとは別に開発中のKibana3というのが存在します。 Kibana3って？ Kibana2はRubyで書かれていましたが、Kibana3はHTML＋JavaScriptで構成されています。 ですので、ApacheなどのWebサーバに配置することで、利用が可能となります。 ただ、HTML＋JavaScriptのため、ブラウザ上で動作するためブラウザが動作するマシンからElasticSearch（通常だとhttp://マシン名orIPアドレス:9200/とか）にアクセスできなければいけないという制限があります。 この条件さえクリア出来れば、Kibana3ではKibana2よりも様々なパネルが用意されていて、色々できそうなのでお勧めです。 インストール ElasticSearchやログについて

KWSTAFF BLOG. Our thoughts about design & technology. by Knowledge Works, Inc. This is us … :) ナレッジワークス スタッフ紹介 ここ数年、海外を中心にオープンソースのサーチエンジン ElasticSearch の人気が高まっています。Solr と比較してもその人気は追いつく勢いです。 Solr vs ElasticSearch (Google トレンド) 海外での利用事例海外での利用事例をみると、foursquare や soundcloud、github など有名なサービスで利用されています。 Elasticsearch とはひと言で言うと、マルチテナント、スキーマレスでクラウドに最適化された Lucene ベースのサーチエンジン サーバーです。 Restfull APIElasticSearc

0. ログやデータを取得した後は？ ログやデータの分析には、様々なアプローチが考えられるが、Apache Solrやelasticsearchといった全文検索エンジン製品にデータを蓄積し、その機能を用いて検索・集計・分析を行う方法がある。その際、データをそのまま蓄積するのではなく、各ツイート・各行に属性を付与（エンリッチメント）することにより、分析の幅は大きく広がる。 全文検索エンジンへのデータの投入では、Flume-ngやfluentdといったデータ収集製品を利用する実例が多い。しかし、リアルタイムにデータに対してエンリッチメントの前処理を行おうとした場合、処理が複雑になるにつれ、単体サーバーで動作するFlume-ngやfluentdでは処理能力が頭打ちになってくる。そこで、登場するのが、リアルタイムに大量のデータを処理することができるストリーミング処理系のビッグデータ関連技術である。

FacebookやLinkedIn、GitHubといった著名企業が導入し、開発会社が昨年7000万ドルの資金調達をしたことでも注目を集めているオープンソースの全文検索エンジン「Elasticsearch（エラスティックサーチ）」。このソリューションの魅力はどこにあり、どこを目指しているのか。7月末に来日したElasticsearch社CTOのシャイ・バノン（Shay Banon）氏に、国内でElasticsearchを本格的に活用した求人検索エンジン「スタンバイ」を展開しているビズリーチCTO 竹内真氏とともにインタビューした内容をお伝えする。 ビズリーチ 取締役CTO 竹内真氏（左）と、Elasticsearch社CTO シャイ・バノン氏（右） 必要なのは、ユーザーが欲しいデータをもっと簡単に取り出せること ――Elasticsearchという製品の特徴を教えてください。 シャイ・バノン

Kibanaとは ElasticSearch社が提供している、ログデータの可視化ツール。Apatchなどのシステムログを用いる例ばっかりWeb上で見つかるが、別に検索のクエリログやWebサイトの行動ログだってちゃんと入れて設定すれば使える。 Kibanaのインストール ElasticSearchのプラグインとしてインストール (現在はkibana3としなくても、Kibana3が標準でインストールされる。package.jsonみたら3.0.0pre-milestone5バージョンがインストールされていた。) とりあえずここまででKibanaを見てみる http://localhost:9200/_plugin/kibana にアクセス 何かバージョンが古いよみたいなこと言われるけど、気にしないで使える。 こうすると、Elasticsearch自身のログを使ってサンプルダッシュボードを表示し

<span title='2015-12-17 00:00:00 +0000 UTC'>December 17, 2015</span>&nbsp;·&nbsp;3 min&nbsp;·&nbsp;Yoichi Kawasaki | Suggest Changes これはElasticsearch Advent Calendar 2015の17日目のエントリー ARMテンプレートと呼ばれるデプロイ手法を使ってAzure上にElasticsearchクラスタをさくっと構築する方法についてのお話で、主にAzure界隈のElasticsearchユーザ向けの内容となっている。タイトルにある3分でというのは実際に計ったわけではないがそれくらい簡単且つ短時間でできることを強調したく使わせていただいている・・・ということを前もって補足しておく（汗）。 ARMテンプレートとは？#ARMテンプレートの前に

IDCFクラウド上に Elasticsearch 2.0 + kibana 4を構築して 可視化して遊んでみます。 IDCFクラウドのS2 CentOS6.5です。 各種インストール Elasticsearch は java で動くので java をインストール # Install Java sudo yum install -y java-1.8.0-openjdk # Install Setting Elasticsearch 2.0 sudo rpm --import https://packages.elastic.co/GPG-KEY-elasticsearch vim /etc/yum.repos.d/elasticsearch.repo elasticsearch.repo に以下の記述をします。 [elasticsearch-2.0] name=Elasticsearch

【2016/09/10追記】 勉強しなおして、Elasticsearchの知識についてさらにまとめた記事を書いたので、そちらを参照してもらうと良さそうです。 blog.shibayu36.org 最近Elasticsearchの勉強をした。ただ、入門のためどのような資料が適しているかを知るのが大変だった。そこでどのように勉強したかについてメモをしておく。少しまとめエントリー的なノリになりそう。 Elasticsearchの概念を知る 全文検索技術の基本を知る Elasticsearchのドキュメントのたどり方を知る の順に学習を進めていった。 Elasticsearchの概念を知る Elasticsearchの学習を始めようとした時に、まずは基本からということで以下の本を読んでいた。 高速スケーラブル検索エンジン　ElasticSearch Server (アスキー書籍) 作者:Ｒａｆａｌ

この記事には最新版があります Elasticsearch2.1.1とKibana4.3.1の環境をVagrantコマンド一発で構築する まえがき Elasticsearch Advent Calendar 2日目の記事です。 今思えば、実案件に投入したこともないのに参加してしまったなぁと内心ビビっているのですが、このAdvent CalendarをきっかけにElasticsearchやKibanaを触ってみようと思った方が、ストレスなくElasticsearchを体験できるような記事を書ければと思います。 環境構築の方法 今回の記事では2通りの環境構築について紹介します。ひとつはVagrantを使用する例、もう一つはAnsibleを使用する例となります。 事前準備 Vagrant、Ansibleのどちらを使うにしても、この記事向けに作成したGitリポジトリーをcloneする必要があります。

セコン (id:secondlife, @hotchpotch) です。ウェブサービスにはよく「このエントリーに関連するブログ記事」や「このレシピに関連するレシピ」という機能が実現されてますよね。さて、この機能はどのように実現すれば良いでしょうか。例えば tf-idf で単語の類似度を求め…といった実装が必要になり、いささか面倒です。 しかしながら Elasticsearch や Solr *1を使うと手軽に実現できます。例えば、クックパッドニュースの記事では Solr を使い「この記事を読んだ人におすすめ」の機能に、最近クックパッドにジョインしたインドネシアの会社の DapurMasak では Elasticsearch を使い「Resep serupa(関連レシピ)」の機能で利用しています。 クックパッドニュースでのこの記事を読んだ人におすすめ DapurMasak での関連レシピ 使

高速スケーラブル検索エンジン　ElasticSearch Server (アスキー書籍) 作者: Ｒａｆａｌ　Ｋｕｃ　（ｌにストローク符号、ｃにアクサン・テギュ付く）,Ｍａｒｅｋ　Ｒｏｇｏｚｉｎｓｋｉ　（ｎにアクサン・テギュ付く）出版社/メーカー: KADOKAWA / アスキー・メディアワークス発売日: 2014/03/25メディア: Kindle版この商品を含むブログを見る 高速スケーラブル検索エンジン ElasticSearch Server という本を読んだ。読んだ理由は、タイミングが良かったから。効率的に学ぶのに丁度いい時機というものがあると思う。何かを学ぶのには動機と情報源が必要。動機が無ければ勉学は長続きしないし、無理矢理覚えようとしても楽しくない。Elasticsearchに対しては何か面白そうという気持ちを最近少しだけ感じていて、こういう気持ちが湧くのは貴重なことだから大

目的 検索用サーバーとして最近注目されているElasticsearchですが、ついに1.0 RC1がリリースされたそうです。 Googleトレンドを見ても、この分野で先行するApache Solrに迫る勢いを感じます。 そういうわけで私もElasticsearchについて興味を持って調べてみましたが情報がちょっと少ないですね… 「調べたけど断片的な情報しかない」 「公式doc英語だし、専門用語が多すぎてわからん」 「え、できること多すぎ。よくわからん。どれが重要？」 と言った感じで、最初ちょっと大変… そこで調べ始める人が、概観をつかむためのチュートリアルをつくろうと思います。 コマンドを全部実行する必要ありません。用語をおさえることで調べものが捗ることがひとつのゴールです。 自分の理解の整理も兼ねています。間違ってる箇所あったら教えて下さい。 part 1:ESを使ってレストラン検索を作

Qiita is a knowledge sharing service for engineers. You can follow users and tagsYou can stock useful informationYou can make edit suggestions for articlesFunctions that can be used after logging in