こんにちは、ホリデー株式会社の内藤です。Holiday ( https://haveagood.holiday/ ) というサービスの開発を行っています。 先日開催した Cookpad TechConf 2016 では、『おでかけスポット検索のむずかしさ - Holiday を支える検索技術』という題で発表を行いました。 おでかけスポット検索のむずかしさ - Holidayを支える検索技術 from Yusuke Naito www.slideshare.net この発表では、 おでかけスポットの検索では、全文検索だけでは満足のいく結果は得られない 地理空間検索に拡張することでよりよい検索体験を作ることが可能 これを実現するための Elasticsearch の機能を紹介 というような内容を紹介しました。 例えば、我々が「中目黒」を思い浮かべた時にイメージするエリア内の住所には、「中目黒」

今回、第1回目の Elasticsearch 入門という事で、今回は「インデックスを設計する際に知っておくべき事」というテーマにしてみました。ここでのインデックスの設計とは RDB のデータベースとかテーブル、ビューの設計に当たるところです。 Elasticsearch は RDB など他のデータベスに比べ、その設計方法も結構独特です。（と言うか同じ事を実現するにしても色々な方法が用意されていて、さらにアプリケーション要件〜システムアーキテクチャ、運用面など広い範囲が関わってくる）RDB との比較も交え解説していきます。 Index で分けるか？ Type で分けるか？ 例えば、商品情報を保存するインデックスの設計を考えてみましょう。いわゆるRDBの設計で言うところのテーブル設計ですね。おそらくRDBではアプリケーション要件のみが、その設計の中心になるはずです。例えば、商品名や説明、価格情

Solutions All end-to-end solutions Opinionated solutions that help you get there easier and faster

これまでの自分のElasticsearch関連の記事では"request_time"という 独自に定義したラベルを用いて登録を行っていました。 一方、fluentdは"time"というラベルを用いるとログの時刻をfluentd内で扱うイベントタイムとみなします。 "time"とした場合と、それ以外でfluentd-plugin-elasticsearchの動作に 違いが見られたのでメモしておきます。 ところで"request_time"としたのには理由があったのですが、 その理由は本筋ではないので最後に書くことにします。 ①ログ時刻を通常のラベルを用いて登録する場合 この場合はラベル名を"time"以外にしてパースします。 つまりこれまでの場合は"request_time"としていました。 この時点では他の項目と同じJSON(MessagePack)の一項目なので文字列です。 そしてそのラ

たとえば、inputに「stdin」、outputに「file」というプラグインを使用すれば、標準入力からイベントを受け取り、それをファイルに出力することが可能となる。そしてLogstashが注目されている理由の1つのが、出力先として「Elasticsearch」が利用できる点だ。 検索機能に優れた分散型データベース「Elasticsearch」 Elasticsearchはオープンソースで開発されている分散型データベースシステムだ（図2）。「Elastic」という名前のため勘違いされやすいが、米Amazonが提供しているクラウドサービス「Amazon Elastic Compute Cloud（EC2）」とは無関係だ。 図2 ElasticsearchのWebサイト ElasticsearchはJavaで実装されており、またデータ検索エンジンとして「Lucene」が組み込まれているのが特

平和より自由より正しさより♪（Beyond The Time/TM Network より）… JMeter より ab より httperf より…のかっぱ (@inokara)です。 はじめに JMeter よりもお手軽な Web 負荷テストツールを模索していて Siege があったのを思い出しました。 docker + elasticsearch + kibana + siege でお手軽に web サイトのレスポンスタイムを可視化する試み fluentd + elasticsearch + kibana + siege でお手軽に web サイトのレスポンスタイムを可視化する試み fluentd + Elasticsearch + kibana + siege でお手軽に web サイトのレスポンスタイムを可視化する試み（2） これらを書いた時にはあまり Siege のことには触れて

概要 nginx のログを fluend で収集し、 elasticsearch にデータを格納。 kibana で可視化を行います。 目的 アクセス、ユーザーの属性等のログを可視化し、 サービス改善の新たな企画、施策に繋げる。 各種ツール説明 nginx -> websever apache的な kibana -> データ可視化ツール。グラフ化 elasticsearch -> 全文検索エンジン。Apache Luceneを元に作成されている。同じく Lucene が元になっているものとして solr がある。 fluentd -> ログ収集ツール。様々な input 元、 output 先を設定できる plugin が豊富。Rubyで記述されており、plugin の作成も容易 全体の流れ nginx -> fluentd -> elasticsearch -> kibana 今回は、す

ま、こういう話になりますよね 正直、こういう仕事が一番嫌ですね 何があるかわからないからねぇ nginx のアクセスログを Json に変更して、 一括で elasticsearch にバルクインサートする 結果、25万件のアクセスログを 3分で Json に変更して、 10分でバルクインサートできた トータルで 15分ぐらいかかる Json のバルクインサートについて http://www.elasticsearch.org/guide/en/elasticsearch/reference/current/docs-bulk.html パラメーターについて http://www.elasticsearch.org/guide/en/elasticsearch/reference/current/modules-http.html 以下、やったこと

WARNING: The 2.x versions of Elasticsearch have passed their EOL dates. If you are running a 2.x version, we strongly advise you to upgrade. This documentation is no longer maintained and may be removed. For the latest information, see the current Elasticsearch documentation.

オブザーバビリティも、セキュリティも、検索ソリューションも、Elasticsearchプラットフォームならすべて実現できます。

elasticsearch version0.20.6の設定 elasticsearchの設定ファイルです。 solrで言うところのsolrconfig.xmlに当たります。 では早速 /usr/local/elasticsearch/config/elasticsearch.yml を見ていきます。 solrconfig.xmlより少ないとはいえ、それなりの量なので軽く流し見しましょう。 elasticsearch.yml ##################### ElasticSearch Configuration Example ##################### # This file contains an overview of various configuration settings, # targeted at operations staff. Appli

はじめまして。インフラ＆コアテク本部の鳥垣と申します。普段はAmeba Smart Phone PlatformやAmebaの基幹系サービス全般のインフラを見る仕事をしております。 昨今fluentd + Elasticsearch + kibanaを使ったリアルタイムモニタリングが流行っていますが、これを使ってCassandraのステータスをモニタリングするシステムを作ってみましたので、そのお話をさせていただければと思います。 構築のきっかけこちらのサイトにてdstatのモニタリングをkibanaでやっている記事を拝見し、Cassandraのステータスも同じようにリアルタイムグラフの描画ができないかと考えました。 以前にWebSocketで監視もリアルタイムにという記事でもあるとおりリアルタイムモニタの仕組みはありましたが、kibanaの検証も兼ねてリアルタイムのグラフ描画にチャレンジし

2.2. システム処理イメージ ログを解析する仕組みとして、こんなフローを考えてみました。 (1) OpenStackが出力するログを、ログ中継サーバーへ集約する。 (2) 集約したログをElasticsearchとNorikraへ送信する。 (3) Norikraへ送られたログを、SQLストリーミング解析にかける。 (4) 解析の結果は問題の有無に関わらずElasticsearchへ格納し、異常が検出された場合はZabbixへ通知する。 (5) 通常のサーバー監視はZabbixが行う。 (6) (2)、(4)でElasticsearchへ送られたデータはKibanaを使用して可視化する。 図 1　システム処理イメージ 3. ログを収集してグラフ化してみる。 まずは、OpenStackの各コンポーネントが出力するログ量の推移と、API実行数の推移のグラフ化してみました。ログメッセージの内容

embulk使ってみる fluentd + elasticsearch + kibanaをやってみたいなと思い既存のログからデータ突っ込めないかなと思い探してみたらちょうどよさそうだったので試してみました。 fluentdのバッチ版と言われているようです 手順もほとんど下記見ながらやればできます embulk インストール curl -o ~/bin/embulk -L "http://dl.embulk.org/embulk-latest.jar" chmod +x ~/bin/embulk サンプルデータを入れる ひな型生成 example サブコマンドでサンプルデータができます # サンプルのひな型生成 bin/embulk example ./sample # sample/example.ymlの中身を読み込んで自動的に設定ファイルを作成してくれる bin/embulk gues

概要 fluentdでログ転送＆収集を行い、 Elasticsearchでデータを保存し、 kibanaでデータの可視化を行う。 サーバー構成 APIサーバー（複数台） 【nginx】→【fluentd】→ログ収集サーバーへ転送 ログ集約サーバー（兼 解析サーバー） APIサーバーから転送→【fluentd】→【Elasticsearch】⇔【kibana】 サーバー設定 APIサーバー nginx nginxはインストール済みとする。 nginxのアクセスログをltsvフォーマットにする log_format ltsv 'time:$time_iso8601\t' 'remote_addr:$remote_addr\t' 'request:$request\t' 'request_method:$request_method\t' 'request_length:$request_len

【2016/09/10追記】 勉強しなおして、Elasticsearchの知識についてさらにまとめた記事を書いたので、そちらを参照してもらうと良さそうです。 blog.shibayu36.org 最近Elasticsearchの勉強をした。ただ、入門のためどのような資料が適しているかを知るのが大変だった。そこでどのように勉強したかについてメモをしておく。少しまとめエントリー的なノリになりそう。 Elasticsearchの概念を知る 全文検索技術の基本を知る Elasticsearchのドキュメントのたどり方を知る の順に学習を進めていった。 Elasticsearchの概念を知る Elasticsearchの学習を始めようとした時に、まずは基本からということで以下の本を読んでいた。 高速スケーラブル検索エンジン　ElasticSearch Server (アスキー書籍) 作者:Ｒａｆａｌ

こんにちは。 エンジニアの伊藤です。 11/18に開催された第7回Elasticsearch勉強会にて「niconicoの検索を支えるElasticsearch」と題して、niconicoでのElasticsearchの運用事例について発表してきました。 発表の機会を与えてくださった@johtaniさん、スタッフの皆さん、ありがとうございました。 (この投稿は報告が遅くなっただけで、アドベントカレンダーネタではありません...) 使用したスライドがコチラになります。 https://speakerdeck.com/shoito/niconico-elasticsearch 講演では、まずElasticsearchを使った検索基盤を作った背景、 次に、なぜElasticsearchを使うことにしたのか？ そして、どう使っているのか？どう運用しているのか？ 最後に、良く参考にしているElast