どうも！大阪オフィスの西村祐二です。 アクセスログや、さまざまなログをAmazon Elasticsearch Serviceに配信し、Kibanaで可視化するということがよくあると思います。 下記ブログではじめて触ったのですが、すごく使い勝手がよく、使いこなせるようになりたいなと思ったので、 個人的な備忘録も兼ねて、何回かに分けてKibanaの使い方をまとめていきたいと思います。 今回はKibanaを使うための環境準備となります。 (本ブログは2017/12/25時点の内容となります) Lambda関数の実行アクティビティをAmazon Elasticsearch Serviceへ配信してみる – ClassmethodサーバーレスAdvent Calendar 2017 #serverless #adventcalendar #reinvent 環境 サービス：Amazon Elast

どうも！大阪オフィスの西村祐二です。 本ブログは下記ブログの続きになります。 (2017/12/26時点の内容となります) Kibanaの使い方 〜環境準備〜【Amazon Elasticsearch Service】 前回は環境構築とデータの準備まで完了しました。 今回から実際にKibanaを使ってデータを可視化していきたいと思います。 公式ドキュメントの内容にそって可視化の基礎を学んでいきます。 環境 サービス：Amazon Elasticsearch Service Elasticsearch：6.0 Kibana：6.0.1 Index Patternの定義 Elasticsearchに読み込まれたデータの各セットには、Index Patternがあります。それを定義します。 前回取り込んだデータ、シェイクスピアデータセットにはshakespeareという名前のインデックスがあり、

ファッションを扱うサービスのために、Elasticsearchのユーザー辞書とシノニム辞書を作ったときの具体的な話

Elasticsearchには色々なAPIが用意されているので、それらのAPIを色々使って今回やろうとしていることに近いこともできるのですが、今回は機械学習に Amazon Machine Learning 使ってみようかと。 やりたいことは、各ドキュメントの文章を元に、３つ以上の分類を予測するための機械学習モデルの作成です。いわゆる多項分類（Multiclass Classification）。 Elasticsearchはこのモデルを作成するための、教師データ作成に使います。Elasticsearchを使うことで、言語処理などの正規化をElasticsearchに任せてしまうことができるというメリットがあります。 正解データの作成正解データの作成は、Elasticsearchに文章とカテゴリが付与されたデータをインデックスするだけです。既に商品データなど、インデックスされていればそれを

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?

こんにちはJapornLady開発者のリヒトです スケーラブルなデータベースが簡単に手に入る時代なのだから、何万人ものユーザを抱える様な大規模なサービスを作って運用してみたいなぁという思いから、熟考した果てのエロサイト ジャポルノレディーズ を作る事を決めました。このページは開発にあたってのTipsとジャポルノレディーズの宣伝です（人気AV女優のフルDVD動画が見れるよ）。 今までに教育向けとか真面目なサービスを作った事もありましたが今いちニーズがあるのか無いのかわからずに細々とやってました。そこで気づいたのはニーズあるなし論争は常に疑心暗鬼になってつらい。 という事でニーズがあるとわかってるエロサイトを作ることに決定 コンテンツも豊富かつスケーラブルでレコメンドエンジンも備えた快適エロサイト（笑）を作ろう！の備考メモ ちなみにコンテンツ収集はクロール手法のため非公開です。 環境 OS :

DeNA社内でのElasticsearch勉強会にて、アプリ「ハッカドール」におけるElasitcsearch利用法について発表してきました。 スライドはこちら。 Elasticsearch for Hackadoll from mosa siru Elasitcsearchの中身や運用について濃く触れるというよりは、ちゃんとした検索エンジン作るための泥臭い話がメインになっています。 （ある意味で昨年Tokyo WebMiningにて発表した捗るリコメンドシステムの裏事情（ハッカドール）の派生スライドです。） ハッカドールは1周年を迎え、来月にはアニメ化もされます。ニュースアプリがアニメ化とか開発者としてもどうなるか予想がつきませんが、放映時には全裸待機しようと思います！ hackadoll-anime.com

連載目次 リクルートの全社検索基盤「Qass」の事例を基に、大規模BtoCサービスに求められる検索基盤はどう構築されるものなのか、どんな技術が採用されているのか、運用はどうなっているのかなどについて解説する本連載。 初回の「リクルート全社検索基盤のアーキテクチャ、採用技術、開発体制はどうなっているのか」では全体的なアーキテクチャ、採用技術、開発体制について紹介しました。 検索システムを構築する際に、最も重要なのは、前回の「ElasticsearchとKuromojiを使った形態素解析とN-Gramによる検索の適合率と再現率の向上」でも紹介した、検索品質の向上です。Qassでは、いろいろなログを組み合わせて分析したり、ランキングデータに活用したりと、ログデータはシステムの中核となっています。 第3回の今回はQassの検索基盤を支えるデータ集計基盤と、それによるデータ可視化、集計したデータを生

Hatena Engineer Seminar #5 での発表スライド

※この記事は次のブログを翻訳したものになります。 原文：Elasticsearch 1.6.0 released 本日（6/9）、Lucene 4.10.4ベースのElasticsearch 1.6.0をリリースしました。 このリリースはElasticsearchの最新の安定バージョンとなります。 また、素晴らしい新機能がいくつか追加されています。 synced flushによるリスタートの高速化 �* シャード配置は保留中のタスクをブロックしない レスポンスボディのJSONのフィルタリング 共有ファイルシステムリポジトリに対するセキュリティフィックス 古いインデックスのためのUpgrade API Kibanaユーザのためのハイライトの強化 Windowsユーザのためのmlockall より詳細なスクリプト設定 すべての変更リストとダウンロードはこちらをごらんください。 synced f

井原（@ihara2525）です。 以下のようにElasticsearchを使って検索するアクションがあり、RSpecでこのコントローラスペックを書きたい！という場合にどうしようって話です。 class PostsController < ApplicationController def search @records = Post.search(params[:query]).page(params[:page]).records end end Gemfileにelasticsearch-extensionsを追加します。バージョンは適当なもので。 このgemがデフォルトで9250ポートで立ち上がるテスト用のElasticsearchのクラスタを用意してくれるので、9200で立ち上がる開発用のクラスタとかぶりません。 Gemfile group :test do gem 'elast

これは Elasticsearch Advent Calendar 2014 16日目の記事です。 2014年12月上旬、社内SNS Talknote の検索機能の一部に Elasticsearch を導入しましたので そこで使用した parent-child relationship についての事例を紹介します。 Elasticsearch のバージョンは執筆時点で最新の 1.4.1 を対象とします。 （1.3.x でも問題無いと思います） はじめに parent-child relationship とは、異なるインデックスタイプのドキュメント間に親子関係を持たせることで SQL でいうテーブルの結合（JOIN）のような処理をして検索することが出来ます。 ただし、現時点では SQL ほどの複雑な結合条件を書くことができないため注意が必要です。 このあたりは今後のバージョンアップに期待、

（注　この記事は古くなったので、新しい記事をこちらに記載しています） http://dotnsf.blog.jp/archives/1059206837.html 全文検索エンジン ElasticSearch に日本語形態素解析ソフトウェアである Kuromoji のプラグインを導入して、日本語全文検索環境を構築します。 まずは ElasticSearch をインストールします。ElasticSearch のインストールそのものの手順については以前のエントリを参照してください： ElasticSearch を導入して CouchBase サーバーの全文検索を行う ElasticSearch の導入ができたら、この段階で動作確認をしておきます。まずはデータを登録します（青字は実行結果です）： # curl -XPUT http://localhost:9200/mytest/test/1 -

今回はelasticsearchのバージョンアップ手順をまとめます。 elasticsearch 1.0以降を使っている場合、ダウンタイムなしでアップグレードできます。 ElasticSearchの運用とか (1) - なんかかきたい ElasticSearchの運用とか (2) - なんかかきたい ElasticSearchの運用とか (3) - なんかかきたい NOTE: 1.6以降の追記をしました (2015/10/22) elasticsearchのゼロダウンタイムアップグレード upgrading http://www.elasticsearch.org/guide/en/elasticsearch/reference/current/setup-upgrade.html elasticsearch 1.x 以上のバージョンを使っている場合、ダウンタイムなしでアップグレードするこ

Greenという転職サイトで、ElasticSearchを導入して遊んでみようと思います。 具体的には今の求人が持っているデータをElasticSearchに入れてみて実際に開発環境で動かす事をGoalとします。 全文検索とは？ 全文検索(Full text search)とは、コンピュータにおいて、複数の文書(ファイ ル)から特定の文字列を検索すること。「ファイル名検索」や「単一ファイル 内の文字列検索」と異なり、「複数文書にまたがって、文書に含まれる全文を 対象とした検索」という意味で使用される。 - 引用：Wikipedia インデックスの違い Bツリーインデックスとは？ 引用：What Is A B Tree Index RDBのインデックスについて 転置インデックスとは？ 引用：thinkit elasticsearchを全文検索サーバとして活用するなら読んでおきたい、6つのブロ

ActiveRecordのデータをElasticsearchに放り込むのはとても簡単なので、Rails Consoleから実践してみます。 Elasticsearch / ActiveRecord / Rails / Ruby この記事はElasticsearch Advent Calendar 2014の3日目です。 2日目は@ariarijpさんの「入門記事：ElasticSearch1.4.0とKibana4.0.0の環境構築」でした。おつかれさまでした。 ではさっそくはじめましょう。 elasticsearch-rails Gemを追加する Rails Consoleを起動する前にまずGemfileに gem 'elasticsearch-model' gem 'elasticsearch-rails' を追加します。 bundle installでelasticsearch-ra

{ "index" : { "_index" : "test", "_type" : "type1", "_id" : "1" } } { "field1" : "value1" } { "index" : { "_index" : "test", "_type" : "type1", "_id" : "2" } } { "field1" : "value2" }