セコン (id:secondlife, @hotchpotch) です。ウェブサービスにはよく「このエントリーに関連するブログ記事」や「このレシピに関連するレシピ」という機能が実現されてますよね。さて、この機能はどのように実現すれば良いでしょうか。例えば tf-idf で単語の類似度を求め…といった実装が必要になり、いささか面倒です。 しかしながら Elasticsearch や Solr *1を使うと手軽に実現できます。例えば、クックパッドニュースの記事では Solr を使い「この記事を読んだ人におすすめ」の機能に、最近クックパッドにジョインしたインドネシアの会社の DapurMasak では Elasticsearch を使い「Resep serupa(関連レシピ)」の機能で利用しています。 クックパッドニュースでのこの記事を読んだ人におすすめ DapurMasak での関連レシピ 使

はじめに 身近なデータと手段があれば可視化してみたくなるものです。 先日見かけた記事を手元の環境で試してみて、その手軽さにとても驚きました。(Google Drive APIも初めて使ってみましたがとても便利だなぁと思いました。Spreadsheetにリアルタイムに行が追加される様子は、まさに「ポコポコ」という表現がピッタリでした) Health Planet からデータをエクスポートするための embulk-input-healthplanet プラグイン - 無印吉澤 タニタの Health Planet から新しいデータだけエクスポートして Google Spreadsheet にポコポコ足していく方法 - 無印吉澤 ちょうどHeath Planetに登録したデータはありますので、KibanaプラグインのTimelionの使い方の勉強も兼ねてEmbulkでElasticsearchに

大久保です。 最近、会社でElasticsearch＋Kibana＋Fluentdという定番の組み合わせを使ってログ解析する機会があったので、ついでにいろいろ勉強してみました。 触ってみておもしろかったのが、Elasticsearchがログ解析だけじゃなくてちょっとしたKVSのようにも振る舞えることです。 ElasticsearchはKibanaと組み合わせることで、もっといろいろおもしろいことできそう感あります！！ 本記事では、その一例としてTwitterのトレンドワードをリアルタイムに集計するプログラムを組んでみました。 完成形：トレンドワードごとのツイート数をグラフ化 ＃開発環境と各種ミドルウェアのバージョン ローカルで確認できればよかったので開発環境はMacです。 Java ElasticsearchはJava製なのでJavaのバージョンを確認。 $ java -version j

2.  名前: 菅谷信介  所属: N2SM, Inc.  オープンソース活動:  Apache Portals (Jetspeed2など) コミッタ  Seasarプロジェクトコミッタ(S2Container, Teeda, SAStruts, DBFlute, S2Portlet, S2Robot..)  Fessプロジェクト運営 などなど・・・  Github: https://github.com/codelibs  Blog: http://www.chazine.com/  Twitter: https://twitter.com/shinsuke_sugaya/ 自己紹介

4. 第16回elasticsearch勉強会 ■ オープンソースの全文検索システム ➔オールインワンで簡単に利用可能 ■ Apacheライセンスで提供 ■ Elasticsearchを検索エンジンとして利用 ■ 現在の最新バージョンは10.1 ➔2009/09にSolrベースで1.0をリリース ■ 商用サポートも提供 (N2 Search) Fessとは http://fess.codelibs.org/ja/

Elasticsearchにはどうやってデータ入れるのが良いのか、調べていたらEmbulkというものがあるらしいです。流行っているらしく、これを利用してデータを投入します。 Embulkについてまとめ。 Fluentdのバッチ版Embulk(エンバルク)のまとめ - Qiita Elasticsearchにcsvファイルをインポートするためのレシピが公式に公開されていますので、それに沿って作業を実施。 Scheduled bulk data loading to Elasticsearch + Kibana 4 from CSV files — Embulk 0.8 documentation まず、モジュールをダウンロードしてきます。 # wget http://dl.embulk.org/embulk-latest.jar -O /usr/local/bin/embulk # chmo

Elasticsearchの検索結果をcsvで取得できると良いのに、と思っていたところ、jqってコマンドがあるんですね。 Linux系のコマンドラインで利用できるコマンドで、jsonをsedとかawkとかgrepみたいにできるやつらしいです。 公式サイトはこちら。 jq こちらのサイトでは、マニュアルを日本語訳してくれています。 軽量JSONパーサー『jq』のドキュメント：『jq Manual』をざっくり日本語訳してみました ｜ Developers.IO まず、インストール方法は以下です。モジュールをダウンロードしてくるだけですね。 # wget https://github.com/stedolan/jq/releases/download/jq-1.5/jq-linux64 -O /usr/local/bin/jq # chmod +x /usr/local/bin/jq # jq

Elasticsearch、APIにバルクインサートが用意されているようです。 Elasticsearch + Pythonでどうやるのか調べてみました。 登録用データ 郵便番号データを使用します。 こちらから、全国一括のデータをダウンロードしました。 郵便番号データダウンロード ここを参考に、zipファイルのまま読み込んで登録しています。 Pythonでzipファイルを解凍せずに中身のテキストファイルを読み込む # -*- coding:utf-8 -*-import zipfileimport cStringIOfrom elasticsearch import Elasticsearchdef read_all():        """ 郵便番号辞書の読み込み """    with zipfile.ZipFile('ken_all.zip', 'r') as post:     

概要 elasticsearch のインストールから運用のだいぶ手前までのお試しをまとめたメモです．クライアントはpythonクライアントを使います．これがあれば，データの追加や検索をpythonを利用して行えるため，データの加工なども楽になる・・・と思うのですよ． 環境設定 Elasticsearchのインストール 環境が debian だったので，debのパッケージを持ってきてでインストール． % wget https://download.elasticsearch.org/elasticsearch/elasticsearch/elasticsearch-1.3.1.deb % sudo dpkg -i elasticsearch-1.3.1.deb # The first existing directory is used for JAVA_HOME (if JAVA_HOME

本記事ではPythonとElasticsearchを使って、日本のレストランに関するデータを使って記事を検索エンジンにbulk APIを使って登録し、検索するまでを紹介する。 目次 Elasticsearchのインストール Install Elasticsearch from archive on Linux or MacOSに従って以下のようにインストールする。 $wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-7.3.2-darwin-x86_64.tar.gz $wget https://artifacts.elastic.co/downloads/elasticsearch/elasticsearch-7.3.2-darwin-x86_64.tar.gz.sha512 $shasum -

最近、機械学習に興味がありちょっとずつではあるけど勉強始めているので、今回は検索と機械学習を活用したシステムの話という濃い内容のHatena Engineer Seminar #5 @ Tokyoに参加してみた。 Hatena Engineer Seminar #5 @ Tokyo - connpass 以下発表内容の転載と感想。 はてなブックマーク全文検索の精度改善 id:takuya-a / @takuya_a はてなブックマークには膨大な量の URL がインデックスされており、本文検索での検索ノイズが多いことが課題でした。 はてなブックマークに蓄積されたタグの情報と、検索エンジン Elasticsearch の機能をうまく使って、検索精度を向上する方法を紹介します。 はてなブックマークのタグ情報を元にタグ付けされた記事から記事の特徴語を抽出して関連したキーワードからElasticse

Greenという転職サイトで、ElasticSearchを導入して遊んでみようと思います。 具体的には今の求人が持っているデータをElasticSearchに入れてみて実際に開発環境で動かす事をGoalとします。 全文検索とは？ 全文検索(Full text search)とは、コンピュータにおいて、複数の文書(ファイ ル)から特定の文字列を検索すること。「ファイル名検索」や「単一ファイル 内の文字列検索」と異なり、「複数文書にまたがって、文書に含まれる全文を 対象とした検索」という意味で使用される。 - 引用：Wikipedia インデックスの違い Bツリーインデックスとは？ 引用：What Is A B Tree Index RDBのインデックスについて 転置インデックスとは？ 引用：thinkit elasticsearchを全文検索サーバとして活用するなら読んでおきたい、6つのブロ

はてなグループの終了日を2020年1月31日(金)に決定しました 以下のエントリの通り、今年末を目処にはてなグループを終了予定である旨をお知らせしておりました。 2019年末を目処に、はてなグループの提供を終了する予定です - はてなグループ日記 このたび、正式に終了日を決定いたしましたので、以下の通りご確認ください。 終了日: 2020年1月31日(金) エクスポート希望申請期限:2020年1月31日(金) 終了日以降は、はてなグループの閲覧および投稿は行えません。日記のエクスポートが必要な方は以下の記事にしたがって手続きをしてください。 はてなグループに投稿された日記データのエクスポートについて - はてなグループ日記 ご利用のみなさまにはご迷惑をおかけいたしますが、どうぞよろしくお願いいたします。 2020-06-25 追記 はてなグループ日記のエクスポートデータは2020年2月28

前回に引き続きElasticsearchの設定を行います。 elasticsearch-headプラグインをインストールする いろいろ設定を試していたりすると、設定内容やデータの確認のためにコンソールからcurlを実行してREST APIを実行するのが面倒になります。そこでElasticsearchにはWebUIからデータや設定内容を参照するための機能がプラグインで用意されているので、これを導入します。 elasticsearch-head インストールは以下のコマンドを実行するだけでOKです。 $ sudo /usr/share/elasticsearch/bin/plugin --install mobz/elasticsearch-head あとはブラウザから http://localhost:9200/_plugin/head/ にアクセスすればWebUIからデータの操作ができるよ

ElasticsearchとKuromojiを使った形態素解析とN-Gramによる検索の適合率と再現率の向上：Elasticsearch＋Hadoopベースの大規模検索基盤大解剖（2）（1/3 ページ） リクルートの事例を基に、大規模BtoCサービスに求められる検索基盤はどう構築されるものなのか、どんな技術が採用されているのか、運用はどうなっているのかなどについて解説する連載。今回は、テンプレートを利用したインデックス生成など、検索結果の品質を向上させるためのさまざまな取り組みを紹介する。 連載目次 リクルートの全社検索基盤「Qass」の事例を基に、大規模BtoCサービスに求められる検索基盤はどう構築されるものなのか、どんな技術が採用されているのか、運用はどうなっているのかなどについて解説する本連載。初回の前回「リクルート全社検索基盤のアーキテクチャ、採用技術、開発体制はどうなっているのか