2019年9月16、17日、日本最大のPythonの祭典である「PyCon JP 2019」が開催されました。「Python New Era」をキャッチコピーに、日本だけでなく世界各地からPythonエンジニアたちが一堂に会し、さまざまな知見を共有します。プレゼンテーション「入門 自作検索エンジン」に登壇したのは加藤遼氏。講演資料はこちら 検索エンジン自作の入門編 加藤遼 氏：普段はサーバサイドの開発やAPI、検索まわりをやっています。技術的にはPythonやElasticsearchがメインです。このセッションにこんなに人が来ると思っていなかったので、これだけ集まってくれて大変ありがとうございます。 ここに来たということは、みなさん検索に多少なりとも興味がある方だと思います。なのでちょっとだけ宣伝させてください。検索技術勉強会という勉強会のスタッフをやってます。これは特定のライブラリに関

2019年7月31日、検索技術研究会が主催するイベント「Search Engineering Tech Talk 2019 Summer」が開催されました。「検索」や「検索システム」にまつわる技術や手法を共有する本イベント。第3回となる今回は、3人のエンジニアが、現場の経験を通して学んだノウハウや、検索にまつわる知見を語ります。プレゼンテーション「Elasticsearch における類似度ベクトル検索のベストプラクティスを求めて 」に登壇したのは、伊藤敬彦氏。講演資料はこちら Elasticserchにおける類似度ベクトル検索のベストプラクティスを求めて 伊藤敬彦（@takahi_i） 氏（以下、伊藤）：「Elasticserchにおける類似度ベクトル検索のベストプラクティスを求めて」ということで、いろいろ調査をしてみましてとりあえずまとめてみましたというお話です。 シュッとやると最初は書

概要 Elasticseachに分散表現のベクトルに対する類似文書検索が実装されたということで、以下のElasticのブログ記事を参考に類似文書検索を試してみました。 Text similarity search in Elasticsearch using vector fields | Elastic Blog 類似文書検索とは、与えられたクエリの文書と似ている文書を文書集合内から検索する技術です。この際に必要となるのが「似ている」という概念で、計算機上でどうやって2つの文書間の類似度を数値として表現するかがポイントになります。例えば、互いの文書に出現する単語の一致度や重複度合いを測ったり、TF-IDFやBM25などで文書をベクトル化して比較する方法があります。ただしこれらの方法では、言い換え表現や表記の違いにより同じ意味の単語が異なる単語だと判定されたり、文書の中では重要でない単語に

2019年7月31日、本田技研工業の従業員のメールアドレスや内部ネットワーク、PCに関連するElasticsearchデータベースが露出していたとして、対応の顛末が発見者により公開されました。この問題は本田のセキュリティチームに伝えられ、問題は解消されているとのことです。ここでは関連する情報をまとめます。 問題の発見者 Justin氏の報告 Honda Motor Company leaks database with 134 million rows of employee computer data https://t.co/IN9IESN0Ae— Justin (@xxdesmus) 2019年7月31日 Justin氏はクラウドフレア社 Trust & Safety担当のディレクター。 何が問題であったか 本田技研工業の従業員の名前やメールアドレス、連絡先の情報、同社内部の端末やネ

2022年9月追記: 2022年10月31日をもって、OracleがWerckerのサービス提供を終了するとのことです。 Important Notice: Wercker service will be shutdown on October 31st, 2022 . We recommend you to use OCI DevOps service. Thank you for using Wercker. はじめに こんにちは！KitchHikeインターンエンジニアの薬師寺です。 主にサーバーサイド、特にテストやミドルウェア周りに関わっております。 KitchHikeでは、検索にElasticsearch、CIサービスとしてWerckerを使用しています。私のミッションはWerckerでElasticsearchのテスト環境を整えることでした。 まずはWeb上でドキュメントなどを読

概要 elasticsearchに入れたデータの型を修正する手順をメモ。 バージョン情報など elasticsearch-6.0.0-alpha2 kibana-6.0.0-alpha2 前提 ・elasticsearchにデータを入れてみたけど、やっぱりデータ型が違っていた。 ・データ量がそれほど大きくない reindexAPIを使った方がスマートな場合も多々ありますが、 今回はKibanaのConsoleからmappingを修正して、Logstashなどでデータを再投入する場合を想定します。 想定するシチュエーション ユーザーのアカウント情報を示すaccountというindexにデータを突っ込んでみました。 kibanaで可視化するためにindex patternを作成... 確認してみるとageがstringになっています。 平均年齢とかをグラフ化する時とかに困ります。 ageが数字

リレーショナルデータベースで管理しているデータを Elasticsearch で検索・分析したい場合、Logstash が便利です。 Logstash とは？Logstash はオープンソースのサーバーサイドデータ処理パイプラインです。様々な数のソースからデータを取り込み、変換し、指定された任意のストア先にデータを格納することができます。 処理の内容はシンプルで、Input ステージでソース元の接続先情報を管理し、Filter ステージで変換をし、Output ステージで格納先接続先情報を定義します。Input 及び Output プラグインはデフォルトで様々なソースをサポートしています。そのため、Logstash を使えば、プログラミングレスで MySQL のデータを取り込み、変換し、Elasticsearch へインデックスすることができるのです。 事前準備MySQL と Elasti

実運用の障害対応時間比較に見るFluentd＋Elasticsearch＋Kibanaのログ管理基盤の効果：実運用が分かる、OSSでログ管理入門（2）（1/2 ページ） ログ基盤を実現するFluentd＋Elasticsearch＋Kibanaについて、構築方法や利用方法、実際の案件で使ったときの事例などを紹介する連載。今回は、実案件を事例とし、ログ管理基盤の有用性を、障害対応時間比較も交えて紹介します。 ログ基盤を実現するFluentd＋Elasticsearch＋Kibanaについて、構築方法や利用方法、実際の案件で使ったときの事例などを紹介する本連載「実運用が分かる、OSSでログ管理入門」。第1回では一般的なFluentd、Kibana、Elasticsearchを用いたログ管理基盤の概要、導入方法を紹介しました。 第2回では実案件を事例とし、ログ管理基盤の有用性を紹介します。なお、

システム障害の原因調査や、稼働状況の確認のためにログの中身を確認することがよくあります。しかし、ログが大量に出力されていたり、複数の場所に分散して出力されていたりすると、それを確認するために多くの手間と時間がかかってしまいます。 これらの課題解決の方法として、ここ最近主流となっているのが、複数のOSS（オープンソースソフトウェア）ツールを組み合わせてログの収集や検索、可視化ができる基盤（ログ基盤）を構築することです。 その中で特に代表的なものが、「Fluentd」（ログの集約）、「Elasticsearch」（ログの検索）、「Kibana」（ログの可視化）であり、本連載では、これらのログ基盤を実現するツールについて、構築方法や利用方法、実際の案件で使ったときの事例、さらにはログ基盤に関連する最新の情報を紹介していきます。 連載第1回の本稿では、Fluentd、Elasticsearch、K

ElasticsearchはふだんJavaかcurlで使っているのですが、ちょっとJavaScriptの クライアントも試してみたいなと思いまして。 elasticsearch.js Java以外のプログラミング言語でのクライアントプログラミングをちょっと 覚えておこうというのが趣旨です。 今回は、ドキュメントの登録と検索あたりを軽く触ってみます。 ドキュメントは、こちらを参照。 Quick Start Configuration API About インストール インストール方法は、こちらに記載があります。 About まあ、こんな感じで。 $ npm i --save elasticsearch あと、動作確認はテストコードで行おうと思いますので、MochaとChaiを入れておきます。 $ npm i --save-dev mocha chai テストコードは、「test」ディレクトリ

パスワードを忘れた方はパスワードの再設定を行ってください。 初めての方ははてなID登録 (無料) してください。 うまくログインできない方はお問い合わせをご覧いただき、Cookieの設定をご確認ください。

最近Elasticsearchを触っていて、まずはローカル開発環境を作ることになった。ただ、Elasticsearchはバージョンがかなり変わり、別プロジェクトと利用したいバージョンが異なっていたので、プロジェクト単位で使い分けるにはどうすればよいかを考えた。 やりたいこと プロジェクトごとにElasticsearchのバージョンを切り替えられるようにしたい MySQLだったら同じようなものにmysqlenvなどがある また、他の人が一瞬で環境を整えられるようにしておきたい 利用するプラグインなども含めて一瞬で バージョンを上げる時もローカル環境なら簡単にあげたい 作戦 Elasticsearchはここ からダウンロードして、特定のディレクトリに展開するだけでも利用できる そこでプロジェクトルートのelasticsearch/ディレクトリ以下に展開し、ここに展開したバイナリを利用するように

準備 手前味噌で申し訳ないのですが、後々必要になるので以下のページでmacOSにJupyter Notebookをインストールしておいて下さい。 http://qiita.com/mix_dvd/items/d915752215db67919c06 JAVAの確認およびインストール インストールされているか確認するため、以下のコマンドを実行。 インストールされていない場合は、以下のダイアログが表示されるので「詳しい情報...」というボタンをクリック 上記のWebサイトが表示されるので、JDKをダウンロードしインストール インストール後、再度コマンドを実行してインストールされていることを確認 $ java -version java version "1.8.0_101" Java(TM) SE Runtime Environment (build 1.8.0_101-b13) Java H

第2回目の Elasticsearch 入門は「データスキーマ設計のいろは」です。 設計と言うほどでもないのですが、例えば RDB で検索にフォーカスした設計や、他の検索エンジンも経験していると、これまでの制限や習慣で Elasticsearch の特徴を生かせない設計をしてしまう事があるので、このテーマにしてみました。 それではインデックスするためのデータ構造を Elasticsearch でどのように設計するのか解説したいと思います。 設計フローまで変えてしまう画期的なドキュメント指向型検索エンジン Elastic 社のホームページを見てみると Elasticsearch の特徴の１つとして「Document-Oriented」と言う記載があります。直訳すると「ドキュメント指向」です。 簡単に説明すると 現実世界の複雑なデータをJSONドキュメントにしてインデックスするだけで、デフォル

お知らせ AWS IoTから直接ESにデータがロードできるようになりました (3/17) 概要 AWS Lambdaはとても使い勝手の良いサービスです しかし、npmやpipが必要なものを動かすときには、zipで固めてアップロードする必要があります OSXやLinuxな方はいいのですが、Windowsな方にはまだまだハードルが高いようです 一方でIoTな場面においてAWS IoTから発生したデータをElasticsearch ServiceにPOSTするときにはAWS Lambdaを使うことになりますが、やっぱりnpmやpipが必要となり、面倒です Lambdaファンクション作成のWeb画面でコピペするだけでESへぶっこみたい、そんな要望に応えるPythonスクリプトなのです ※JAWS DAYS 2016 - HackDay(ハンズオン) 初級編で使ったスクリプトそのままです みんながA

ども、@kimihomです。 皆さんは新しい技術が出てきた時に、どうやってそれを学ぶだろうか？ 大きく分けて2つあるあだろう。まず一つは「体系的に学んでから始める方法」、そしてもう一つは「いきなり使って作り始めてみる」だ。今回はこのことについて思うことを書いてみる。 その技術をなぜ学ぶのか、しっかり検討しよう まずその前に、なぜそれを学ぶ必要があるのか、について。エンジニアは技術を学び続ける必要があるとはよく言われるが、それでも技術なんてとてもじゃないけど全部マスターするのは不可能だ。そんな中で自分が何を学ぶべきか、取捨選択する必要がある。 今後の自分のキャリアを見越して選択するのか、目の前の仕事で使ってるから学ぶのか、それとも自分の実現したい未来のために選択するのか。それらを加味した上で検証しないといけない。 "廃れていたのを頑張って勉強しちゃって損した" とは実際そういう経験をするとそ

検索機能を実装するときによく使われているElasticsearchをRailsで使うためのサンプルアプリケーションの作成の手順を作りました。入門レベルです！ 🐮 Elasticsearchの導入拙著『Elasticsearch 2.1 + Kibana 4.1 + Marvel のMacへのセットアップ』を良ければご参考ください。 🍄 RailsサンプルアプリケーションRailsのサンプルアプリケーションを作成します。今回は Article(記事) のモデルをもつことにします。 # Railsアプリの作成 rails new elasticsearch_sample --skip-bundle # フォルダを移動 cd elasticsearch_sample # DBの作成 rake db:create # article テーブルの定義を作成 bundle exec rails g

こんにちは。インフラストラクチャー部 セキュリティグループの星 (@kani_b) です。 主に "セキュリティ" や "AWS" といったタグのつきそうなこと全般を担当しています。 Fluentd などのデータコレクタ、Kibana やその他 SaaS による可視化、Kafka, Kinesis, Spark などのストリーム処理といった様々な分野で「ログの処理」がホットですが、アプリケーションのログ (行動ログなど) に関する話題が多くを占めています。 そうしたログの他に重要なのが OS や各種ミドルウェアのシステムログです。これらはトラブルシューティングであったり、セキュリティ上の問題を見つけたり、といったことに使われますが、最低限 syslog でどこかに集約しているだけ、といった例をよく見かけます。 これらのログをきちんと検索可能にし、分析することで、今まで気づかなかったような問

背景 webサービスを運用してるんですが、ログをもっと有効活用しようぜ！って話になり、とりあえず手元でfluentd+elasticsearch+kibanaを使って環境を作ってみました。 アプリが入ったサーバには極力負荷をかけたくないので、パース作業は別のサーバで行いました。そのへんでいい感じにまとまってる情報が見つからなかったので、備忘録を兼ねてメモ。 サーバ構成 アプリケーションサーバ(今回はmac) -> fluentdを入れてログの送信だけやらせる。 VM(ubuntu14.04) -> fluentd, elasticsearch, kibanaを入れてログのパース〜蓄積〜表示まで。実運用では変わるだろうけどまあ練習ということで。 ハマった点・困った点 1. アプリケーションサーバからログをそのまま送信するのってどうやるんや 2. 正規表現苦手なんだけど 3. parserプラ

（この文章は秋の文フリ用の原稿です。） Kibana 前章(http://boonlab.hatenablog.com/entry/2015/10/26/000958)では、ElasticSearchへの小説データのインポートを行った。 それでは、それらのデータをデータ可視化ツールであるKibanaを用いて可視化していきたい。 まずは、https://www.elastic.co/downloads/kibanaからkibanaをダウンロードし（2015/11時点ではKibana 4.1.2）、展開したディレクトリ内の bin/kibana を実行してみよう。その後、ブラウザでhttp://localhost:5601にアクセスすると以下のような画面が表示される。 ここで、"Index name or pattern"に"dazai-demo"（indexの作成先）と入力して、Create