ランニング ランチ 夕飯 ゴールデンウィーク最終日 Elasticseaerch 勉強会動画 ランニング 今日も雨なのでランオフ。夕方にいつも補強。引き続き、足の状態が両足ともあまり良くない。 明日は、一応、走る予定にしている。 ランチ ベーコンと水菜のパスタを…

アクティビティ (今までの走行 (歩行) 距離) ジョギング レアジョブ 夕飯 Elasticsearch の S3 リポジトリプラグイン アクティビティ (今までの走行 (歩行) 距離) Fitibit Charge2 のアクティビティから走行 (歩行) 距離を Fitbit Web API で取得して Pixela…

tl;dr Abema TV の番組データが登録されている Elasticsearch scroll API を利用して検索結果の全レコードを取得する シェルスクリプト 動かしてみる 以上 参考 tl;dr inokara.hateblo.jp 前回からの続きです. 検索ということではありませんが, 念願のシェル…

tl;dr Elasticsearch と Kibana を起動する データを放り込む 何か良い題材はないのかな bulk API で雑に放り込む 試しに検索 以上 参考 tl;dr Elasticsearch にログを放り込むだけであれば何度かやってきたけど, 検索周りは殆ど取り組めていなかったので, …

ti;dr VPC 内で動いている Amazon Elasticsearch Service (以後, AES) 上の一部のインデックスデータを手元の端末の Elasticsearch でも利用したいと思った時に散々悩んで調査した結果, 以下のようなツールが OSS で提供されていたので使ってみましたのでメ…

やりたいこと やったこと ハマった 参考 やりたいこと Elasticsearch 6.x の Docker イメージを利用したい docker build の途中で Elasticsearch プラグインをインストール docker-compose で Elasticsearch 環境を構築したい やったこと 以下のような Docke…

tl;dr YAMAP でも Elasticsearch を利用していますが, 最近になって以下のような貴重な体験をしたのでメモっておきます. シャードがノードに割り当てられずクラスターステータス Red が解消しない (Amazon Elasticsearch Service にて) CircleCI 上で Elasti…

tl;dr 分かりづらいタイトルですいませぬ. 以下のようなデータを Elasticsearch に突っ込んでいたとして, start と end の差分 (経過時間) を算出して, その結果から N 秒以上とか, N 秒以上, N 秒以下を検索条件として利用する方法を検討したのでメモってお…

tl;dr 参考 join datatype と has_child, has_parent クエリ join datatype has_child, has_parent クエリ has_child クエリ has_parent クエリ ということで, 俳句作品とその作者データを利用して join を体験する 俳句作品 Elasticsearch クエリ 検索 松尾…

はじめに Lucene Lucene とは Elasticsearch と Lucene Lucene のデモ Lucene を取得 展開して CLASSPATH を指定 インデックスの作成 検索してみる 再掲・Deleted Documents なぜ Deleted Documents なのか Lucene は削除したドキュメントをどのように処理し…

この記事は cat API と何か！？（効果音：ジャーン） 本当に猫が住んでいるのか！？（効果音：ジャーン） 試した環境 にゃー！ そして、とうとう、川原洋平探検隊は… 以上 この記事は 川口浩探検隊へのオマージュです。 www.amazon.co.jp cat API と何か！？…

試した環境 インストール直後 ということで、技あり 有難うございました 試した環境 ubuntu@ubuntu-xenial:~$ cat /etc/lsb-release DISTRIB_ID=Ubuntu DISTRIB_RELEASE=16.04 DISTRIB_CODENAME=xenial DISTRIB_DESCRIPTION="Ubuntu 16.04.2 LTS" ubuntu@ubu…

引き続き Elasticsearch でも APM 本記事作成時の環境 Python から Elasticsearch を扱う場合 サンプルアプリケーション Patch tracer.wrap さて、今日は何処で呑もうかな、何を食べようかな やっぱもつ鍋ばい 福岡で焼肉食べたいばってん、禁煙の席があると…

検証の為に 放り込む 放り込む前に csv から json データにする インデックスの作成 ここで真打ち stream2es の登場 ひとまず 以上 stream2es を使えば stream2es ヘルプ 検証の為に 大量データを Amazon Elasticsearch Service に放り込みたいです。 データ…

一気に秋がきた ジョギング Amazon Elasticserch Service で es_rejected_execution_exception エラー 背中を痛める 70-533 勉強 Sinatra アプリケーションで Could not find backports-3.6.8 in any of the sources 夕飯は 一気に秋がきた 涼しいをちょっと…

ジョギング 10 月なのに Elasticsearch Python 配列の比較（差分が欲しい） 俺のカレー ジョギング 香椎浜 2 周 左太ももは相変わらず違和感、めっちゃキツかった 10 月なのに 日中はエアコンが必要なくらい暑かった Elasticsearch 色々と弄る機会を頂いてい…

tl;dr 定期的に Elasticsearch に問い合わせを行うバッチスクリプトで Elasticsearch への問い合わせ回数を減らしたい memo 状況 Amazon ES に保存されたログを検索するバッチスクリプトで特定の ID 毎に日付を範囲してログの件数を取得する 当初は ID が少…

tl;dr kakakakakku.hatenablog.com こちらのブログを読ませて頂いて、Amazon ES のアクセスポリシーで IAM Role と IP アドレスの同居ってどうやるんだろうと疑問に思っていたので試行錯誤してみました。 自分の要件としては以下の通り。 Amazon ES へのアク…

tl;dr Amazon ES のアクセス制御を IP だけでしかやったことなかったので、実運用を考慮すると IAM role で制御する場合の方法を模索してみましたの Ruby 版。 参考 http://docs.aws.amazon.com/ja_jp/elasticsearch-service/latest/developerguide/es-creat…

tl;dr Amazon ES のアクセス制御を IP だけでしかやったことなかったので、実運用を考慮すると IAM role で制御する場合の方法を模索してみました。 参考 http://docs.aws.amazon.com/ja_jp/elasticsearch-service/latest/developerguide/es-createupdatedom…

ども、かっぱです。 tl;dr JMeter で行う負荷試験のシナリオを触る機会を得たので、以前から導入したかった ruby-jmeter を導入しようとしたメモ。 github.com 参考 https://github.com/flood-io/ruby-jmeter http://jmeter.apache.org/usermanual/ http://s…

JMeter を復習し始めているかっぱです。 tl;dr JMeter が標準で出力する CSV ログを Embulk と Elasticsearch + Kibana で可視化してみようという考察です。 参考 https://github.com/mitchellh/vagrant-aws https://github.com/edtoon/vagrant-rsync-pull h…

RDS のスロークエリをログを Elasticsearch と Kibana で可視化するシリーズ。 tl;dr RDS のスロークエリをログを Elasticsearch と Kibana で可視化する方法を色々と模索。リアルタイムに可視化したければ、ログの出力先をテーブル、ファイルの場合でも flu…

tl;dr RDS のスローログ等はテーブル又はファイルに記録することが出来る。前回は、テーブルに記録する設定を用いて、テーブルからログを定期的に読み込んで EFK スタックで可視化する仕組みを考えた。 今回はテーブルではなくファイルに記録する設定を用い…

モチベーション RDS の勉強をしたい→スロークエリの設定を見てみよう RDS のスロークエリをお手軽に可視化出来ないものか Elasticsearch + Fluentd + Kibana(EFK スタック) を改めて勉強したい 実サービスへの影響を極力抑えたい 可視化する手間は極力省く …

tl;dr 昨日 Elasticsearch 勉強会がこの福岡でも開催されるということで、喜び勇んで参加したので聴講メモ等を書きました。 elasticsearch.doorkeeper.jp まずは、勉強会を主催して下さった @johtani さんをはじめ、場所を提供して下さった LINE 福岡様に感…

ちょっと調べて雑にメモりました。 tl;dr docs.grafana.org Raw Document について聞かれたけど、全然知らなくて申し訳ないなと思ったのでちょっと調べてみた。 メモ Raw Document とは If you want to show documents from Elasticsearch pick Raw Document…

遅延していますが...これは「初老丸の独り Advent calendar 2015」の十三日目の記事です。 tl;dr 先日の勉強会で Amazon ES に Web 上から取得したデータを解析して Amazon ES に放り込むデモをやったら Amazon ES にデータを放り込む前にタイムオーバーして…

これは「初老丸の独り Advent calendar 2015」の七日目の記事です。 tl;dr 引き続き、Amazon ES を使う。 CloudWatch Logs との連携を試してみる。 CloudWatch Logs との連携 連携の概要 CloudWatch Logs のログを直接というわけにはいかない Subscription F…

これは「初老丸の独り Advent calendar 2015」の五日目の記事です。 tl;dr 昨日の続き。Amazon Elasticsearch Service では自動でスナップショットを作成してくれるが、手動でスナップショットを取ったり、レストアしたりしてみる。 手動でスナップショット…