最近業務で Fluentd を触ることが出てきて入門したんですが、最初のうちはトラブルが起きた時に何が起きているのか、どう対処したら良いのかがさっぱりわからなかったので、「Fluentd ってログの収集とかに使われるやつでしょ？」程度の知識しかなかった過去の自分に向けて「とりあえずこれぐらいは知っておけ！」と言いたい内容をまとめてみました。 トラブルが起きた時にどの処理で問題が起きているのか素早くコードを追うことができて、データの消失を最小限に抑えつつ適切に対処できるようになることを目的としています。 なお、現時点で最新版の Fluentd v0.14.21 を対象にしています。 アジェンダ Getting Started Fluentd のアーキテクチャ Processes Supervisor process Worker process Threads Input thread En

LTSVはLabeled Tab-separated Valuesの略で、コロンで区切られたラベルと値の組み合わせ(key:value)をタブ区切りで表現したフォーマットです。 主にログデータのフォーマットとしての利用が想定されています。 uri:/upload status:400 size:13599 reqtime:0.280 apptime:0.150 uri:/downalod status:200 size:12812 reqtime:0.330 apptime:0.210 uri:/item/new status:200 size:29830 reqtime:0.050 apptime:0.050 uri:/item/fav status:200 size:33123 reqtime:0.100 apptime:0.099 uri:/top status:301 size:1

Description Labeled Tab-separated Values (LTSV) format is a variant of Tab-separated Values (TSV). Each record in a LTSV file is represented as a single line. Each field is separated by TAB and has a label and a value. The label and the value have been separated by ':'. With the LTSV format, you can parse each line by spliting with TAB (like original TSV format) easily, and extend any fields with

さくらクラウドのオブジェクトストレージはS3互換のAPIなので GitHub - fluent/fluent-plugin-s3: Amazon S3 input and output plugin for Fluentd を使えばFluentd を使ってログを保存できる。 さくらクラウドのオブジェクトストレージに登録 さくらクラウドはAPI経由でバケットの作成・削除ができないので コントロールパネルであらかじめ作っておきます。 INPUT Fluentd の設定をします。Fluentd の仕組みやインストールについては 色々なところで解説されてるので省略します。 柔軟なログ収集を可能にする「fluentd」入門 | さくらのナレッジ 今回はnginx のログを収集したいのでINPUT側はこんな設定にしました。 <source> type tail format nginx time_fo

こんにちは。組長こと @fujiwara (id:sfujiwara) です。 早速ですが皆さん、ログは見ていますか? 当然見ていますよね。tail -f で追いかけるとか大好きですよね。という前提で話を進めましょう。 この記事は Tech KAYAC Advent Calendar 2016 の24日目の記事です。 TL;DR 多種多様なホストから発生するログの末尾を tail -f で追いかけたい fluentd + ローカルファイルで行うのはちょっと面倒 Amazon Kinesis + Lambda を使ってスケーラブルな仕組みを考えてみた kinesis-tailf というツールも作った 既存の仕組みと問題点 techblog.kayac.com 弊社の Lobi とソーシャルゲームでは、この記事で紹介されたような Fluentd を活用したログ集約の仕組みを整備しています。この

なんか最近プレゼンテーションやった話しかエントリに書いていない……。。。 それはともかく、しまねOSS協議会というところから周年記念講演で話さないかというお誘いがありまして、お受けしたので島根県松江市で話してきた。せっかくRuby City Matsueに行くことだしついでにイベントやってこようということで Fluentd meetup in Matsue もやることになり、そんなわけでふたつ発表してきた。 第106回オープンソースサロン・総会記念講演 第106回オープンソースサロン・総会記念講演 | しまねOSS協議会 OS4 しまねOSS協議会ということで、オープンソースソフトウェアの話。 Open Source Software, Distributed Systems, Database as a Cloud Service from SATOSHI TAGOMORI というか、ト

English

AWS Summit Tokyo 2016 Developer Conference (2016/06/03)

イベント名：Fluentd Meetup 2016 Summer 開催日時：2016-06-01(月) 会場：イベント＆コミュニティスペース dots. 約1年ぶりに開催された Fluentd Meetup に参加してきました。今回は、5月31日にリリースされたメジャーバージョンアップの v0.14 について、ユーザ向けの機能紹介から、プラグイン開発者向けの深い話まで、盛りだくさんの内容でした。自分でプラグインを書くくらい、Fluentd をヘビーに使う人向けのイベントという感じで、どの話も面白かったです。 最近、私は Fluentd を使う機会が全然なかったこともあって、「Fluentd も機能的には枯れてきて、そろそろ新機能もあまりないだろう」と思っていたのですが、まだこんなに改善の余地があったのか……とちょっと驚きました。個人的には、古橋さんの講演で将来の構想として出てきた、Kafk

はじめに 藤本です。 みなさん、Beats使っていますか？ 過去のエントリで全公式＋一つのコマーシャルBeatsを紹介してきました。 Topbeat + boot2dockerでMacBookのシステムモニタリング Filebeat + boot2dockerでMacBookのログモニタリング Packetbeatでパケットモニタリング WinlogbeatでWindowsログモニタリング RedisbeatでAmazon ElastiCache(Redis)をモニタリングする 概要 Beatsは軽量なデータ収集ツールです。Golangで実装されていて、軽量なフットプリント、クロスプラットフォームで動作するため、各種クライアントで動作させるには嬉しいですね。JRuby（JVM上）で動作するLogstashと比較しても導入のハードルは低いでしょう。 ただし、Beatsを導入すればLogsta

fluentdを使う時にまず知っておいたほうがよさそうなこと はじめに 朝からElasticsearchへのデータの投げ込み方を考えていました。 データベースやメッセージキューなどにデータを投げ込んでおいて、ニアリアルなバッチでElasticsearchに投げ込むよりも、fluentdを使う方が圧倒的に簡単で信頼性が高いものができますね。自分で作りこむのがバカらしくなりますね。 ということで、fluentd利用時に気を付けておきたいことについて調べてみました。内容は公式ドキュメントの内容をベースに自身で調べたことを追記しています。公式ドキュメントへのリンクも貼ってありますので適宜そちらをご覧いただければと。 環境 CentOS6.7 td-agent 0.12.19 Ruby2.2.2（リストアスクリプトで利用） Fluent-Logger(0.5.1) Elasticsearch2.1.

はじめに 今更ながらかもしれませんが、EFK(ElasticSearch+Fluentd+Kibana)を試してみてます。 ちょっと試したいだけなのに一杯インストールせねばならんのですね。。。ということでEFK構成を構築するansibleのplaybookを作ってみました。良ければ使ってください。 Forwarder - https://github.com/uzresk/ansible-td-agent.git EFK - https://github.com/uzresk/ansible-efk.git 3分で構築する前提事項 ansibleが使えること gitが使えること(yum -y install gitとかで突っ込んでおいてください） サーバを2台（sshで接続できればなんでもいいです） こんな環境を作ります。 左側はfluentdのforwarder。右側はログを集積するag

GREE Advent Calendar 2015 の23日目担当の上竹です。普段はアプライアンスLB やネットワークの構築/運用をしております。 概要 バックボーンネットワークを設計運用していると、実際どのようなトラフィックがどのくらい流れているか中身を知りたい(見たい)ことがよくあります。 どのISP からどの回線へどのくらい流入があるのかだったり、どんなAS からどのくらいアクセスがきているか、これら様々な情報を正しく把握することは、Transit 回線やIX 回線をコントロールし今後のネットワーク戦略を考えるうえで非常に有益です。 また、昨今我々を悩ましているDDoS 対策の第一歩として、今流れているトラフィックをまず"知る"ということが必要だと思います。 そこで、今回ネットワークの見える化を、「NetFlow」、「Fluentd + ElasticSearch + Kibana」

こちらのエントリーは「GREE Advent Calendar 2015 14日目」の記事です。 こんにちは、データエンジニアリングチームの山田です。6日目の記事の長谷川、田畠とともにグリーの分析基盤を良くする仕事をしています。主にデータ収集周りを担当しており、fluentdとはいつの間にか2年を超える付き合いとなりました。 さて今回は、fluent-plugin-secure-forwardについてつらつらと紹介していきたいと思います。 fluent-plugin-secure-forward(以下secure-forward)は、SSL/TLSを利用しセキュアにデータ転送を行うためのfluentd pluginです。fluentdにデフォルトで含まれているノード間を転送するためのforward plugin(以下forward)は転送時に暗号化などを行っていないため、インターネットを通

こんな感じの事ができるようになるためのツールについてご紹介。おお！なんかかっこいい！ 具体的にどういうデータを見るの？ レスポンス要件が厳しい時に、要件を満たせていないPath（ロジック）を確認する事ができる。 黒画面の右下では、レスポンスタイムが遅い処理をURL別にグラフ化。本来は3秒以内に返さないといけない処理が10秒くらいかかっているので、対処することとなった。 外部からの攻撃・手法・時間・位置情報の確認。毎朝7時にめっちゃアクセスくる！！と思ったらクローラーが来ていた。 どのワードがどの地域でtwitterで呟かれているか確認し、マーケットに利用する。自社の味方になってくれている人を一覧化。バズったワードの発生タイミングや誰からスタートしたかとかも可視化。 何を可視化するか？ ログデータと言われているが、テキストにできるデータならなんでも可能。 OSS製品使っています。サポートを受

The unsung heroes of log analysis are the log collectors. They are the hard-working daemons that run on servers to pull server metrics, parse loogs, and transport them to systems like Elasticsearch or PostgreSQL. While visualization tools like Kibana or re:dash bask in the glory, log collectors’s routing making it all possible. Here, we will pit the two of the most popular data collectors in the o

Today, I will introduce a system that we call Shadow Proxy, which is released recently in our development environment. What’s Shadow Proxy? Shadow Proxy makes an HTTP request, which is copied from a request to production, to staging applications. It means that it is possible to apply requests to staging that are the same quality of production. The main purpose of this system is to check beforehand