こんにちは、坂巻です。 今回は、ログ収集に関するエントリです。 AWSでログ収集といえば、CloudWatch Logsが挙げられますが、 今回はオープンソースのログ収集管理ツールFluentdを使用してみたいと思います。 最終的には他サービスを使用して、収集したログの可視化や分析してみたいと思いますが、 本エントリではS3にログが出力されるまでをゴールとします。 目次 構成 構築 AWS環境 Fluentdインストール Fluentd設定 ログ確認 さいごに 構成 以下のシンプルな構成です。 構築 AWS AWS環境の構築はCloudFormationのテンプレートを用意したので割愛します。 上記テンプレートを利用してAWS環境を構築する際は、 スタックのパラメータに以下を設定してください。 KeyPairName…EC2インスタンスにログインするキーペアを指定します。 S3Bucket

OSS紹介アドベントカレンダー の14日目の記事です。 Fluentd の 公式 Go 版 Logger である fluent-logger-golang はこのように使うのがよさそう、という使い方をまとめてみました。 元々社内で書いておいたドキュメントを編集したものです。 github.com 前提のユースケース Webアプリケーション(APIサーバ) を Go で書いていて、そこから何らかのログを Fluentd に送信したい。 config のお勧めオプション Timeout : Connect に対するタイムアウト。デフォルト3秒なのでそのままでよさそう WriteTimeout : 書き込みのタイムアウト。デフォルトだとずっと待ってしまうので 3 秒とか? BufferLimit : デフォルト 8MB これを超えると捨てられてしまう。送る流量によって調整が必要 MaxRetry

最近業務で Fluentd を触ることが出てきて入門したんですが、最初のうちはトラブルが起きた時に何が起きているのか、どう対処したら良いのかがさっぱりわからなかったので、「Fluentd ってログの収集とかに使われるやつでしょ？」程度の知識しかなかった過去の自分に向けて「とりあえずこれぐらいは知っておけ！」と言いたい内容をまとめてみました。 トラブルが起きた時にどの処理で問題が起きているのか素早くコードを追うことができて、データの消失を最小限に抑えつつ適切に対処できるようになることを目的としています。 なお、現時点で最新版の Fluentd v0.14.21 を対象にしています。 アジェンダ Getting Started Fluentd のアーキテクチャ Processes Supervisor process Worker process Threads Input thread En

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?

Cookpad Tech Kitchen #9 https://cookpad.connpass.com/event/60831/

このパフォーマンス計測で利用した方法にはそれぞれ理由がありますので、この計測方法に至った理由を以降で説明していきます。 また、環境に依存したパフォーマンス結果の違いや、他のプロダクトとの計測結果の違いなどについても説明します。 1Gbps ネットワークでの測定（ネットワークのボトルネック環境） 上記と同様に転送量の計測を目的としたテストを 1Gbps ネットワークで行った際の結果です。　結果的にネットワーク性能が不足している場合の挙動になります。 テスト環境 Xeon D-1541 2.1GHz 8コア,16スレッド 32GB MEM SATA SSD 400GB x1 / RAID 無 Network 1 Gbps テスト方法 転送量の計測は、10秒ごとに集約したファイルのライン数をカウントして計算値を出しました。 計測が終わるとファイルを削除して、作り直されたファイルに書き込んでいきま

Try Prometheus with Fluentd

WebアプリやIoTデバイスが吐くログをFluentdに集約する環境を構築したり運用していると、次のようなことをやりたくなってきます。 Fluentdに流れてくるメッセージの中身を確認したい メッセージを別のconfに流して動作を確認したい これらのことをやろうとすると、場合によっては今動いているconfをいじったり、Fluentdを再起動したりする必要がでてきます。 しかしながら、matchが定義されていないtagだったらconfをいじらなくてはいけないし、type stdoutを加えるためだけにそれをやるのは手間だし、もう少し気軽に新しい設定を試したかったりします。さらに、それがproduction環境であれば、ちょっと設定を変えてみる、とかはあまりやりたくなかったりします。 そこで、fluentd-tcp-capturer(https://github.com/takumakanar

サーバやネットワーク機器類から送信されてくるsyslogを保存するのに、さくらのオブジェクトストレージを利用してみる。状況・要件としてはこんな感じ。 さくらクラウド上でサーバや仮想アプライアンスその他を動かしている 複数台のサーバ/アプライアンスからsyslogを受け付けてログを集約したい 一部の機器ではsyslogサーバのポート番号を指定できないので必ず514番で待ち受けて欲しい さくらクラウドのオブジェクトストレージに保存したい サーバのディスクに入れておくと取り出すのが面倒 rsyslog/syslog-ngやfluentdでのout_fileなど、ローカルに保存した場合 オブジェクトストレージならサーバを消し飛ばしても残り、s3cmdコマンドで取り出せる 公式APIガイドの細かいところを読み飛ばしたせいで、シグネチャ不一致で嵌まってたのでメモ。 参考資料 利用したプラグインやサービ

表題の通りです．Perl5の話です． CPANにもあげてあります． https://metacpan.org/pod/Test::Fluent::Logger 何をするモジュールかというと，useするだけでFluent::Loggerのpost及びpost_with_timeの内容をインターセプトして，本来送るべき宛先には送らずに内部のリストにそれを貯めるという動作をするモジュールです．そしてそのリストをgetしてきて中身を確認したり，またリストを空にする (clear) こともできます． 使い方についてはSYNOPSISを読んでいただければわかると思います．とくに難しいことはありません． 本来はMockみたいな名前をつけるべきだったのかもしれませんが，こんなのテスト用途以外に誰が使うんだということでこの名前になっています． 毎度毎度この手のコードを書いていて，良い加減飽きたなという動機で

前回オフラインでもChatOpsしたい！Dockerで解決しよう！で投稿したとおり、オフラインの現場でChatOpsするための環境を作りました。 まだ道半ばですが一旦導入してから半年かつ年末ということもありまとめてみます。 最終的に導入したものは以下のとおりです。 RocketChat Slackクローンのチャットツール(ビデオ通話もできる) Kanboard タスク管理できるカンバンツール Jenkins JOB管理ツール Knowledge Qiitaクローンのナレッジ共有ツール（もちろんMarkdownでかけるよ） fluentd ログ収集ツール ELK(ElasticSearch+Logstash+Kibana) 全文検索＋ログ収集＋ビューがDockerイメージで固められてます SonarQube※1 静的解析ツール もともと共通のコード管理ツールとしてGitlabは提供されていた

はじめに ログの可視化をしたいと思い立ち、いろんなサイトを参考にして、まずはサーバの構築をしてみることにしました。 ということで、まず第一弾はサーバの構築をやっていきます。 構成 サーバを２台作ります。 サーバ１号機は、クライアントとして。サーバ２号機はサーバとして利用することとします。 サーバ１号機にはFluentd、サーバ２号機にはFluentd/Elasticsearch/kibanaをインストールします。 ざっくりはこんな感じ 環境 使用した環境は以下の通り。 HostOS version

ヤフー株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。LINEヤフー Tech Blog こんにちは、Technical Yahoo の中谷です。 今回は、Yahoo! JAPANからオープンソースとして公開した高速ファイル/メッセージ転送システムの K2HFTFUSE の紹介をします。 K2HFTFUSEは、確実で高速なファイル/メッセージ転送を低コストで実現するために開発されたシステムです。 K2HFTFUSE（K2Hash File Transaction by FUSE-based file system）とは、FUSE（Filesystem in Userspace）によるユーザースペースでのマウント機能を利用したファイル/メッセージ転送システムです。 K2HFTFUSEは、仮想ファイルシステムを提供し、マウ

はじめに リクルートライフスタイル Advent Calendar 2016の2日目の記事ではELB経由のfluentd Aggregatorを安定化するためにやった3つの対策について書きました。 前記事で書いたようにAggregatorクラスタの数が増えて手動で行っていたデプロイが大変になってきました。また開発メンバーが増えたときに、デプロイ方法を共有してミスなく行えるようにするのも大変です。 そこでfluentd Aggregatorのローリングアップデートを自動化したくなり、CloudWatchEvents + Lambda + SQSで仕組みを作りました。 fluentdのデプロイ時に気をつけること fluentdはローカル上にバッファを持っているため、それを出力し終える前にインスタンスを落としてしまうと、ログのロストが発生します。 それを防ぐためにはバッファがなくなるまで待って、

EFK(Elasticsearch,Fluentd,Kibana)で簡単ログ基盤をdocker-compose使って立ち上げるFluentdElasticsearchDockerKibanaEFK GoogleAnalytics一辺倒のWeb運用から自前のDWHなんかを立てる運用にWeb運用の主戦場が移り変わってきてると感じる今日このごろ。 Web界隈に生きるエンジニアとしてはログ基盤くらいちょろっと調達できなければいけません。 とはいえ何を使っていいのやらと悩むことも多いことでしょう。 勝手に鉄板構成 いろんな選択肢がある中から、下記の選定をしてしまうと楽な気がします。 ログ集める：Fluentd ログためとく：Elasticsearch ログ見る：Kibana Elasticsearchはけしてためとくのが得意じゃないので、ちゃんとためておきたい場合はS3とかファイルとかに出しておきま

$ docker service create --name logger -p 24224:24224 fluent/fluentd $ docker service create --name nginx -p 80:80 \ --replicas 2 --log-driver=fluentd \ --log-opt=fluentd-address=localhost:24224 nginx

作ったもの Fluentd Forward Server を実装するための Java ライブラリです。 Influent Forward とは Forward はネットワーク経由でイベントを送受信するために用いる、Fluentd 標準の仕組みです。 Forward Protocol Specification v1 Fluentd プラグインである in_forward, out_forward がその主な実装で、 forward Input Plugin forward Output Plugin 各種 Fluentd クライアントもこの仕様に則ってイベント送信機能を実現しています。 fluent-logger-java fluent-logger-ruby fluent-logger-php Influent はサーバ側の実装であり、Java アプリケーションに Forward リクエ

佐野です。ここ2ヶ月くらい坐骨神経痛を患って、座ると痛い、立つと痛い、歩くと痛い、朝起きると痛い、くしゃみすると痛い。靴下がはけない(痛いから)、しゃがめない(痛いから)、夜痛みで目が覚める。という生活をしています。こちらの記事( 頭痛に耐えかねて自殺する人も…【激痛を伴う病気ワースト5】 )によると、痛すぎる病気ワースト4位らしいです。さて、ご近所のplaidさんからlogdnaというログ収集サービスを教えていただいたのですが、試してみました。 logdna logdna https://logdna.com/ ローンチは2016年、つまり今年のようです。fluentd同様、エージェントをサーバに棲ませて、それがログをlogdnaに転送します。トレジャーデータ似ていますが、まだ機能は少なくて分析などはできないです。特定文言のハイライト、通知、grep...など全サーバのログを一覧するよう

概要 Fluentdによるログ収集基盤を、Lambda&Kinesisを利用した形で構成を変更したので、その時のメモ。 先に一言で感想を述べるのであれば、巷の噂通り、Kinesis&Lambdaは素敵でした。 Fluentd Aggregatorが抱える問題点 ログデータをFluentdのForwarder & Aggregatorを経由し、S3とRedshiftに保存するような構成でしたが、Aggregatorは冗長化しづらくボトルネックとなっていました。 ログ収集に求める要件 ログ収集の構成を改善するにあたり、先に挙げた目の前の問題点を解決するのは勿論ですが、他にも様々な要件があり、大別すると以下4つ。 信頼性: データをロスなく収集することができる。 安定性: ログ量に関係なく安定的なパフォーマンスを維持できる。 冗長性: 安全かつ簡単にスケーリングが可能 汎用性: 複数ログを複数サ

qiita.com