こんにちは。Fluentdチームの藤田です。 2024年11月29日にFluentd v1.18.0をリリースしました。 本リリースではゼロ・ダウンタイムによるリスタートを主な機能として追加しました。 また、いくつかの機能拡張と不具合の修正が含まれます。 本記事ではFluentd v1.18.0の変更内容について紹介します。 新機能 ゼロ・ダウンタイムによるリスタート機能を追加 LnuxおよびmacOS環境下で実行中のFluentdをゼロ・ダウンタイムで更新可能にする機能を追加しました（Windows環境は未対応）。 この機能により、設定ファイルの再読み込みやFluentdの再起動をゼロ・ダウンタイムで安全に実行できます。 この機能は、FluentdのSupervisorプロセスに対してSIGUSR2シグナルを送信することで利用できます。 従来はSupervisorプロセスにSIGUSR2

fluentdのメモリが爆発していろいろ調べたので、そのメモを残しておく 本番環境でのfluentdメモリの使用量とメモリ使用量を抑制するための設定 ざっくりまとめると chunk_limit_size は可能な限り小さく flush_at_shutdown を true してる場合は、受信側が処理できるぐらい大きさに total_limit_size を設定する fluentd でのメモリの関係 送信用と受信用のインスタンスを1つずつ計2つ使って、fluentdでログを送信するような構成を組んで主に受信側のメモリについてのことを書いていく fluentd では chunk_file という単位でデータを送信してる。その chunk_file を貯めておくバケツのことを buffer と読んでいる fluentd は受信したデータを buffer に書き出すまで、メモリ上に保持する。そのた

はじめに TROCCO では ETL ジョブや、dbt 連携、ワークフローなど、様々なジョブで実行ログをリアルタイムで見ることができます。 これによりエラー時のトラブルシュートをスムーズに行うことができます。 そして、この実行ログですが、DB にあるジョブのレコードの1カラムに書き込まれていました。 このように TROCCO の実行ログの表示機能は、データベースのアンチパターンの上に成り立っています。 ログデータは TEXT 型で DB に保存されているためサイズが大きく、また TROCCO の成長に応じてジョブ数は増えるため、ログデータもサービスの成長とともに無限に成長してしまいます。 おかげさまでアカウント数は増加の一方であり、それに伴い DDL が遅くなったり、また SELECT のパフォーマンスも当然落ちるため、INDEX に気をつけたりする必要がありました。 SRE ではこれに課

まえがき 名寄せログ収集プロジェクトのゴール 名寄せログ配信アーキテクチャ Before After A. Fluentd 上の名寄せログ gzip 圧縮 概要 発生した問題 ログが伸張できなくなる原因 結論 余談 ECS Exec を使ったデバッグ B. TCP ソケットを利用した Fluentd への名寄せログ送信 概要 発生した問題 環境 再現手順とサンプル 調査結果 結論 C. TCP ソケットで Fluentd に送信する名寄せログサイズの 300KB 制限 概要 発生した問題 再現手順とサンプル 調査結果 結論 余談 あとがき まえがき こんにちは。技術本部 Sansan Engineering Unit Nayoseグループでエンジニアをしている滑川です。私たちのグループは主に名寄せサービスの開発や改善を行っています。「名寄せ」とは、別々のデータとして存在する「同じ会社や人物

こんにちは。データ収集ツールFluentdのメンテナーの福田です。 2024年9月19日に開催された【GOJAS Meetup-24】SplunkケーススタディVol.8において、 「データ収集ツール Fluentdの最新動向 With Splunk」というタイトルで発表（LT）しました。 Fluentdから見て、統合ログ管理プラットフォームであるSplunkは親和性が高く、Splunkと連携するためのプラグインもいくつかあります。 しかしその一方で、最近はSplunk関連のプラグイン開発が停滞しがちであるという課題があります。 今回は本イベントに参加して、主にSplunkのデータの前処理事情について勉強しつつ、 懇親会のLTでFluentdの最新動向やSplunk関連の開発におけるFluentdの課題について発表をしてきました。 本記事では、私の発表内容とSplunkのデータの前処理事情

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?

標題のとおり、ECS の daemon サービスで動かしている Fluentd を logging driver の接続先にすると、draining 時に Docker container with fluentd logging driver never stops if it can’t connect to fluentd · Issue #44511 · moby/moby で言及している問題が起きて、Fluentd が復活しない限り、logging driver で Fluentd を利用しているコンテナが無限に生き続けることになります。 本エントリーでは問題の再現方法と対策について解説します。 Issue についての解説 どうしてコンテナが終了しないかについての自分なりの仮説はコメントに書いたとおりです。 次のように 3 つの goroutine が関係していそうです。 gor

Fluentd実践入門 Fluentdの現バージョン(v1.15)について世界で一番詳しい本です。というか、Fluentdそのものだけについての、おそらく世界で唯一の技術書です。 出版社は技術評論社です。電子版もGihyo.jpやKindleはじめ各社で出ます。買ってね! gihyo.jp TL;DR 発売日は10月8日です 一部書店ではちょっと早く9月末に並ぶかも 電子版は発売日よりちょっと前に出るかも1 544ページ、Fluentd本体については考えられる限り盛り込みました Fluentdをなんとなく使っている人が確信を持って使えるようになれるはず 組込みプラグインの頻出用法、本番環境での運用ノウハウ、プラグイン開発からテストなどまで エコシステム的な部分についてはカバーできていません Kubernetes上での運用やFluent Bitとの組み合わせとか AWS FireLensやG

こんにちは、技術部 SRE グループ アルバイトの小川です。この記事では、クックパッドでコンテナログの処理に利用している Fluentd ノードのオートスケール対応について紹介します。 クックパッドでは Amazon ECS を用いてコンテナ化されたアプリケーションをデプロイしています。クックパッドでの ECS の利用については過去の記事をご覧ください。 ECS 上で動くコンテナのログを閲覧するために、標準的には Amazon CloudWatch Logs を利用する方法があります。しかし、クックパッドではログ量やコストの問題で CloudWatch Logs は利用せず、独自のログ配送基盤を構築して運用しています。具体的には、ECS のコンテナインスタンスで実行している Fluentd から複数の Amazon EC2 インスタンスで構成される Fluentd 集約ノードにログを転送し

2022年6月29日にFluentdの最新版となるv1.15.0をリリースしました。 クリアコードはFluentdの開発に参加し、リリースを含めたメンテナンス作業を行っています。 今回はv1.15.0で追加された新機能を中心に紹介します。 CHANGELOG リリースアナウンス Fluentd v1.15.0の新機能 YAML形式の設定をサポート Fluentdの設定ファイルは、Apacheのhttpd.confの形式を模して、ディレクティブから成る形式を用いていました。 従来のFluentdの設定ファイルについて Apache HTTP サーバの設定ファイルについて 一方で以前から、YAMLやJSONなどのより一般的な形式を使いたいという声も挙がっていました。 Issue#554 本バージョンから、Kubernetesとの親和性を考慮して、YAML形式の設定ファイルも使用できるようになり

構想は半年ほど前？ここ一ヶ月ほど集中して開発に取り組んでいた、Fluentd向けApache Arrowプラグインがようやく動くようになったので、今回はこちらのモジュールについてご紹介します。 そもそもPG-Stromは、IoT/M2M領域で大量に発生するデータを高速に処理できますというのがセールスポイントで、GPU-Direct SQLはじめ、各種の機能によってそれを実現しているワケですが、実際に運用する際には、発生したデータを『どうやってSQLで処理できるようDBにインポートするか？』という問題があります。 例えば、PostgreSQLに一行ずつINSERTするというのも一つの解です。ただし、単純なI/Oに比べると、DBへの書き込みはどうしても処理ボトルネックになりがちです。 そこで、大量に収集するログデータを、少ない時間ロスで（つまり一時ファイルに保存したデータを再度DBにインポート

本日皆様に、私たちトレジャーデータがArm社の一員に加わるという発表をお知らせできることを大変うれしく思っています。 私たちと、これまで私たちを支えてくださったお客様とで紡いできた物語に加わる、半導体技術とIoTサービスにおけるリーディングカンパニーであるArm社とトレジャーデータのコラボレーションによって描き出される未来の一端、次なる章を、ここで私からお伝えいたします。 データの活用が人々を幸せにする 2011年に遡らせてください。私は太田一樹と古橋貞之をアメリカに連れ、3人でトレジャーデータを創業しました。 当時の私たちは、トレジャーデータのコアとなるビジョンとミッションをどう具現化させるかの議論に夢中になっていました。どうやって「テクノロジーと人間の関係性を根本から変容させる」かということ。 「データの活用が人々を幸せにする」という信念のもと私たちが企てていたのは、データが新しい通貨

Fluentd 1.0のリリースに合わせてトレジャーデータのデベロッパーにインタビューを実施し、「黒子のような存在になりたい」という背景を訊いた。 CNCF（Cloud Native Computing Foundation）配下のログ収集のためのオープンソースソフトウェアであるFluentdは、2017年にバージョン1.0がリリースされた。記念すべき1.0というマイルストーンを達成したFluentdのデベロッパーにしてトレジャーデータ株式会社のシニアソフトウェアエンジニア、中川真宏氏にインタビューを行った。 まずリリース1.0の発表ということで1.0とそれ以前のバージョンの違いなどについて教えてください。 ツイッターなどでも誤解されている方を見かけますが、実は0.14と1.0で中身は何も変わっていないんですね。Fluentdは、0.12という最も広く使われているバージョンと最新の0.14

最近業務で Fluentd を触ることが出てきて入門したんですが、最初のうちはトラブルが起きた時に何が起きているのか、どう対処したら良いのかがさっぱりわからなかったので、「Fluentd ってログの収集とかに使われるやつでしょ？」程度の知識しかなかった過去の自分に向けて「とりあえずこれぐらいは知っておけ！」と言いたい内容をまとめてみました。 トラブルが起きた時にどの処理で問題が起きているのか素早くコードを追うことができて、データの消失を最小限に抑えつつ適切に対処できるようになることを目的としています。 なお、現時点で最新版の Fluentd v0.14.21 を対象にしています。 アジェンダ Getting Started Fluentd のアーキテクチャ Processes Supervisor process Worker process Threads Input thread En

クリアコードではOSS開発支援サービスの一環でTreasureDataさんが中心になって開発し公開しているFluentdとそのプラグインなど1の開発を支援しています。 かれこれ一年ほどやってきたので、どのようなことをやってきたのかふりかえります。 TreasureDataさんの目的はFluentdの普及促進です。Fluentdが普及すると、TreasureDataさんのサービスを利用する人が増えるためです。 クリアコードはTreasureDataさんの目的を達成するために以下のことをやっています。 TreasureData さんが手の回っていないところをサポートする IssueやPRに対応する メンテナのいないプロダクトでよく使われているものはメンテナンスを引き取る 新機能の開発 バグの修正 その他、Fluentdの普及促進につながること Fluentd やその関連ソフトウェアに関する技術