多段fluentd + mongodb のハマリ所 - stanaka's blog

テクノロジーカテゴリーの変更を依頼記事元:

blog.stanaka.org

68 usersがブックマークコメント

コメント

8

記事へのコメント8件

注目コメント
新着コメント

オーナーコメントを固定しています

オーナー stanaka .@kenn @repeatedly 多段fluentd+mongodbの場合は、上流のbuffer_chunk_limitも10mに抑えないといけない、という問題でした

2013/02/22 リンク

tagomoris チャンクサイズを見て分割emitするプラグイン書けばいいのでは！

2013/02/22 リンク

オーナーコメントを固定しています

オーナー stanaka .@kenn @repeatedly 多段fluentd+mongodbの場合は、上流のbuffer_chunk_limitも10mに抑えないといけない、という問題でした

2013/02/22 リンク

simar in_forward+out_mongo

2015/02/13 リンク

mooz 送信側の buffer 設定チューニング

fluentd

2014/07/18 リンク

u1tnk ハマったので助かりました！

2014/01/23 リンク

masa_matya 多段にするとき、buffer_chunk_limitを合わせる

2013/03/08 リンク

oppara 多段fluentd + mongodb のハマリ所 - stanaka's blog

2013/03/05 リンク

tech-kazuhisa ほぉ。これは覚えておこう

2013/02/22 リンク

tagomoris チャンクサイズを見て分割emitするプラグイン書けばいいのでは！

2013/02/22 リンク

注目コメント算出アルゴリズムの一部にLINEヤフー株式会社の「建設的コメント順位付けモデルAPI」を使用しています

規約違反を報告

アプリのスクリーンショット

いまの話題をアプリでチェック！

バナー広告なし
ミュート機能あり
ダークモード搭載

アプリをダウンロード

関連記事

{{ total_bookmarks_with_user_postfix }}{{ root_title }}

多段fluentd + mongodb のハマリ所 - stanaka's blog

fluentdを多段構成にして、mongo dbに出力するところでハマったのでメモ。上の構成のように、各サーバに... fluentdを多段構成にして、mongo dbに出力するところでハマったのでメモ。上の構成のように、各サーバにfluentd + out_forwardを置き、集約するログサーバにfluentd + out_mongoでmongo dbに出力している場合に、上段のfluentdでbuffer_chunk_limitを10mより大きい値にしていると、エラーになることがあります。まず、out_mongoでbuffer_chunk_limitを10m以内にしないといけない理由は、fluentdからMongo DBへ連携する際の注意点 #fluentdを参考にしてください。ここで多段構成の場合、上流の buffer_chunk_limitが大きいと上流から大きなサイズのデータの塊が流れてくることがあります。それを受けとったfluentdはそれをそのままoutput pluginに流す実装となって

ブックマークしたユーザー

simar2015/02/13
azihsoyn2014/11/08
gratt2014/11/04
ec15130792014/08/22
mooz2014/07/18
aqki2014/03/14
yusuke_10312014/03/12
u1tnk2014/01/23
syguer2013/12/01
a2ikm2013/11/18
motchang2013/10/17
skyriser2013/06/17
seikoudoku20002013/05/15
riywo2013/04/09
lEDfm4UE2013/03/31
zsiarre2013/03/27
kamipo2013/03/27
yokoji2013/03/25

同じサイトの新着

同じサイトの新着をもっと読む

いま人気の記事

いま人気の記事をもっと読む

いま人気の記事 - テクノロジー

いま人気の記事 - テクノロジーをもっと読む

新着記事 - テクノロジー

新着記事 - テクノロジーをもっと読む

設定を変更しましたx