はじめてfluent-pluginを書いた - スペクトラム

はじめてfluent-pluginを書いた - スペクトラム

ようするに github.com fluentdでちょっと溜めて、postgresにbulk insertするやつです。 そもそも fluen...概要を表示 ようするに github.com fluentdでちょっと溜めて、postgresにbulk insertするやつです。 そもそも fluentdが何をするやつなのかいまいちよく分かっていなかった。 「ログを転送する……。それで？？」みたいな。ふわっとした理解だった。 いろいろ調べていくうちに、「この考え方だとすんなり理解できるな」というポイントを発見した。 「Linuxで言うIOモデルをプロセス化したやつ」 とイメージすることで全体を理解しやすくなった。 更に雑に言うと「ちょっと溜めてなんかするやつ」である。 「何でも出来る」と言われてもよくわからなかったけど、inputをちょっと溜めて(buffer)、変換してoutputするイメージを掴むことで、fluentdの動作イメージがわいた。 例えば、アプリケーションの各プロセスで1レコードずつDBにinsertするとwrite負荷が高いけど