fluent と hoop を使って HDFS にリアルタイムにログを流す - tester7のブログ

fluent と hoop を使って HDFS にリアルタイムにログを流す - tester7のブログ

概要 複数台のWebサーバのログを fluent と hoop を使ってリアルタイムにHDFSに追記していくテスト。 よ...概要を表示 概要 複数台のWebサーバのログを fluent と hoop を使ってリアルタイムにHDFSに追記していくテスト。 より頻度の高い行動解析を行うことができるようになる？ 参考にしたブログ： tagomorisのメモ置き場 テスト構成 # 初めてテキストで図書いた。 # 線を交差させる所で面倒くさくなって適当に... web01 server fluent master +---------+ +---------+ | Fluentd |--+--->| Fluentd |--+ +---------+ |+-->+---------+ | Proxy || +-->+--------+ +--------+ || | hoop |-->| HDFS | web02 server || fluent slave +-->+--------+ +--------+ +---------+

• fluentd
• hadoop
• HDFS
• fluent
• log
• ログ解析
• ログ
• Apache
• *あとで