![5
Project
• もともとはTreasure Data のデータコレクタ部分を、オープンソース化
• 2013年、国内外で広く浸透
• 世界中でデータを解析可能な形で収集するのをお手伝い
"We use Fluentd to collect massive data logs for our platforms. Having
developed a system based on Fluentd, we are now effectively monitoring and
analyzing our services in real-time. We are very much satisfied with its flexibility,
especially how easy it is to use in tandem with other systems."
"We utilize Fluentd to collect a very large amount of logs. The logs are
written into Hadoop HDFS clusters, and are also used to analyze
various service statuses in realtime. We also use many plugins from
rubygems.org to further enhance this mechanism."
Fluentd is very similar to Apache Flume or Facebook’s Scribe
[but] it’s easier to install and maintain and has better
documentation and support than either Flume or Scribe”
Fluentd オープンソースプロジェクトのユーザー例 (http://fluentd.org/)](https://image.slidesharecdn.com/20131213fluentdcasual-131213060329-phpapp01/85/Treasure-Agent-Monitoring-Service-5-320.jpg)
![8
モニターエージェント
• Fluentdの内部情報をHTTP経由で取得可能にするためのプラグイン
#
# 設定ファイルに下記を追加
#
<source>
type monitor_agent
bind 0.0.0.0
port 24220
</source>
$ curl http://host:24220/api/plugins.json
{"plugins":[
{"plugin_id":"object:
3fec669d6ac4","type":"forward","output_plugin":fal
se,"config":{"type":"forward"}},
{"plugin_id":"object:
3fec66ae3dcc","type":"stdout","output_plugin":true
,"config":{"type":"stdout"}},{"plugin_id":"object:
3fec66aead48","type":"forward","output_plugin":tr
ue,"buffer_queue_length":
0,"buffer_total_queued_size":0,"retry_count":
0,"config”{"type":"forward","host":"192.168.0.11"}}]
}
バッファ情報が取得可能、バッファ
れを検知出来る。](https://image.slidesharecdn.com/20131213fluentdcasual-131213060329-phpapp01/85/Treasure-Agent-Monitoring-Service-8-320.jpg)
More Related Content
What's hot (20)
Similar to Treasure Agent Monitoring Service (ベータ) (20)
![[デブサミ秋2015] 新卒入社エンジニアが２年間fluentdを運用して学んだ事いろいろ](https://cdn.slidesharecdn.com/ss_thumbnails/devsumiautumn-151015035724-lva1-app6892-thumbnail.jpg?width=560&fit=bounds)
More from Treasure Data, Inc. (20)
Recently uploaded (6)
Treasure Agent Monitoring Service (ベータ)
- 1. Board Meeting Treasure Agent Presentation Monitoring Service August 15th, 2013 - 3:30PM PDT Presented by Hironobu Yoshikawa – CEO Kazuki Ohta – CTO Rich Ghiossi – VP, Marketing Keith Goldstein – VP, Sales Kengo Hirouchi – Director, Japan Ankush Rustagi – Director, Marketing Founder & CTO 太田 一樹 @kzk_mover <[email protected]> www.treasuredata.com Copyright 2013
- 2. 会社概要 チーム概要 2011年12月創業、米国カリフォルニア州。 創業者は日本人3人組。2013年12月現在、社 員約30名。 Hiro Yoshikawa – CEO Open source business veteran Kaz Ohta – CTO Founder of Hadoop Group Japan Sadayuki Furuhashi – Chief Architect MessagePack, Fluentd ビッグデータの収集・保存・解析を一手に行 えるクラウドサービスを提供。他のサービス と異なり、数日で始められるのが特徴。 サービスコンセプト • すぐに使い始められる • クラウドサービスとしての提供を行う • シンプルな機能セット、手厚いサポート • “Trend Setting Products” in Data for 2014 (Database Trends and Applications) • “5 Hot Big Data Startups” (Enterprise Apps Today) Keith Goldstein – VP Sales & BD VP, Business Devt, Tibco and Talend Rich Ghiossi – VP Marketing VP Marketing, ParAccel and HP 投資家概要 Sierra Ventures – (Tim Guleri) Leading venture capital firm in Big Data Bill Tai Renown investor, GP Charles River Ventures Jerry Yang Founder, Yahoo! Yukihiro “Matz” Matusmoto Creator, “Ruby” programming language James Lindenbaum Founder, Heroku
- 5. 5 Project • もともとはTreasure Data のデータコレクタ部分を、オープンソース化 • 2013年、国内外で広く浸透 • 世界中でデータを解析可能な形で収集するのをお手伝い "We use Fluentd to collect massive data logs for our platforms. Having developed a system based on Fluentd, we are now effectively monitoring and analyzing our services in real-time. We are very much satisfied with its flexibility, especially how easy it is to use in tandem with other systems." "We utilize Fluentd to collect a very large amount of logs. The logs are written into Hadoop HDFS clusters, and are also used to analyze various service statuses in realtime. We also use many plugins from rubygems.org to further enhance this mechanism." Fluentd is very similar to Apache Flume or Facebook’s Scribe [but] it’s easier to install and maintain and has better documentation and support than either Flume or Scribe” Fluentd オープンソースプロジェクトのユーザー例 (http://fluentd.org/)
- 6. 6 本日の話: Fluentdのモニタリング • 公式ドキュメント • http://docs.fluentd.org/articles/monitoring • いくつかの方法が紹介されています。 • Fluentd Meetup #2 @外道父 Fluentdを優しく見守る監視事例 • http://www.slideshare.net/GedowFather/fluentd-meetup-2fluentd • Monitによる監視事例 • あまりまとまった資料が無く、よく質問される。監視して れば防げるデータ事故がかなり多い。 @ TD
- 7. 7 そもそも何をモニタリングしないといけないか？ • 基本編 • プロセス監視 • ポート監視 • システム情報 • CPU/Memory/Network • Fluentd特化編 • buffer れ • buffer flushのリトライ回数 • Fluentd自体のエラー / ワーニングログ
- 8. 8 モニターエージェント • Fluentdの内部情報をHTTP経由で取得可能にするためのプラグイン # # 設定ファイルに下記を追加 # <source> type monitor_agent bind 0.0.0.0 port 24220 </source> $ curl http://host:24220/api/plugins.json {"plugins":[ {"plugin_id":"object: 3fec669d6ac4","type":"forward","output_plugin":fal se,"config":{"type":"forward"}}, {"plugin_id":"object: 3fec66ae3dcc","type":"stdout","output_plugin":true ,"config":{"type":"stdout"}},{"plugin_id":"object: 3fec66aead48","type":"forward","output_plugin":tr ue,"buffer_queue_length": 0,"buffer_total_queued_size":0,"retry_count": 0,"config”{"type":"forward","host":"192.168.0.11"}}] } バッファ情報が取得可能、バッファ れを検知出来る。
- 9. 9 アンケート: みなさんどこまでやっていますか？ • プロダクションで使ってる人？ • CPU/Memory等のシステム情報？ • Fluentdのプロセス監視？ • Fluentdのポート監視? • Fluentdのログ？ • Fluentdのバッファ れ？
- 10. 10 本日発表 ”Treasure Agent Monitoring Service”
- 11. 11 Treasure Agent Monitoring Service • td-agentのモニタリングサービス • Treasure Dataのクラウドサービスの一機能 • fluent-plugin-td-monitoringをインストール • td-agent v1.1.18 にはこっそり既に入っております Treasure Agent td-monitoring Treasure Data Service 統計情報の定期送付 (毎分) • システム統計情報 • Fluentd内部メトリクス情報 • SSLによる送信
- 12. 12 設定ファイルの書き換え (8行! 簡単!) # # 設定ファイルに下記を追加 # <source> type td_monitor_agent # TD の APIキー apikey TREASURE_DATA_APIKEY # インスタンスID instance_id aggregator1 </source> リスタート後、動作開始 # # カウント処理を追加 # <match apache.**> type td_counter <store> type file path /path/to/apache.log time_slice_format %Y%m%d time_slice_wait 10m time_format %Y%m%dT%H%M%S%z buffer_type file buffer_path /path/to/buf </store> </match>
- 13. 13 デモ
- 14. 14 提供形態: フリー (無料) • Treasure Dataのフリープランの一機能 • 台数など、何らかの制限はフリープランにつけると 思います • まずはaggregatorノードから使ってみて下さい • 本日はベータリリース • フィードバック頂けるユーザー様を探しています • [email protected] までメールを頂くか、終了後 に Treasure Data の誰かに名刺を渡して頂けると嬉 しいです！！！
- 15. 15 まとめ • Fluentdのモニタリングサービスはじめます • $ yum upgrade td-agent • $ apt-get upgrade td-agent • $ gem install fluent-plugin-td-monitoring • フィードバックを頂ける先進ユーザーを探して います。 [email protected] までメール下さ い！