![[db tech showcase Tokyo 2017] E21: InfluxDB+αで時系列データの異常検知を可視化してみた by 株式会社インサイ...](https://cdn.slidesharecdn.com/ss_thumbnails/e21-170912082211-thumbnail.jpg?width=560&fit=bounds)
More Related Content
What's hot (20)
Viewers also liked (20)
Similar to サイボウズのサービスを支えるログ基盤 (20)
![[大図解]ピグライフはこう動いている](https://cdn.slidesharecdn.com/ss_thumbnails/pigglifegreexca-110817005057-phpapp02-thumbnail.jpg?width=560&fit=bounds)
Recently uploaded (7)
サイボウズのサービスを支えるログ基盤
- 1. サイボウズのサービスを 支えるログ基盤 ゼロからの刷新とこれから Cybozu Meetup #6, 2017-07-25 @ueokande Cybozu Inc.
- 5. cybozu.com
- 7. cybozu.comを支えるインフラ 自社製データセンター ホスト数（実機 + VM）: 1200程度 ログ量 20億 行/day, 800 GB/day （毎秒平均 23,000行 くらい）
- 9. これまでのcybozu.comのログ基盤 1. ログを毎分ローテート 2. ローテートされたログをtarに固める 3. SSHでtarをストレージサーバーに転送 4. 転送が完了したログをホストから削除
- 11. ちくちょう。 刷新だ！ Trying to crawl here by Donnie Ray Jones | https://www.flickr.com/photos/donnieray/32890584381/
- 12. ログ基盤のゼロからの刷新
- 13. 新ログ基盤の要件 ① at least once ログを取りこぼすことなく集める ② 信頼性 どこかで障害が発生しても、全体の転送が止まらない ③ ログを活用できる ログを活用できるサービスを容易に導入できる
- 18. Kafka clusterから各サービス HBase ログをHadoop上に長期保存する Hive + Presto ユーザの動向をクエリで検索・解析する Graylog ログの検索、監視
- 20. At least once | Kafkaへのログ転送 初めはFluentdでKafkaへ転送してたが、 at least onceを満たすことが難しいと判明 転送エージェントをGoで実装 状態はatomicに更新 ローテート後もしばらく監視
- 21. At least once | Kafkaからの転送 HiveやHBaseへの経路は冗長構成 HDFS上のファイル操作もatomicに更新する必 要がある
- 23. 新ログ基盤の要件 at least once → 電源断してもデータロスが起こらないように設計 信頼性 → 冗長性をもたせたクラスタ構成とラック設計 ログを活用できる → Kafkを使うことで容易にサービスを追加できる
- 26. 苦労話 | journaldに悩まされる アプリケーションのログをjournaldに集める計画もあった 社内でjournaldを導入してみたらいろいろ問題が 長いログの行が勝手に分割される Disk Full時にjournaldが死亡する 結局ファイル最強だった
- 27. 新しいログ基盤のこれから