Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? 近年、自分の中で集計／可視化は Fluentd(datacounter)+Growthforecast で定番化していました。 しかしプロダクトで新たに集計／可視化の要件が出てきたことと、 最近可視化ツール周りで 「Kibanaってなんじゃ？」「Graphiteってなんじゃ？」「InfluxDBってなんじゃ？」 など、このツール達は一体何なんだろう…？というのが前々から気になっていました。 今回良い機会なので ◯◯は何をするものなのか？ というのを一つ一つ調べてみました。 いわゆる「触ってみた系」の記事なので だいぶ浅い感じです。 大分

多くの方々の要望をうけ，トレジャーデータ日本語公式ブログを開設しました。本ブログでは，以下の様なカテゴリでの記事をアップデートしていくつもりです： ニュースリリース：日米でのトレジャーデータのニュースをいち早くお伝えします。 トレジャーデータアナリティクス：トレジャープラットフォームを通じての様々な分析事例およびトピックをご紹介します。（本ブログの中の人はデータサイエンティストの井上 @doryokujin ですので，このカテゴリの記事はご期待下さい） エンジニアリングトピック：弊社精鋭のエンジニア勢によるHadoop，Fluentd周りの記事をお送りします。 最新データ分野情報：今後拡大していく「ウェアラブル」「IoT」「テレマティクス」などの分野での最新トピックを紹介します。 今後ともトレジャーデータをよろしくお願いします。 トレジャーデータに関するお問い合わせは support@tr

ログデータを活用してビジネスに役立てようという最近のトレンドは理解できる。 しかし、なぜログ収集ソフトウェアのFluentdがこれほどまで話題になるのか、不思議に感じている方もいるのではないだろうか。単にログデータを収集するならばsyslog-ngやrsyslogで十分ではないかという意見もあるだろう。 それらは既存のログシステムを置き換えるプロダクトであり、Fluentdのそれとは根本的に異なる。Fluentdは、既存のログシステムに手を入れることなく新たにログの収集を行い、ストリームデータ処理を実現するプロダクトなのである。 一般的にログデータはサーバの数だけ分散しており、それを定期実行処理で収集するということだけでも、なかなか骨の折れる仕事である。さらに集めるだけでなく、日々増え続けるログデータを活用できる形に加工してしかるべきデータストアに保管するということに挫折した方もいるのでは

増えるログ、多様化するログをどう効率的に運用するか：今さら聞けないfluentd～クラウド時代のログ管理入門（1）（1/2 ページ） 仮想化やクラウド化、モバイル化の進展に伴い、管理すべきログが多様化・肥大化しています。そんな中でも効率よく、意味のあるログ管理を実現するツールとして注目されている「fluentd」を、これから始めたい方のために一から解説します。 システムを安定して効率良く運用していくために、ログ管理は欠かせない要素の1つです。仮想化やクラウド化、モバイル化の進展につれてシステムはますます大規模化し、それに伴い管理すべきログが多様化・肥大化する傾向にあります。 fluentdはこういった中でも、効率よく、意味のあるログ管理を実現するために非常に有用なツールです。本連載では、fluentdの基本と具体的な活用方法を紹介します。 ログ管理の現状と課題 環境の仮想化・クラウド化、さ

複数台のサーバーやクラウド環境を組み合わせてのサービス運用においては、ログの収集方法に工夫が必要となる。こういった場合に有用なのが、さまざまなログの収集手段を提供するfluentdだ。今回はfluentdのアーキテクチャやそのインストール/設定方法、基礎的な設定例などを紹介する。 さまざまな方法でログを収集できるfluentd 今回紹介するfluentdは、Treasure Dataが開発するログ収集管理ツールだ（図1）。オープンソースで公開されており、Linuxや各種UNIXで動作する。 図1 fluentdのWebサイト ログ収集のためのソフトウェアとしてはsyslogdやsyslog-ngなどが有名だが、fluentdがこれらと異なる点としては、以下が挙げられる。 さまざまなソースからのイベントをさまざまな媒体に出力できる fluentdの大きな特徴としては、ログの収集方法やログの記

こんにちは、id:shiba_yu36です。先日行われた「Hatena Engineer Seminar #2」 に多数のご参加ありがとうございました。今回のセミナーの発表資料を公開しましたのでお知らせします。 Hatena Engineer Seminarは第3回、第4回と続けていきたいと思いますので、また是非ご応募ください。今後の開催予定については、本ブログや@hatenatechで告知させていただきます。 Vagrant と Chef でつくるはてなブックマークの開発環境 aereal (アプリケーションエンジニア はてなブックマークチーム) 開発環境をプログラマブルにする Vagrant と、ソフトウェア・インフラストラクチャをプログラマブルにする Chef を用いてはてなブックマーク開発環境を整備した体験とその方法を紹介します。 Vagrant と Chef でつくるはてなブック

2013年7月5日、社内勉強会で使用した資料です（一部修正済み）。 ライセンスはクリエイティブ・コモンズ・ゼロとします。ご自由にお使い下さい。 ソースのPowerPointファイルはこちら => http://bit.ly/begining_fluentd_learning_big_data fluent-plugin-glusterfsはこちら => https://github.com/keithseahus/fluent-plugin-glusterfsRead less