AWS Redshift デザインパターン データãƒãƒ¼ãƒ‰ç·¨20161027 hadoop summit Generating Recommendations at Amazon Scale with Apach...
「fluentdã€ã¨ã€ŒStormã€ã®æ¯”較ã«ã¤ã„㦠- Tous Les Jours 攻防記
ã¾ãšã€ä¸¡è€…ã¯ã‹ãªã‚Šæ€§è³ªã®ç•°ãªã‚‹ãƒ—ãƒãƒ€ã‚¯ãƒˆãªã®ã§ã€ä»¥ä¸‹ã®æ¯”較ã¯ç‹é•ã„。 ç‹é•ã„ã§ã‚ã‚‹ã“ã¨ã‚’å‰æã«ã€ã‚¹ãƒˆãƒªãƒ¼ãƒ データ処ç†ãƒ—ラットフォームã¨ã—ã¦ã®ä¸¡è€…を比ã¹ã¦ã¿ã‚‹ã€‚ åŸºæœ¬æƒ…å ± fluentd http://fluentd.org/ 今をã¨ãã‚ããƒã‚°ã‚³ãƒ¬ã‚¯ã‚¿ãƒ¼/イベントアグリゲーター。Rubyã§å®Ÿè£…ã•ã‚Œã¦ã„ã‚‹ãŒè»½é‡é«˜é€Ÿã€‚ RPC基盤ã§ã¯ãªãã€ãã®ä¸‹ã®ãƒ¬ã‚¤ãƒ¤ãƒ¼ã«ä½ç½®ã™ã‚‹ãƒ—ãƒãƒ€ã‚¯ãƒˆã€‚ Storm http://storm-project.net/ 分散RPC基盤。ストリームデータ版MapReduce風フレームワーク。Java+Clojureã§å®Ÿè£…ã•ã‚Œã¦ã„る。 概è¦ã«ã¤ã„ã¦ã¯ã€ä¸‹è¨˜ã®ã‚¹ãƒ©ã‚¤ãƒ‰ãŒã¨ã¦ã‚‚ã‚ã‹ã‚Šã‚„ã™ã‹ã£ãŸã€‚ Twitterã®ãƒªã‚¢ãƒ«ã‚¿ã‚¤ãƒ 分散処ç†ã‚·ã‚¹ãƒ†ãƒ 「Stormã€å…¥é–€ ストリームデータ処ç†ã§ä½•ã‚’ã™ã‚‹ã®ã‹ã«ã¤ã„㦠ストリームデータ処ç†ã®ãƒ‹ãƒ¼ã‚ºã«ã¤ã„ã¦ã€è‡ªåˆ†ãŒç†è§£ã—ã¦ã„る範囲ã§ã®ç°¡å˜ãªèª¬æ˜Žã€‚ å…¸
Fluentdã¨GrowthForecastを使ã£ã¦è‡ªåˆ†ã®è¡Œå‹•ã‚’ãƒã‚®ãƒ³ã‚°ãƒ»å¯è¦–化ã™ã‚‹ - ã™ãŽã‚ƒãƒ¼ã‚“メモ
ãŠãらãã¯ãã‚Œã•ãˆã‚‚平凡ãªæ—¥ã€…: ã‚‚ã«ã‹ã˜ã§ã‚ªãƒ¬ã‚ªãƒ¬ç›£è¦–ツールã«ã¤ã„ã¦è©±ã—ã¦ãã¾ã—㟠GrowthForecast.plã§è‡ªåˆ†ãƒã‚®ãƒ³ã‚°ã—ã¦ã¿ãŸ - by edvakf in hatena ã®è¨˜äº‹ã®ã‚ˆã†ã«ã€Fluentdã‚„GrowthForecastを使ã£ãŸãƒã‚®ãƒ³ã‚°ã£ã¦é¢ç™½ãã†ã ãªãƒ¼ã¨æ€ã£ã¦è‡ªåˆ†ã§ã‚‚ã‚„ã£ã¦ã¿ãŸã€‚ アプリケーション毎ã®ã‚¢ã‚¯ãƒ†ã‚£ãƒ–ãªæ™‚é–“ã‚’å–ã‚‹ ã¾ãšè€ƒãˆãŸã®ã¯ã“れ。ã‚ーイベント発ç«å›žæ•°ã»ã©ç´°ã‹ããªãã¦ã‚‚ã€ã€Œã‚¢ã‚¯ãƒ†ã‚£ãƒ–ã«ã—ã¦ã„る時間ã®å‰²åˆã€ãŒå–ã‚ŒãŸã‚‰ãã‚Œã¯ãã‚Œã§è‰¯ã„ã‹ãªã€ã¨ã€‚ 1秒ã”ã¨ã«ã‚¢ã‚¯ãƒ†ã‚£ãƒ–ãªã‚¢ãƒ—リを調ã¹ã¦ãƒã‚®ãƒ³ã‚°ã—ã¦ã„ã。Mac OS Xã«ãŠã„ã¦ã‚¢ã‚¯ãƒ†ã‚£ãƒ–ãªã‚¢ãƒ—リケーションを調ã¹ã‚‹ãªã‚‰AppleScriptãŒç°¡å˜ã€‚ name of (info for (path to frontmost application)) ã“ã‚Œã ã‘ã§ã‚¢ã‚¯ãƒ†ã‚£ãƒ–ã«ã—ã¦ã„るアプリケーションåãŒå–れる。
Fluentdã§å§‹ã‚るリアルタイムã§ã®ãƒã‚°æœ‰åŠ¹æ´»ç”¨
ã¯ã˜ã‚ã« Fluentdã¯ã€ãƒã‚°ã‚’åŽé›†ã—æ ¼ç´ã™ã‚‹ãŸã‚ã®ãƒã‚°åŽé›†åŸºç›¤ã‚½ãƒ•ãƒˆã‚¦ã‚§ã‚¢ã§ã™ã€‚Fluentdã«ã‚¤ãƒ³ãƒ—ットã•ã‚ŒãŸã€ã™ã¹ã¦ã®ãƒã‚°ã‚’JSONã«å¤‰æ›ã—ã€ã‚¢ã‚¦ãƒˆãƒ—ットã—ã¾ã™ã€‚インプットã¨ã‚¢ã‚¦ãƒˆãƒ—ットã¯ãƒ¢ã‚¸ãƒ¥ãƒ¼ãƒ«åŒ–ã•ã‚Œã¦ãŠã‚Šã€ãƒ¢ã‚¸ãƒ¥ãƒ¼ãƒ«ã‚’è¿½åŠ ã™ã‚‹ã“ã¨ã§ã‚¤ãƒ³ãƒ—ット元ã¨ã‚¢ã‚¦ãƒˆãƒ—ãƒƒãƒˆå…ˆã‚’è¿½åŠ ã§ãるよã†ã«ãªã£ã¦ã„ã¾ã™ã€‚ Fluentdã¯æ€¥é€Ÿã«çŸ¥å度を高ã‚ã€å¤šãã®Webサービス会社ã§å®Ÿéš›ã«ä½¿ç”¨ã•ã‚Œã‚‹ã‚ˆã†ã«ãªã‚Šã¾ã—ãŸã€‚従æ¥ã®ãƒã‚°ãŒæŠ±ãˆã¦ã„ãŸå•é¡Œã‚‚ã€FluentdãŒé©åˆ‡ãªè§£æ±ºç–ã¨ãªã£ã¦ã„ã‚‹ã¨èªçŸ¥ã•ã‚Œã€ã‹ã¤ç°¡å˜ã«å°Žå…¥ãƒ»ã‚¹ãƒ¢ãƒ¼ãƒ«ã‚¹ã‚¿ãƒ¼ãƒˆã§ãるミドルウェアã§ã‚ã£ãŸã“ã¨ãŒå¤§ãã‹ã£ãŸã¨æ€ã„ã¾ã™ã€‚ 本稿ã§ã¯ã€Fluentdã®ç°¡å˜ãªä»•çµ„ã¿ã¨å°Žå…¥æ–¹æ³•ã€ã‚·ãƒ³ãƒ—ルãªå‹•ä½œäº‹ä¾‹ã«ã¤ã„ã¦ç´¹ä»‹ã—ã¾ã™ã€‚ 対象èªè€… システム管ç†è€… データサイエンティスト å¿…è¦ãªç’°å¢ƒ UNIXç³»OS Ruby 1.9 ãƒã‚°ã‚’出力ã™ã‚‹ç†ç”± システムé‹ç”¨ã‚’始ã‚ã‚‹
LTSV ãŒè¡ŒæŒ‡å‘㪠Key-Value フォーマットã§æ—る話 - naoyaã®ã¯ã¦ãªãƒ€ã‚¤ã‚¢ãƒªãƒ¼
引ã続ã LTSV ã«ã¤ã„ã¦ã€‚Text::LTSV ã¯ã‚„ã£ã¦ã‚‹ã“ã¨ã¯å˜ã«ã‚¿ãƒ–ã® split ã§ã—ょã†ã‚‚ãªã„ã®ã ã‘ã©ã€ã›ã£ã‹ã作ã£ãŸã‚“ã ã—何ã‹åˆ©ç”¨æ–¹æ³•ã¯ãªã„ã‹ãªã¨è€ƒãˆãŸã€‚ LTSV ã®ãƒã‚°ã¯æ¬ 点ãŒã‚ã£ã¦ãã®ã¾ã¾ã§ã¯è¦‹ã¥ã‚‰ã„ã“ã¨ã€‚ Text::LTSV ã§ãƒãƒƒã‚·ãƒ¥ã«ãªã‚‹ã®ã ã‹ã‚‰ã€YAML ã¨ã‹ã§å‡ºåŠ›ã—ãŸã‚‰ã©ã†ãªã‚‹ã‹è©¦ã—ã¦ã¿ã‚ˆã†ã€‚ã•ã‚‰ã«ã€YAML ã«è‰²ã¥ã‘ã™ã‚‹ YAML::Tiny::Color ã¨ã„ã†ã®ãŒã‚ã£ãŸãžã€‚ #!/usr/bin/env perl use strict; use warnings; use Project::Libs; use YAML::Tiny::Color qw/Dump/; use Text::LTSV; while (<>) { my $hash = Text::LTSV->parse_line($_); print Dump $hash; } ã“ã‚“ãªã‚¹ã‚¯ãƒªãƒ—
LTSVフォーマットãªãƒã‚°ã‚’ fluentd + GrowthForecast ã§æ–™ç† - naoyaã®ã¯ã¦ãªãƒ€ã‚¤ã‚¢ãƒªãƒ¼
ã“ã“æ•°å¹´ã®ãƒ‡ãƒ¼ã‚¿è§£æžã®é‡è¦æ€§ã®é«˜ã¾ã‚Šã‹ã‚‰ã€ãƒã‚°ã«é–¢ã™ã‚‹ã‚½ãƒªãƒ¥ãƒ¼ã‚·ãƒ§ãƒ³ãŒæ–¹ã€…ã§æ´»ç™ºã«æŽ¢æ±‚ã•ã‚Œã¦ã„る昨今ã§ã”ã–ã„ã¾ã™ã€‚ウェブサーãƒãƒ¼ã®å˜ç´”ãªã‚¢ã‚¯ã‚»ã‚¹ãƒã‚°ã‚’ãã®ã¾ã¾ä¿å˜ã™ã‚‹ã§ã¯ãªãè¿½åŠ æƒ…å ±ã‚’æ·»åŠ ã—ã¦ã¿ãŸã‚Šã€ã‚ã‚‹ã„ã¯ã‚¢ãƒ—リケーションã‹ã‚‰ç›´æŽ¥ãƒã‚°ã‚’åã„ã¦ãれらをデータウェアã«æŠ•ã’込んã§ï½¥ï½¥ï½¥ã¨ã„ã†ã®ã‚‚当然ã®ã‚ˆã†ã«è¡Œã†ã‚ˆã†ã«ãªã‚Šã¾ã—ãŸã。 ã—ã‹ã—ã‚ã¾ã‚Šè‡ªç”±åº¦ã®ãªã„ access_log ã® combined フォーマット。ã•ã¦ã©ã†ã—ãŸã‚‚ã‚“ã‹ï½¥ï½¥ï½¥ ã“ã“㧠id:stanaka ã®ç™»å ´ã§ã™ã€‚ Labeled Tab Separated Valueã¨ã„ã†ã®ã¯ã€ã¯ã¦ãªã§ä½¿ã£ã¦ã„ã‚‹ãƒã‚°ãƒ•ã‚©ãƒ¼ãƒžãƒƒãƒˆã®ã“ã¨ã§ã€åºƒã使ã‚ã‚Œã¦ã„ã‚‹TSV(Tab Separated Value)フォーマットã«ãƒ©ãƒ™ãƒ«ã‚’付ã‘ã¦æ‰±ã„易ãã—ãŸã‚‚ã®ã§ã™ã€‚ã¯ã¦ãªã§ã¯ã€ã‚‚ã†3年以上ã€ã“ã®ãƒ•ã‚©ãƒ¼ãƒžãƒƒãƒˆã§ãƒã‚°ã‚’残ã—ã¦ã„ã¦ã€one-linerã‹ã‚‰flue
fluetntdを実行ã™ã‚‹ã¨ã€unexpected error error="Address already in use - bind(2)"ãŒå‡ºã¦å‹•ã‹ãªã„ - Qiita
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? ã“ã¡ã‚‰ http://fluentd.org/doc/install.html#id1 ã«ã‚る通りã«ã€fluentdを実行ã—ã¦ã‚‚下記ã®ã‚¨ãƒ©ãƒ¼ãŒå‡ºã¦å®Ÿè¡Œã§ãã¾ã›ã‚“。 ãªã«ã‹ã€ã”å˜çŸ¥ã®æ–¹ãŒå±…らã£ã—ゃれã°ã”æ•™æŽˆé ‚ã‘ã‚‹ã¨å¹¸ã„ã§ã™ã€‚ 2012-01-25 01:37:42 +0900: fluent/supervisor.rb:143:supervise: starting fluentd-0.10.9 2012-01-25 01:37:42 +0900: fluent/supervisor.rb:225:read_config: reading
Failure Scenarios | Fluentd
This article lists various Fluentd failure scenarios. We will assume that you have configured Fluentd for High Availability, so that each app node has its local forwarders and all logs are aggregated into multiple aggregators. Table of Contents Apps Cannot Post Records to Forwarder Forwarder or Aggregator Fluentd Goes Down Storage Destination Goes Down Apps Cannot Post Records to Forwarder In the
Apacheã®ã‚µãƒ³ãƒ—ルãƒã‚°ã‚’生æˆã—続ã‘るスクリプト
最新ã®è¨˜äº‹ã¯ã“ã¡ã‚‰ã§ã™ã€‚ Fluentdã®ãƒ†ã‚¹ãƒˆã‚’ã™ã‚‹éŽç¨‹ã§æ¬²ã—ã‹ã£ãŸã®ã§ã€Apacheã®ãƒã‚°ã‚’生æˆã—続ã‘るスクリプトを書ãã¾ã—ãŸã€‚ ã¨è¨€ã£ã¦ã‚‚生æˆéƒ¨åˆ†ã¯TreasureDataã®ã‚¹ã‚¯ãƒªãƒ—トを丸ã±ãã‚Šã§æµé‡åˆ¶é™ã‚’ã™ã‚‹ã‚ªãƒ—ã‚·ãƒ§ãƒ³ã‚’è¿½åŠ ã—ã¦å»¶ã€…ã¨å‡ºåŠ›ã™ã‚‹ã‚ˆã†ã«ã—ãŸã ã‘ã§ã™ã€‚ frsyuki++。 手元ã§ã‚µã‚¯ãƒƒã¨productionã§ç¢ºèªã§ãる人ã¯ã†ã‚‰ã‚„ã¾ã—ã™ã€‚ 使ã„æ–¹ã¯ä»¥ä¸‹ã®ã‚ˆã†ãªæ„Ÿã˜ã§ã™ã€‚詳細ã¯READMEを見ã¦ãã ã•ã„。 ruby sample_apache_gen.rb [--rate=0] [--limit=0] [--rotate=0] [--progress] [--json] [outfile] --rate 毎秒何レコード生æˆã™ã‚‹ã‹ã®æŒ‡å®šã€‚0以下ã¯åˆ¶é™ç„¡ã—。 --limit 最大何件出力ã™ã‚‹ã‹ã€‚0以下ã¯å»¶ã€…ã¨å‡ºåŠ›ã—続ã‘る。 --rotate ãƒãƒ¼ãƒ†ãƒ¼ã‚·ãƒ§ãƒ³ã®é–“隔。å˜ä½ã¯ç§’指定。
1
ランã‚ング
ランã‚ング
ランã‚ング
リリースã€éšœå®³æƒ…å ±ãªã©ã®ã‚µãƒ¼ãƒ“スã®ãŠçŸ¥ã‚‰ã›
最新ã®äººæ°—エントリーã®é…ä¿¡
j次ã®ãƒ–ックマーク
kå‰ã®ãƒ–ックマーク
lã‚ã¨ã§èªã‚€
eコメント一覧を開ã
oページを開ã
{{#tags}}- {{label}}
{{/tags}}