fluentd ã‹ã‚‰ elasticsearch ã®è¤‡æ•°ã® logstash å½¢å¼ index ã«ãƒã‚°ã‚’é€ã‚‹ç‚ºã®ãƒ¡ãƒ¢ - よã†ã¸ã„ã®æ—¥ã€…精進XP
ã¯ã˜ã‚ã« fluentd ã‹ã‚‰ elasticsearch ã«ãƒã‚°ã‚’é€ã‚‹éš›ã« logstash å½¢å¼ã§é€ã‚‹ã®ãŒãŠæ‰‹è»½ デフォルトã§ã¯ logstash-YYYY.MM.DD ã¨ã„ã†åå‰ã®ã‚¤ãƒ³ãƒ‡ãƒƒã‚¯ã‚¹ãŒä¸€ã¤ã—ã‹ä½œã‚‰ã‚Œãªã„ ã§ã‚‚ã€ã“ã®å½¢å¼ã§è¤‡æ•°ã®ã‚¤ãƒ³ãƒ‡ãƒƒã‚¯ã‚¹ã‚’ä¿å˜ã—ãŸã„å ´åˆã©ã†ã™ã‚‹ã®ï¼Ÿ 複数ã®ã‚¤ãƒ³ãƒ‡ãƒƒã‚¯ã‚¹ã¯ä¸è¦ã ã‘ã© elasticsearch ã® type を分ã‘ã‚‹ã“ã¨ã§ kibana ã‹ã‚‰ãã‚Œãžã‚Œã«ã‚¢ã‚¯ã‚»ã‚¹ã™ã‚‹ã“ã¨ã‚‚å¯èƒ½ ã“ã†ã™ã‚‹ logstash_prefix を使ㆠfluent-plugin-elasticsearch ã® logstash_prefix を使ã†ã€‚ <source> type tail path /var/log/nginx/access.log pos_file /tmp/nginx.pos tag nginx.access format nginx </sourc
Dockerã®Fluentd logging driverã¯ç°¡å˜ä¾¿åˆ© - aspec7's garage
Docker: Fluentd logging driverã£ã¦ï¼Ÿ docker logs ～ ã§ã‚³ãƒ³ãƒ†ãƒŠã§å‡ºåŠ›ã—ãŸãƒã‚°ãŒè¦‹ã‚Œã¾ã™ãŒã€ãã®å†…容をLog Driverを使ã†ã“ã¨ã§åˆ¥ãƒªã‚½ãƒ¼ã‚¹ã«é›†ç´„ã§ãã¾ã™ã€‚ ãã®Driverã«fluentdを使ã†ã“ã¨ãŒå‡ºæ¥ã‚‹ã®ã§ã€ç”¨é€”ã«å¿œã˜ã¦å‡ºåŠ›ã•ã‚ŒãŸå†…容を整ç†ã—ã¤ã¤åŠ¹çŽ‡çš„ãªç®¡ç†ãŒå¯èƒ½ã«ãªã‚Šã¾ã™ã€‚ 使ã„æ–¹ å„コンテナã‹ã‚‰å‡ºåŠ›ã•ã‚ŒãŸå†…容をå—ã‘ã‚‹fluentdサーãƒã®æº–å‚™ å„コンテナ起動時ã«1ã§ç”¨æ„ã—ãŸã‚µãƒ¼ãƒã«å‘ã‘るオプションをã¤ã‘ã‚‹ å„コンテナã‹ã‚‰å‡ºåŠ›ã•ã‚ŒãŸå†…容をå—ã‘ã‚‹fluentdサーãƒã®æº–å‚™ fluentã®å…¬å¼ã‚³ãƒ³ãƒ†ãƒŠä½¿ã†ã¨æ¥½ã§ã™ã€‚ ã‚‚ã¡ã‚ん別途構築ã—ãŸã‚‚ã®ã§ã‚‚構ã„ã¾ã›ã‚“。 å„コンテナ起動時ã«1ã§ç”¨æ„ã—ãŸã‚µãƒ¼ãƒã«å‘ã‘るオプションをã¤ã‘ã‚‹ docker run ～時ãªã©ã«ä¸‹è¨˜ã®ã‚ªãƒ—ションをã¤ã‘ã‚‹ã ã‘ã§ã™ã€‚ docker run --log-driver=flu
コードを一切書ã‹ãšã«GitLabã‚’æ—らã›ã‚‹ - id:bash0C7ã®é€²æ— éŽåŽ»ã‚¢ãƒ¼ã‚«ã‚¤ãƒ–[〜2019-02-23]
ドリコムã•ã¾ã¨æˆ‘ãŒä»•äº‹å ´ã¨ã®åˆåŒå‹‰å¼·ä¼šã€ŒGitLabé”æ”¹é€ ã‚«ãƒ³ãƒ•ã‚¡ãƒ¬ãƒ³ã‚¹ã€ã§ç™ºè¡¨ã—ã¦ãã¾ã—ãŸã€‚ 発表内容 JSONãŒé£›ã‚“ã§ãã‚‹Web Hookã¯ã€Fluentdã®in_httpã§å—ã‘ã‚‹ã¨ã„ã„よ å„種プラグインをFluentdã®è¨å®šãƒ•ã‚¡ã‚¤ãƒ«æ›¸ã„ã¦çµ„ã¿åˆã‚ã›ã‚‹ã¨ãƒŽãƒ³ãƒ—ãƒã‚°ãƒ©ãƒŸãƒ³ã‚°ã§ç›¸å½“やれるよ in_httpã®è¨å®š エイãƒãƒ†ã‚£ãƒ†ã‚£ãƒ”ーインプットプラグイン | Fluentdã®ã¾ã¾ã€ãƒŽãƒ³ãƒãƒ¥ãƒ¼ãƒ‹ãƒ³ã‚°ã§ã¤ã‹ã£ã¦ã„ã¾ã™ã€‚ in_httpã§å—ã‘ãŸã‚‚ã®ã‚’idobataã«æµã™ä¾‹ ã€ãƒªãƒªãƒ¼ã‚¹å‘ŠçŸ¥ã€‘bashã•ã‚“ãŒâ€œè¨å®šãƒ•ã‚¡ã‚¤ãƒ«ã®ãƒ•ã‚©ãƒ¼ãƒžãƒƒãƒˆæ•´ãˆâ€ã‚’リリースã™ã‚‹ã‚ˆ ã¿ãŸã„ã«ã€pushã—ãŸäººã¨ã€ãã“ã«å«ã¾ã‚Œã‚‹ã‚³ãƒŸãƒƒãƒˆã®ãƒ¡ãƒƒã‚»ãƒ¼ã‚¸ã®ä»¶å部分をã¾ã‚‹ã£ã¨é€šçŸ¥ã™ã‚‹å ´åˆã®ä¾‹ã§ã™ã€‚ <match *.**> type idobata webhook_url https://idobata_WEB_HOOK_URL messa
![コードを一切書ã‹ãšã«GitLabã‚’æ—らã›ã‚‹ - id:bash0C7ã®é€²æ— éŽåŽ»ã‚¢ãƒ¼ã‚«ã‚¤ãƒ–[〜2019-02-23]](https://cdn-ak-scissors.b.st-hatena.com/image/square/481d35b9e8024199aaad940b4dde002af85c9d4d/height=288;version=1;width=512/https%3A%2F%2Fogimage.blog.st-hatena.com%2F12921228815714508769%2F12921228815717952150%2F1391738765)
開発メモ#6 : ãƒã‚°ã®å–り扱ㄠ: GrowthForecast, Amazon S3, Treasure Data ã§å¿ƒåŠ´ã‚¼ãƒ - naoyaã®ã¯ã¦ãªãƒ€ã‚¤ã‚¢ãƒªãƒ¼
開発メモ#6 ã§ã™ã€‚å‰å›žã‹ã‚‰å°‘ã—é–“ãŒã‚ã„ã¦ã—ã¾ã„ã¾ã—ãŸã€‚ 開発メモ#2 : AWS ã§ã®ãƒ›ã‚¹ãƒˆ / クラウドãƒã‚¤ãƒ†ã‚£ãƒ–ãªãƒ‡ãƒ—ãƒã‚¤ - naoyaã®ã¯ã¦ãªãƒ€ã‚¤ã‚¢ãƒªãƒ¼ ã§æ›¸ã„ãŸã‚ˆã†ã«ã€EC2 ã¸ã®ã‚¢ãƒ—リケーションã®ãƒ‡ãƒ—ãƒã‚¤ã«ã‚ãŸã£ã¦ã¯ Elastic IP ã®åˆ©ç‚¹ã‚’æ´»ã‹ã—ã¦ã‚«ã‚¸ãƒ¥ã‚¢ãƒ«ã«ãƒ›ã‚¹ãƒˆã‚’入れ替ãˆã¾ãã£ã¦ã„ã¾ã™ã€‚ã¡ã‚‡ã£ã¨ã“ã®ãƒ‡ãƒ—ãƒã‚¤ã¯æ…Žé‡ã«ãªã‚ŠãŸã„ãªã€ã¨æ€ã£ãŸã‚‰ã‚¹ãƒŠãƒƒãƒ—ショットã‹ã‚‰ã‚¤ãƒ³ã‚¹ã‚¿ãƒ³ã‚¹ã‚’ç«‹ã¡ä¸Šã’ã¦ã¯åˆ‡ã‚Šæ›¿ãˆã‚‹ã€ã®ç¹°ã‚Šè¿”ã—。 ã“ã®é‹ç”¨ã‚’ã—ã¦ã„ã‚‹ã¨ã€ã‚¹ãƒŠãƒƒãƒ—ショットã¨ã®å·®åˆ†ãŒã§ãã‚„ã™ã„ã®ã¯ chef-solo ã§å¸åŽã™ã‚‹ã¨ã„ã†ã®ãŒå‰å›žã€å‰ã€…回ã®ã¯ãªã—。 ã‚‚ã†ä¸€ç‚¹å•é¡ŒãŒã‚ã‚Šã¾ã™ã€‚アクセスãƒã‚°ã‚„アプリケーションã®ãƒã‚°ã§ã™ã€‚フãƒãƒ³ãƒˆã‚¨ãƒ³ãƒ‰ã®ã‚µãƒ¼ãƒã‚’ã‚ã£ã¡ã“ã£ã¡åˆ‡ã‚Šæ›¿ãˆã¦ã„ã‚‹ã†ã¡ã«ã€ãã®ã¾ã¾ã§ã¯ãƒã‚°ãŒåˆ†æ–ã•ã‚Œã¦ã—ã¾ã†ã€‚ホストを Terminate ã—よã†ã‚‚ã®ãªã‚‰ãƒã‚°ã¯æ¶ˆå¤±ã—ã¦ã—ã¾ã„ã¾ã™ã€‚ ã“ã®
Treasure Data - naoyaã®ã¯ã¦ãªãƒ€ã‚¤ã‚¢ãƒªãƒ¼
å°‘ã—å‰ã«ãƒã‚°ã®è©±ã‚’書ã„㟠http://d.hatena.ne.jp/naoya/20130219/1361262854 ã¨ãã«ã€Treasure Data ã«ã¤ã„ã¦ã¯å¾Œæ—¥ã«ã‚‚ã†å°‘ã—詳細ã«æ›¸ãã¨è¨€ã£ãŸã®ã§æ›¸ãã¨ã—よã†ã€‚ è¿‘é ƒ Treasure Data (以下ã€æ™‚折 TD) ã¨ã„ã†åå‰ã‚’ã¡ã‚‰ã»ã‚‰èžã„ãŸã“ã¨ãŒã‚る人ã¯å¤šã„ã®ã§ã¯ãªã„ã‹ã¨æ€ã„ã¾ã™ã€‚「ビッグデータã®ã‚¯ãƒ©ã‚¦ãƒ‰ã‚µãƒ¼ãƒ“スã§ã‚ã‚‹ã€ã¨ã‹ã€Œæ—¥æœ¬äººãŒå‰µæ¥ã—ãŸã‚·ãƒªã‚³ãƒ³ãƒãƒ¬ãƒ¼ã®ãƒ™ãƒ³ãƒãƒ£ãƒ¼ã€ã€ã‚ã‚‹ã„㯠Yahoo! 創æ¥è€…ã® Jerry Yang ãŒæŠ•è³‡ã—ãŸã¨ã‹ã€Fluentd ã¨ä½•ã‹é–¢ä¿‚ãŒã‚ã‚‹ã¨ã„ã£ãŸæ–‡è„ˆãªã©ãªã©ã€‚ ã‘ã©ã€å…·ä½“çš„ã« Treasure Data ãŒã©ã†ã„ã†ã‚µãƒ¼ãƒ“スã§ã€ã©ã†ã„ã†æ©Ÿèƒ½ã‚’æŒã£ã¦ã„ã¦ã€ã©ã‚“ãªå ´é¢ã§åˆ©ç”¨ã•ã‚Œã‚‹ã‚‚ã®ãªã®ã‹ã¯ã¾ã ã‚ã¾ã‚Šè‰¯ã知られã¦ã„ãªã„ã‹ã‚‚ã—ã‚Œãªã„･･･よã†ã«ã‚‚見ãˆã‚‹ã€‚今日ã¯ãã®è¾ºã‹ã‚‰å°‘ã—紹介ã—ã¦ã„ã“ã†ã‹ãªã¨æ€ã†ã€‚
AWSを使ã£ãŸãƒ‡ãƒ¼ã‚¿è§£æžPaaSã®è£å´ - Go ahead!
JAWS DAYS 2013ã¨ã„ã†ã‚¤ãƒ™ãƒ³ãƒˆãŒã‚ã£ã¦ï¼Œ2日目ã«Treasure Dataã¨ã—ã¦ç™ºè¡¨ã—ã¦ãã¾ã—ãŸï¼Žå®Ÿã¯1日目ã«ã¯å¼Šç¤¾CTOãŒãƒ‘ãƒãƒ«ãƒ‡ã‚£ã‚¹ã‚«ãƒƒã‚·ãƒ§ãƒ³ã«ç™»å£‡ã—ãŸã‚Šã—ã¦ã¾ã—ãŸï¼Ž Slideshare Ustream Video streaming by Ustream 最åˆã¯frsyukiãŒç™»å£‡äºˆå®šã«ä¸ŠãŒã£ã¦ã„ãŸã‚“ã ã‘ã©ï¼Œä»Šå½¼ã¯ã‚¢ãƒ¡ãƒªã‚«ã¨ã„ã†ã“ã¨ã§ä»£æ‰“ã§å½¹å‰²ãŒå›žã£ã¦ããŸï¼Œã¨ã„ã†ã®ãŒç™ºè¡¨ã®çµŒç·¯ï¼Ž ãªã‚“ã‹ãƒ©ãƒ™ãƒ«ãŒâ€Devâ€ã¨â€Opsâ€ã¨ã„ã†è¶…大雑把ãªããã‚Šã§ã€ŒAWSã§â€Devâ€ã£ã¦ä½•ç™ºè¡¨ã™ã‚Œã°â€¦ã€ã¨ã„ã†çŠ¶æ…‹ã ã£ãŸã®ã§ï¼Œ AWS上ã§å±•é–‹ã—ã¦ã„ã‚‹Treasure Dataサービスã®ä»•çµ„ã¿ã«ã¤ã„ã¦ã¤ã‚‰ã¤ã‚‰ã¨è©±ã—ã¾ã—ãŸï¼Ž AWSã¹ã£ãŸã‚Šãªæ„Ÿã˜ã§ã¯ãªã㦠Treasure Dataã®ã‚µãƒ¼ãƒ“ス内容ã¨ç›®çš„ ã©ã†AWSã®ãƒ—ãƒãƒ€ã‚¯ãƒˆã‚’使ã£ã¦ã„ã‚‹ã®ã‹ ãªãœã“ã®AWSã®ã‚µãƒ¼ãƒ“スを使ã‚ãªã„ã®ã‹ ã¨ã„ã†ã®ã‚’大ã¾ã‹
1
ランã‚ング
ランã‚ング
ランã‚ング
リリースã€éšœå®³æƒ…å ±ãªã©ã®ã‚µãƒ¼ãƒ“スã®ãŠçŸ¥ã‚‰ã›
最新ã®äººæ°—エントリーã®é…ä¿¡
j次ã®ãƒ–ックマーク
kå‰ã®ãƒ–ックマーク
lã‚ã¨ã§èªã‚€
eコメント一覧を開ã
oページを開ã
Install On Heroku | 0.12 | Fluentd
{{#tags}}- {{label}}
{{/tags}}