Rist_Meetup_Kaggleã¯æ¥å‹™ã®å½¹ã«ãŸã¤ - ビジãƒã‚¹ã‚³ãƒ³ãƒ†ãƒ³ãƒ„æƒ…å ±ã‚’æ´»ç”¨ã™ã‚‹ BtoB 事æ¥ç·¨ - / rist-meetup-20241012
GCPをフル活用ã—ãŸã‚²ãƒ¼ãƒ ãƒã‚°åŽé›†åŸºç›¤ã®æ§‹ç¯‰
Rist_Meetup_Kaggleã¯æ¥å‹™ã®å½¹ã«ãŸã¤ - ビジãƒã‚¹ã‚³ãƒ³ãƒ†ãƒ³ãƒ„æƒ…å ±ã‚’æ´»ç”¨ã™ã‚‹ BtoB 事æ¥ç·¨ - / rist-meetup-20241012
柔軟ãªãƒã‚°åŽé›†ã‚’å¯èƒ½ã«ã™ã‚‹ã€Œfluentdã€å…¥é–€ | ã•ãらã®ãƒŠãƒ¬ãƒƒã‚¸
複数å°ã®ã‚µãƒ¼ãƒãƒ¼ã‚„クラウド環境を組ã¿åˆã‚ã›ã¦ã®ã‚µãƒ¼ãƒ“スé‹ç”¨ã«ãŠã„ã¦ã¯ã€ãƒã‚°ã®åŽé›†æ–¹æ³•ã«å·¥å¤«ãŒå¿…è¦ã¨ãªã‚‹ã€‚ã“ã†ã„ã£ãŸå ´åˆã«æœ‰ç”¨ãªã®ãŒã€ã•ã¾ã–ã¾ãªãƒã‚°ã®åŽé›†æ‰‹æ®µã‚’æä¾›ã™ã‚‹fluentdã 。今回ã¯fluentdã®ã‚¢ãƒ¼ã‚テクãƒãƒ£ã‚„ãã®ã‚¤ãƒ³ã‚¹ãƒˆãƒ¼ãƒ«/è¨å®šæ–¹æ³•ã€åŸºç¤Žçš„ãªè¨å®šä¾‹ãªã©ã‚’紹介ã™ã‚‹ã€‚ ã•ã¾ã–ã¾ãªæ–¹æ³•ã§ãƒã‚°ã‚’åŽé›†ã§ãã‚‹fluentd 今回紹介ã™ã‚‹fluentdã¯ã€Treasure DataãŒé–‹ç™ºã™ã‚‹ãƒã‚°åŽé›†ç®¡ç†ãƒ„ールã （図1）。オープンソースã§å…¬é–‹ã•ã‚Œã¦ãŠã‚Šã€Linuxã‚„å„種UNIXã§å‹•ä½œã™ã‚‹ã€‚ 図1 fluentdã®Webサイト ãƒã‚°åŽé›†ã®ãŸã‚ã®ã‚½ãƒ•ãƒˆã‚¦ã‚§ã‚¢ã¨ã—ã¦ã¯syslogdã‚„syslog-ngãªã©ãŒæœ‰åã ãŒã€fluentdãŒã“れらã¨ç•°ãªã‚‹ç‚¹ã¨ã—ã¦ã¯ã€ä»¥ä¸‹ãŒæŒ™ã’られる。 ã•ã¾ã–ã¾ãªã‚½ãƒ¼ã‚¹ã‹ã‚‰ã®ã‚¤ãƒ™ãƒ³ãƒˆã‚’ã•ã¾ã–ã¾ãªåª’体ã«å‡ºåŠ›ã§ãã‚‹ fluentdã®å¤§ããªç‰¹å¾´ã¨ã—ã¦ã¯ã€ãƒã‚°ã®åŽé›†æ–¹æ³•ã‚„ãƒã‚°ã®è¨˜
Fluentdã¨ãƒã‚°åŽé›†ã®ãƒ‘ターン - Go ahead!
「ãƒã‚°ã‚’集ã‚ã¦ä¿å˜ã™ã‚‹ã€ã¨è¨€ã†ã®ã¯ç°¡å˜ã ã‘ã©ï¼Œãƒã‚°åŽé›†ã®æ§‹æˆã«ã¯ã„ãã¤ã‹æ–¹æ³•ãŒã‚り，勉強会ãªã©ã§ã¡ã‚‡ãã¡ã‚‡ãèžã‹ã‚Œã‚‹ã®ã§ï¼Œã„ãã¤ã‹ã®ãƒ‘ターンã«ã¤ã„ã¦æ›¸ã． 「俺ã¯ã‚‚ã†ãƒãƒªãƒãƒªãƒã‚°åŽé›†ã‚„ã£ã¦ã‚‹ãœï¼ã€ã¨ã„ã†äººã¯å¤šåˆ†ã™ã§ã«çŸ¥ã£ã¦ã„ã‚‹ã“ã¨ãŒæ›¸ã‹ã‚Œã¦ã„ã‚‹ã®ã§ï¼Œã‚¿ãƒ–ã‚’é–‰ã˜ã¦è‰¯ã„． ã“ã“ã§ã¯ãƒã‚°ã‚³ãƒ¬ã‚¯ã‚¿ã«Fluentdを想定ã—ã¦ã„ã‚‹ãŒï¼Œä»–ã®ãƒã‚°åŽé›†ãƒ—ãƒãƒ€ã‚¯ãƒˆã«ã‚‚é©ç”¨å‡ºæ¥ã‚‹ã¯ãšï¼Ž ãŸã ，Fluentdã¯ã‚¿ã‚°ãƒ™ãƒ¼ã‚¹ã®ãƒ«ãƒ¼ãƒ†ã‚£ãƒ³ã‚°ã‚’æŒã¡ï¼Œå˜ä½“ã§ã‚‚ã‚ューã®ã‚ˆã†ã«å‹•ä½œã•ã›ã‚‹ã“ã¨ãŒå¯èƒ½ã§ï¼Œæ—¢å˜ã®ã‚‚ã®ã‚ˆã‚Šè¤‡é›‘ãªå•é¡Œã‚’解決ã—よã†ã¨ã—ã¦ã„ã‚‹ã®ã§ï¼Œå°‘ã—工夫ãŒå¿…è¦ã‹ã‚‚ã—ã‚Œãªã„． Fluentdãã®ã‚‚ã®ã«ã¤ã„ã¦ã¯å…¬å¼ãƒ‰ã‚ュメントや，Fluentdã¨ã¯ã©ã®ã‚ˆã†ãªã‚½ãƒ•ãƒˆã‚¦ã‚§ã‚¢ãªã®ã‹ã‚’å‚考ã«ï¼Ž クライアントã‹ã‚‰ç›´æŽ¥ä¿å˜ã™ã‚‹ ã„ããªã‚ŠFluentdを使ã‚ãªã„パターン．JavaScript SDKã‚’æä¾›ã—ã¦ã„る解æžã‚µãƒ¼ãƒ“スやモãƒã‚¤ãƒ«ç«¯æœ«
ãƒã‚°åˆ†æžå‹‰å¼·ä¼š vol.1 - 資料一覧 - connpass
終了 2015/10/15（木） 19:00〜 ãƒã‚°åˆ†æžå‹‰å¼·ä¼š vol.1 ã‚»ã‚ュリティã®é™£ kenji kobayashi ä»– æ±äº¬éƒ½åƒä»£ç”°åŒºå¹³æ²³ç”º2-16-1 平河町森タワー2F
Fluentd + Kinesis + Elasticsearch + Kibana / Grafanaã§ã®ãƒªã‚¢ãƒ«ã‚¿ã‚¤ãƒ ãƒã‚°è§£æžåŸºç›¤ | Tech Blog - リクルートä½ã¾ã„カンパニー
ã“ã‚“ã«ã¡ã¯ã€SUUMOスマホサイトã®é–‹ç™ºãƒãƒ¼ãƒ ã«æ‰€å±žã—ã¦ã„るエンジニアã®ä¸Šé‡Žã§ã™ã€‚ 今回ã¯ã€ãƒªã‚¢ãƒ«ã‚¿ã‚¤ãƒ ãƒã‚°è§£æžåŸºç›¤ã‚’紹介ã—ã¾ã™ã€‚ 背景 皆様ã¯webサーãƒãƒã‚°ç›£è¦–（アクセスãƒã‚°ãƒ»ã‚¨ãƒ©ãƒ¼ãƒã‚°ãªã©ï¼‰ã‚’ã©ã®ã‚ˆã†ã«è¡Œã‚ã‚Œã¦ã„ã‚‹ã§ã—ょã†ã‹ï¼Ÿ スーモスマホサイトã§ã¯ã€ã‚¢ã‚¯ã‚»ã‚¹æ•°å¢—åŠ ã«ä¼´ã„サーãƒå°æ•°ãŒå¢—ãˆã€csshX地ã“ã‚“ã«ã¡ã¯ã€SUUMOスマホサイトã®é–‹ç™ºãƒãƒ¼ãƒ ã«æ‰€å±žã—ã¦ã„るエンジニアã®ä¸Šé‡Žã§ã™ã€‚ 今回ã¯ã€ãƒªã‚¢ãƒ«ã‚¿ã‚¤ãƒ ãƒã‚°è§£æžåŸºç›¤ã‚’紹介ã—ã¾ã™ã€‚ 背景 皆様ã¯webサーãƒãƒã‚°ç›£è¦–（アクセスãƒã‚°ãƒ»ã‚¨ãƒ©ãƒ¼ãƒã‚°ãªã©ï¼‰ã‚’ã©ã®ã‚ˆã†ã«è¡Œã‚ã‚Œã¦ã„ã‚‹ã§ã—ょã†ã‹ï¼Ÿ スーモスマホサイトã§ã¯ã€ã‚¢ã‚¯ã‚»ã‚¹æ•°å¢—åŠ ã«ä¼´ã„サーãƒå°æ•°ãŒå¢—ãˆã€ csshX 地ç„ã«é™¥ã‚Šã¾ã—ãŸã€‚（以下ã®å›³ã®ã‚ˆã†ãªçŠ¶æ…‹ã®ã“ã¨ã§ã™ã€‚） ãƒã‚°ã®ç¢ºèªãŒå¿…è¦ã«ãªã£ãŸéš›ã«ã€ã“ã® csshX を使用ã—ã¦ç§˜ä¼ã®ãƒ¯ãƒ³ãƒ©ã‚¤ãƒŠãƒ¼ã§ç¢ºèªã—ãŸã„部分をtailã—ã¦æŠ½å‡ºã—ã¦ã„ã¾ã—ãŸãŒ
Windowsã®ã‚¤ãƒ™ãƒ³ãƒˆãƒã‚°ã‚’自動アーカイブã§é•·æœŸé–“ä¿å˜ã™ã‚‹
解説 イベント・ãƒã‚°ã¯Windows OSã«ãŠã‘ã‚‹é‡è¦ãªç®¡ç†æ©Ÿèƒ½ã®1ã¤ã§ã‚る。記録ã•ã‚ŒãŸãƒã‚°ã‚’確èªã™ã‚‹ã“ã¨ã«ã‚ˆã‚Šã€ã‚·ã‚¹ãƒ†ãƒ ã®å‹•ä½œçŠ¶æ³ã‚’把æ¡ã—ãŸã‚Šã€ã‚¨ãƒ©ãƒ¼ãªã©ã®åŽŸå› を調査ã—ãŸã‚Šã§ãる。 イベント・ãƒã‚°ã«è¨˜éŒ²ã§ãã‚‹ãƒã‚°æ•°ã«ã¯ä¸Šé™ãŒã‚る（æ£ç¢ºã«ã¯ã€ã‚¤ãƒ™ãƒ³ãƒˆãƒ»ãƒã‚°ã®ãƒ•ã‚¡ã‚¤ãƒ«ãƒ»ã‚µã‚¤ã‚ºã«ä¸Šé™ãŒè¨ã‘られã¦ã„る。記録ã•ã‚Œã‚‹ã‚¤ãƒ™ãƒ³ãƒˆã®æƒ…å ±é‡ã«ã‚ˆã£ã¦ã€æœ€å¤§è¨˜éŒ²å¯èƒ½ä»¶æ•°ã¯å¤‰ã‚る）。イベント・ãƒã‚°ãŒã„ã£ã±ã„ã«ãªã£ãŸå ´åˆã¯ã€Windows Server 2003以å‰ã®Windows OSã§ã¯ã€Œå¤ã„イベントã‹ã‚‰ä¸Šæ›¸ãã—ã¦è¨˜éŒ²ã™ã‚‹ã€ã‹ã€ã€Œãれ以上記録ã™ã‚‹ã“ã¨ã‚’æ¢ã‚ã€å¤ã„ãƒã‚°ãŒä¸Šæ›¸ãã•ã‚Œã‚‹ã“ã¨ã‚’é¿ã‘ã‚‹ã€ã¨ã„ã†é¸æŠžè‚¢ã—ã‹ãªã‹ã£ãŸã€‚ã ãŒã‚¤ãƒ™ãƒ³ãƒˆãƒ»ãƒã‚°ã¯ãƒˆãƒ©ãƒ–ル・シューティングã®ãŸã‚ã®é‡è¦ãªæƒ…å ±æºã§ã‚ã‚Šã€ä¸Šæ›¸ãã—ãŸã‚Šã€è¨˜éŒ²ã›ãšç ´æ£„ã™ã‚‹ã€ã¨ã„ã†é¸æŠžã¯æœ›ã¾ã—ããªã„。ãã“ã§ã€ãªã‚‹ã¹ã多ãã®ãƒã‚°ã‚’残ã™ãŸã‚ã€å¾“æ¥ã¯ã‚¤ãƒ™ãƒ³ãƒˆãƒ»ãƒã‚°ãƒ»ãƒ•ã‚¡ã‚¤
Fluentd | Open Source Data Collector
Fluentd is an open source data collector for unified logging layer. Fluentd allows you to unify data collection and consumption for a better use and understanding of data.
grepã§ãƒã‚°è§£æžã‚’ã™ã‚‹ãªã‚“ã¦ã²ã©ã„話ã | POSTD
今ã§ã‚‚〠systemdã®journal ã«ãŠã‘ã‚‹ãƒã‚¤ãƒŠãƒªã®ã‚¹ãƒˆãƒ¬ãƒ¼ã‚¸ãƒ•ã‚©ãƒ¼ãƒžãƒƒãƒˆã«é–¢ã—ã¦ã€ä¸æº€ã‚’æ¼ã‚‰ã™äººãŒå¤šãã„ã‚‹ã“ã¨ã«ç§ã¯é©šãã‚’éš ã›ã¾ã›ã‚“。ç§ã¯é•·å¹´ã€ã‚·ã‚¹ãƒ†ãƒ 管ç†è€…ã¨ã—ã¦åƒã„ã¦ãã¦ãŠã‚Šã€1年以上も syslog-ng 㮠オープンソースエディションã®ãƒ¡ãƒ³ãƒ†ãƒŠ ã¨ã—ã¦æ´»å‹•ã—ã¦ãã¾ã—ãŸã€‚ã ã‹ã‚‰ã“ãã€ãƒ†ã‚ストã§ã¯ãªã„ストレージフォーマットã«å¯¾ã—ã¦ã€ãªãœå¤šãã®äººãŒæ‰¹åˆ¤çš„ãªã®ã‹ã€ç§ã¯ç†è§£ã«è‹¦ã—ã‚“ã§ã„ã¾ã™ã€‚æ›´ã«ã€åè«–ã‚’å”±ãˆã‚‹äººã¾ã§ã„ã‚‹ã“ã¨ãŒä¿¡ã˜ã‚‰ã‚Œã¾ã›ã‚“。もã—ã‹ã—ãŸã‚‰ã€ç§ã¯åˆ¥ä¸–ç•Œã®äººé–“ãªã®ã‹ã‚‚ã—ã‚Œã¾ã›ã‚“。ã§ã™ãŒã€ã‚ˆã‚Šè‰¯ã„é¸æŠžè‚¢ãŒã‚ã‚‹ã®ã«ã€ãƒ†ã‚ストã®ã‚¹ãƒˆãƒ¬ãƒ¼ã‚¸ã‚’使ã†ç†ç”±ã¯ã»ã¨ã‚“ã©ã‚ã‚Šã¾ã›ã‚“。ãƒã‚®ãƒ³ã‚°ã‚’ã™ã‚‹å¿…è¦æ€§ã€ãã—ã¦ãªãœã€ãƒ†ã‚ストã®ãƒã‚°ã‚¹ãƒˆãƒ¬ãƒ¼ã‚¸ã«å¯¾ã—ã¦ãã“ã¾ã§ç”¨å¿ƒæ·±ã„ã®ã‹ã«ã¤ã„ã¦ã€ç§ã¯ä½•åº¦ã‚‚å°‹ãられã¾ã—ãŸã€‚ã“ã“ã«ã€ç§ãŒå°Žã出ã—ãŸç”ãˆã‚’紹介ã—ãŸã„ã¨æ€ã„ã¾ã™ã€‚ ã“ã‚Œã¯ã€journalã«ã¤ã„ã¦å¼æ˜Žã™ã‚‹
考ãˆã‚‹æ ªå¼æŠ•è³‡:ãƒãƒ•ã‚§ãƒƒãƒˆã¨ã‚°ãƒ¬ã‚¢ãƒ 掲示æ¿
ヤフーã®æŽ²ç¤ºæ¿ã§ã¨ã¦ã‚‚ã™ã°ã‚‰ã—ã„掲示æ¿ãŒã‚り〠管ç†äººã®sinkuã•ã‚“を始ã‚ã¨ã™ã‚‹ä¸¦ã¿å±…る投資家㌠ãƒãƒ•ã‚§ãƒƒãƒˆã€ã‚°ãƒ¬ã‚¢ãƒ ç³»ã®æŠ•è³‡æ‰‹æ³•ã«ã¤ã„㦠活発ãªè°è«–ã‚’ã—ã¦ã„ã¾ã—ãŸã€‚ ã—ã‹ã—今ã§ã¯æŠ•ç¨¿æ•°ã‚‚減ã£ã¦ã—ã¾ã„ã„ã¤æ¶ˆæ»…ã™ã‚‹ ã‹ã‚‚ã‚ã‹ã‚‰ãªã„状æ³ãªã®ã§ã€ï¼‘ã¤ã®HTMLファイル㫠ã¾ã¨ã‚ã¦ä¿å˜ã—ãŸã„ã¨æ€ã„ã¾ã™ã€‚ ダウンãƒãƒ¼ãƒ‰ã¯ã“ã¡ã‚‰ 個人投資家ã®æ–¹ã€…ã«ã¯éžå¸¸ã«éžå¸¸ã«ãŸã‚ã«ãªã‚‹ 金言ãŒã¡ã‚Šã°ã‚られã¦ã„ã‚‹ã¨æ€ã„ã¾ã™ã€‚ 投資を始ã‚ã‚‹å‰ã«ã€ä¸€åº¦èªã¾ã‚Œã‚‹ã“ã¨ã‚’ãŠå‹§ã‚致ã—ã¾ã™ã€‚ ç§ã‚‚ã€ã‚‚ã£ã¨ã‚‚ã£ã¨ç²¾é€²ã—ãŸã„ã¨æ€ã„ã¾ã™ï¼ P.S. è’らã—投稿ã€è¨‚æ£ç³»ç‰ã€è°è«–ã¨é–¢ä¿‚ãªã„投稿 ã«ã¤ã„ã¦ã¯ã€å®¹é‡500KB以下ã«ã™ã‚‹ãŸã‚削除ã—ã¦ã„ã¾ã™ã€‚
1
リリースã€éšœå®³æƒ…å ±ãªã©ã®ã‚µãƒ¼ãƒ“スã®ãŠçŸ¥ã‚‰ã›
最新ã®äººæ°—エントリーã®é…ä¿¡
j次ã®ãƒ–ックマーク
kå‰ã®ãƒ–ックマーク
lã‚ã¨ã§èªã‚€
eコメント一覧を開ã
oページを開ã
{{#tags}}- {{label}}
{{/tags}}