ãã‚ŒFluentdã§! #fluentd
社内勉強会ã§ç™ºè¡¨ã—ãŸå†…容ã§ã™ã€‚ ãƒã‚°ã®åŽé›†ã€åˆ†æžã€å¯è¦–化ã¾ã§ã‚’è¡Œãªã†ã€ 「Fluentd〠「Elasticsearch〠「Kibanaã€ã®çµ„ã¿åˆã‚ã›ã®ã†ã¡ã€ 今回ã¯ã€ŒFluentdã€ã«ã¤ã„ã¦ç™ºè¡¨ã‚’è¡Œã„ã¾ã—ãŸã€‚ ãƒã‚°ã®åŽé›†æ–¹æ³•ã‹ã‚‰ã€å‡ºåŠ›å…ˆã¾ã§ã‚’柔軟ã«ã‚«ã‚¹ã‚¿ãƒžã‚¤ã‚ºã§ãるオープンソース・ソフトウェアã§ã™ã€‚
Kibanaã®ãƒ€ãƒƒã‚·ãƒ¥ãƒœãƒ¼ãƒ‰è¨å®šã‚’動的生æˆã—ã¦ã¿ã‚‹
インフラ担当ã®æ± 田（@mikeda）ã§ã™ã€‚ 最近ã€Kibanaã§ã‚¢ã‚¯ã‚»ã‚¹ãƒã‚°ã®å¯è¦–化をやã£ã¦ã¿ã¦ã‚‹ã®ã§ã™ãŒã€æ‰‹ã§ãƒ€ãƒƒã‚·ãƒ¥ãƒœãƒ¼ãƒ‰ã„ã˜ã‚‹ã®ãŒãƒ€ãƒ«ã„ã§ã™ã€‚ 例ãˆã°ã†ã¡ã®å ´åˆã¯ã‚µãƒ¼ãƒã‚¯ãƒ©ã‚¹ã‚¿ã€é¡§å®¢ã‚¢ã‚«ã‚¦ãƒ³ãƒˆã”ã¨ã®ã‚¢ã‚¯ã‚»ã‚¹ã‚’見ãŸã„å ´åˆãŒå¤šãã€ãã®æ¡ä»¶ã‚’毎回指定ã™ã‚‹ã®ãŒã‚ã‚“ã©ãã•ã„。 ã“ã“ã‚’å‹•çš„ã«ç”Ÿæˆã§ããªã„ã‹ãªã€ã¨æ€ã£ã¦èª¿ã¹ã¦ã¿ã¾ã—ãŸã€‚ イメージã¨ã—ã¦ã¯ã€ 内部管ç†ç”»é¢ã«ã‚¯ãƒ©ã‚¹ã‚¿/顧客アカウントã®ä¸€è¦§ãŒã‚ã‚‹ã®ã§ãã“ã«Kibanaã®ãƒªãƒ³ã‚¯ã‚’è¨ç½®ã—ã¦ã€ クリックã™ã‚‹ã¨é©åˆ‡ã«è¨å®šã•ã‚ŒãŸKibanaã«é£›ã¶ã€ ã¨ã„ã†æ„Ÿã˜ã§ã™ã€‚ Kibanaã®ã‚½ãƒ¼ã‚¹ã‚³ãƒ¼ãƒ‰ã‚„ドã‚ュメントã¯ãœã‚“ãœã‚“èªã‚“ã§ãªã„ã®ã§ã™ãŒï¼ˆã™ã¾ã›ã‚“ｗ）ã€UIã‚’ãƒãƒãƒãƒè§¦ã£ã¦ã‚‹ã¨ã¨ã‚Šã‚ãˆãšä»¥ä¸‹ã®2ã¤ã®æ–¹æ³•ã§ãªã‚“ã¨ã‹ã§ããã†ã§ã—ãŸã€‚ Kibanaサーãƒã«è¨å®šãƒ•ã‚¡ã‚¤ãƒ«é…ç½® ElasticSearchã«è¨å®šçªã£è¾¼ã‚“ã§ãƒªãƒ€ã‚¤ãƒ¬ã‚¯ãƒˆ Kibanaサーãƒã«è¨å®šãƒ•ã‚¡ã‚¤
Kibanaå‘ã‘Fluentdè¨å®šä¾‹â‘ アクセスãƒã‚°å¯è¦–化 - ã»ã‚ã„ã¨ã¼ãƒ¼ã©
ã©ã¡ã‚‰ã‹ã¨ã„ã†ã¨Fluentdã®è¨å®šã®è©±ãªã®ã§ã™ãŒã€ Kibana上ã§ãƒ‡ãƒ¼ã‚¿ã‚’扱ã†ã“ã¨ã‚‚考慮ã—ã¦ã€ãらã„ã®æ„Ÿã˜ã§ã€‚ アクセスãƒã‚°ã®å¯è¦–化ã¯ã‚ˆãã‚ã‚‹ã‚„ã¤ãªã®ã§ç´°ã‹ã„所ã¯é£›ã°ã—ã¾ã™ã€‚ 1段目：ãƒã‚°åŽé›†å…ˆã‹ã‚‰ã®è»¢é€è¨å®š <source> type tail path /path/to/apache_access.log format /(?<message>.*)/ pos_file /var/log/td-agent/apache_access.pos tag apache.access.HOSTNAME </source> <match **> type forward flush_interval 1s <server> host FORWARD_HOST </server> </match>以å‰ã®è¨˜äº‹ã§ã¯in_tailã«ãƒ‘ースを書ã„ã¦ã„ã¾ã—ãŸãŒã€ パラメータãŒå¢—減ã™ã‚‹ã®ã«æ¯Žå›žå¯¾å¿œã—ãŸã‚Šã€
Fluentular: a Fluentd regular expression editor
Regular Expression ^test Test String test Custom Time Format (see also ruby document; strptime) Example (Apache) Regular expression: ^(?<host>[^ ]*) [^ ]* (?<user>[^ ]*) \[(?<time>[^\]]*)\] "(?<method>\S+)(?: +(?<path>[^ ]*) +\S*)?" (?<code>[^ ]*) (?<size>[^ ]*)(?: "(?<referer>[^\"]*)" "(?<agent>[^\"]*)")?$ Time Format: %d/%b/%Y:%H:%M:%S %z
fluentdã®format(æ£è¦è¡¨ç¾)ã®ä½œã‚Šæ–¹ã«ã¤ã„ã¦è©¦è¡ŒéŒ¯èª¤ä¸ #fluentd - Glide Note
Fluentdを触るよã†ã«ãªã£ã¦ã€ã„ã‚ã‚“ãªãƒã‚°ã‚’fluentd㫠渡ã™ã‚ˆã†ã«è©¦è¡ŒéŒ¯èª¤ã—ã¦ã„る最ä¸ã€‚ td-agent.confã€fluent.confを用æ„ã™ã‚‹ã¨ãã«ä»»æ„ã®jsonå½¢å¼ã«ã™ã‚‹ãŸã‚ã« æ£è¦è¡¨ç¾ã‚’用ã„ã¦formatを書ãå¿…è¦ãŒã‚ã‚‹ã‚“ã§ã™ãŒã€formatã®ä½œã‚Šæ–¹ã¨ã„ã†ã‹ãƒ‡ãƒãƒƒã‚¯æ–¹æ³•ã«ã¤ã„㦠ã©ã†ã„ã†æ‰‹é †ã«ä½œã‚‹ã¨è‰¯ã„ã®ã‹æƒ…å ±ãŒãƒãƒƒãƒˆä¸Šã«è¦‹å½“ãŸã‚‰ãšè©¦è¡ŒéŒ¯èª¤ä¸ã€‚ ã‚‚ã£ã¨è‰¯ã„方法を教ãˆã¦ã‚‚らã„ãŸã„ã®ã§ã€ä»Šã‚„ã£ã¦ã„る方法を晒ã—ã¦ã¿ã‚‹ã€‚ ãã‚‚ãã‚‚ã®ç–‘å•ã€ã©ã†ã‚„ã£ã¦formatを作るã®ã‹ ãŸã¨ãˆã°fluentd関連ã®æƒ…å ±ã‚’èª¿ã¹ã¦ã‚‹ã¨ã€ #fluentd 㧠maillog ã‚’èªã¿è¾¼ã‚“㧠MongoDB ã«æŠ•å…¥ - 酒日記 ã¯ã¦ãªæ”¯åº— format /^(?<date>[^ ]+) (?<host>[^ ]+) (?<process>[^:]+): (?<message>((?<key>[^ :
リリースã€éšœå®³æƒ…å ±ãªã©ã®ã‚µãƒ¼ãƒ“スã®ãŠçŸ¥ã‚‰ã›
最新ã®äººæ°—エントリーã®é…ä¿¡
j次ã®ãƒ–ックマーク
kå‰ã®ãƒ–ックマーク
lã‚ã¨ã§èªã‚€
eコメント一覧を開ã
oページを開ã
excale.net
Solrã¨Elasticsearchã®æ¯”較
{{#tags}}- {{label}}
{{/tags}}