LTSVフォーマットãªãƒã‚°ã‚’ fluentd + GrowthForecast ã§æ–™ç† - naoyaã®ã¯ã¦ãªãƒ€ã‚¤ã‚¢ãƒªãƒ¼
ã“ã“æ•°å¹´ã®ãƒ‡ãƒ¼ã‚¿è§£æžã®é‡è¦æ€§ã®é«˜ã¾ã‚Šã‹ã‚‰ã€ãƒã‚°ã«é–¢ã™ã‚‹ã‚½ãƒªãƒ¥ãƒ¼ã‚·ãƒ§ãƒ³ãŒæ–¹ã€…ã§æ´»ç™ºã«æŽ¢æ±‚ã•ã‚Œã¦ã„る昨今ã§ã”ã–ã„ã¾ã™ã€‚ウェブサーãƒãƒ¼ã®å˜ç´”ãªã‚¢ã‚¯ã‚»ã‚¹ãƒã‚°ã‚’ãã®ã¾ã¾ä¿å˜ã™ã‚‹ã§ã¯ãªãè¿½åŠ æƒ…å ±ã‚’æ·»åŠ ã—ã¦ã¿ãŸã‚Šã€ã‚ã‚‹ã„ã¯ã‚¢ãƒ—リケーションã‹ã‚‰ç›´æŽ¥ãƒã‚°ã‚’åã„ã¦ãれらをデータウェアã«æŠ•ã’込んã§ï½¥ï½¥ï½¥ã¨ã„ã†ã®ã‚‚当然ã®ã‚ˆã†ã«è¡Œã†ã‚ˆã†ã«ãªã‚Šã¾ã—ãŸã。 ã—ã‹ã—ã‚ã¾ã‚Šè‡ªç”±åº¦ã®ãªã„ access_log ã® combined フォーマット。ã•ã¦ã©ã†ã—ãŸã‚‚ã‚“ã‹ï½¥ï½¥ï½¥ ã“ã“㧠id:stanaka ã®ç™»å ´ã§ã™ã€‚ Labeled Tab Separated Valueã¨ã„ã†ã®ã¯ã€ã¯ã¦ãªã§ä½¿ã£ã¦ã„ã‚‹ãƒã‚°ãƒ•ã‚©ãƒ¼ãƒžãƒƒãƒˆã®ã“ã¨ã§ã€åºƒã使ã‚ã‚Œã¦ã„ã‚‹TSV(Tab Separated Value)フォーマットã«ãƒ©ãƒ™ãƒ«ã‚’付ã‘ã¦æ‰±ã„易ãã—ãŸã‚‚ã®ã§ã™ã€‚ã¯ã¦ãªã§ã¯ã€ã‚‚ã†3年以上ã€ã“ã®ãƒ•ã‚©ãƒ¼ãƒžãƒƒãƒˆã§ãƒã‚°ã‚’残ã—ã¦ã„ã¦ã€one-linerã‹ã‚‰flue
ãƒã‚°ã‚’LTSVã‚„JSONã§ä¿å˜ã—ãŸå ´åˆã®ã‚µã‚¤ã‚ºæ¯”較 - stanaka's blog
追記(2/17) 変æ›ã‚¹ã‚¯ãƒªãƒ—トを見ã›ã¦ã»ã—ã„ã€ã¨ã„ã†è¦æœ›ãŒã‚ã£ãŸã®ã§ã€ https://gist.github.com/stanaka/4967403 ã«ä¸Šã’ã¦ãŠãã¾ã—ãŸã€‚ltsvã‚’èªã¿è¾¼ã‚“ã§ã‚ªãƒ—ションã§æŒ‡å®šã—ãŸãƒ•ã‚©ãƒ¼ãƒžãƒƒãƒˆ(デフォルト JSON)ã«å¤‰æ›´ã—ã¾ã™ã€‚ 追記ã“ã“ã¾ã§ LTSVã®ç››ã‚Šä¸Šã‚Šã‚‚åŽæŸã—ã¦ãã¦ã„ã¾ã™ãŒã€ã‚µã‚¤ã‚ºã«é–¢ã™ã‚‹æ‡¸å¿µãŒã‚ãŒã£ã¦ã„ãŸã®ã§ã€ç¢ºèªã—ã¦ã¿ã¾ã—ãŸã€‚ 手近ã«ã‚ã£ãŸã‚¢ã‚¯ã‚»ã‚¹ãƒã‚° 186万件ã»ã©ã‚’対象ã«ã€ ssv .. Combined Log Formatã®æ‹¡å¼µã§ã€ãƒ©ãƒ™ãƒ«ãªã— (レスãƒãƒ³ã‚¹æ™‚é–“ã¨ã‹10個ãらã„ã®ãƒ•ã‚£ãƒ¼ãƒ«ãƒ‰ã‚’æ‹¡å¼µã—ã¦ã„ã¾ã™) json .. ラベルã‚ã‚Š ltsv .. ラベルã‚ã‚Š ã®3パターンã§è©¦ã—ã¦ã¿ã¾ã—ãŸã€‚ ã¾ãšã¯è¡Œæ•°ã‚’確èªã—ã¦ãŠãã¾ã™ã€‚ % wc -l access_log.json 1861706 access_log.json未圧縮ã ã¨ã€ a
Excelã§LTSVèªã‚€ã‚ˆãƒ¼ - aike’s blog
LTSVãŒæœ€è¿‘熱ã„ã§ã™ã。ãƒã‚°ãƒ•ã‚¡ã‚¤ãƒ«ã®ãƒ•ã‚©ãƒ¼ãƒžãƒƒãƒˆã¯ã“ã‚Œã§æ±ºã¾ã‚Šã€ã¿ãŸã„ãªã€‚ ã¨ã¯ã„ãˆã€æ¥å‹™ã‚·ã‚¹ãƒ†ãƒ ã ã¨ã„ã¾ã ã«äººæœˆè¨ˆç®—ã¨ã‚¹ãƒ¼ãƒ„ã¨Excelã®ä¸–ç•Œãªã®ã§ã€ä¸Šå¸ã«æ出ã™ã‚‹å ´åˆã¨ã‹ãã®ã‚ãŸã‚Šã®è¦ªå’Œæ€§ã‚’ãªã‚“ã¨ã‹ã—ãŸã„ã¨ã“ã‚ã§ã™ã€‚ ãã‚“ãªã‚ã‘ã§Excelã§LTSVã‚’èªã‚るよã†ã«VBAを書ã„ã¦ã¿ã¾ã—ãŸã€‚ã“ã‚Œã§ãƒã‚°ã‚’罫線ã§å›²ã£ãŸã‚Šã‚»ãƒ«ã«è‰²ã‚’ã¤ã‘ãŸã‚Šã§ãã¾ã™ï¼å¬‰ã—ã„ã®ã‹ã€ãれ。 Attribute VB_Name = "LtsvLoader" ' ' LtsvLoader.bas ' ' This program is licensed under the MIT License. ' Copyright 2013, aike (@aike1000) ' Option Explicit Dim gHash As Object Dim gMaxColumn As Integer Sub LoadLTSV
LTSV ã®ã‚‚ã†ã²ã¨ã¤ã®ãƒ¡ãƒªãƒƒãƒˆã€ã‚ã‚‹ã„ã¯ã€ãƒ—ãƒã‚°ãƒ©ãƒ ã§ãƒã‚°ã‚’出力ã™ã‚‹éš›ã«æ°—ã‚’ã¤ã‘ã‚‹ã¹ãã“㨠- kazuhoã®ãƒ¡ãƒ¢ç½®ãå ´
Labeled Tab-separated Values (LTSV) ãŒãƒ–ームã®ã‚ˆã†ã§ã™ã€‚ LTSV ã«ã¤ã„ã¦ã¯ã€ãƒ©ãƒ™ãƒ«ã‚’ã¤ã‘ã‚‹ã“ã¨ã§æŸ”軟ã«æ‹¡å¼µã§ãã‚‹ã¨ã„ã†ç‚¹ãŒã€ãã®ç‰¹å¾´ã¨ã—ã¦å–り上ã’られã¾ã™ãŒã€ã‚‚ã†ä¸€ç‚¹ã€ã‚¿ãƒ–をセパレータã«ä½¿ã†ã“ã¨ã§ãƒã‚°ã®ãƒ‘ースãŒç°¡å˜ã«ãªã£ãŸã€ã¨ã„ã†ç‚¹ã‚’忘れるã¹ãã§ã¯ãªã„ã§ã—ょã†ã€‚ 特㫠httpd ã®ãƒã‚°ã¯ NCSA httpd ã¨ã„ㆠHTTP/0.9 時代ã®Webサーãƒã®ãƒã‚°ãƒ•ã‚©ãƒ¼ãƒžãƒƒãƒˆãŒãƒ™ãƒ¼ã‚¹ã«æ‹¡å¼µã•ã‚Œã¦ããŸãŸã‚ã€ä»¥ä¸‹ã®ã‚ˆã†ã«ã‚»ãƒ‘レータã¨ã—ã¦ç©ºç™½ã€[]ã€ãƒ€ãƒ–ルクォート ("")*1ãŒæ··åœ¨ã™ã‚‹ã¨ã„ã†ã€ã¨ã¦ã‚‚処ç†ã—ã¥ã‚‰ã„ã‚‚ã®ã«ãªã£ã¦ã„ã¾ã—ãŸã€‚ã©ã‚Œã»ã©è¤‡é›‘ã‹ã¯ã€Œ404 Blog Not Found:perl - Apache Combined Log ã‚’ LTSV ã«ã€ã®å®Ÿè£…を見れã°æ˜Žã‚‰ã‹ã§ã—ょã†ã€‚ 127.0.0.1 - - [08/Feb/2012:23:52:4
Labeled Tab-separated Values (LTSV)
Description Labeled Tab-separated Values (LTSV) format is a variant of Tab-separated Values (TSV). Each record in a LTSV file is represented as a single line. Each field is separated by TAB and has a label and a value. The label and the value have been separated by ':'. With the LTSV format, you can parse each line by spliting with TAB (like original TSV format) easily, and extend any fields with
LTSV FAQ - LTSV ã£ã¦ä½•? ã©ã†ã„ã†ã¨ã“ã‚ãŒè‰¯ã„ã®? - naoyaã®ã¯ã¦ãªãƒ€ã‚¤ã‚¢ãƒªãƒ¼
LTSV ã£ã¦ä½•? Labeled Tab-Separated Values ã¨ã„ã†ã€ãƒ†ã‚ストã®ãƒ•ã‚©ãƒ¼ãƒžãƒƒãƒˆã®ä»•æ§˜ã§ã™ã€‚CSV ã‚„ TSV ã‚„ JSON ãã®ã»ã‹ã¨åŒã˜ã€ãƒ†ã‚ストデータã®ãƒ•ã‚©ãƒ¼ãƒžãƒƒãƒˆå。主ã«ãƒã‚°ã€ç‰¹ã« httpd ã®ã‚¢ã‚¯ã‚»ã‚¹ãƒã‚°ãªã©ã«é©ç”¨ã™ã‚‹ã¨ä¾¿åˆ©ã§ã™ã€‚ 仕様㯠http://ltsv.org ã«ã¾ã¨ã¾ã£ã¦ã„ã¾ã™ã€‚éšæ™‚æ›´æ–°ä¸ã§ã™ã€‚ LTSV ã¯å˜ãªã‚‹ãƒã‚°ã®ãƒ•ã‚©ãƒ¼ãƒžãƒƒãƒˆã§ã‚ã£ã¦ã€ãれ以上ã§ã‚‚ãれ以下ã§ã‚‚ã‚ã‚Šã¾ã›ã‚“。 LTSV ã£ã¦ã‚¿ãƒ–区切りã§å€¤ã«åå‰ã‚’付ã‘ãŸã ã‘ã®ã‚‚ã®? ã¯ã„ã€ãã†ã§ã™ã€‚ ã“れ㌠127.0.0.1 - frank [10/Oct/2000:13:55:36 -0700] "GET /apache_pb.gif HTTP/1.0" 200 2326 "http://www.example.com/start.html" "Mozilla/4.08 [en] (
LTSV ã® Stream Parser ã‚’ Stream2 ã§æ›¸ã„ã¦ã¿ãŸ - Block Rockin’ Codes
Update 2013/02/12 JSON => JSON Object ã«(JSON string ã§ãªã„ã‚‚ã®ã¯)ä¿®æ£ LTSV LTSV ãŒæµè¡Œã£ã¦ã„ãŸã‚“ã§ã™ãŒã€å®Œå…¨ã«ä¹—ã‚Šé…れ㦠Node ã‚‚ Go も実装ã¯å‡ºã¦ã—ã¾ã„ã¾ã—ãŸã€‚ Node ã®æ–¹ã¯ sasaplus1 ã•ã‚“ã®ã‚‚ã®ãŒ ã“ã¡ã‚‰ ã«ã‚ã‚‹ã‚“ã§ã™ãŒã€ãƒ‘ーサ関数ã®ã¿ã§ Stream ã§ã¯ãªã‹ã£ãŸã®ã§ã€ Stream 実装を書ã„ã¦ã¿ã¾ã—ãŸã€‚ ltsv-stream Jxck/ltsv-stream · GitHub npm ã§ã‚¤ãƒ³ã‚¹ãƒˆãƒ¼ãƒ«ã§ãã¾ã™ã€‚ npm install ltsv-stream Stream2 Node ã§ã® Stream ã®é‡è¦æ€§ã¯ã€ã“ã®ãƒ–ãƒã‚°ã§ã‚‚何度ã‹æ›¸ã„ã¦ããŸã¨æ€ã„ã¾ã™ãŒã€ã“ã® Stream 㯠Stream2 ã¨ã„ã†æ–°ã—ã„実装ã«å¤‰ã‚ã‚Šã¤ã¤ã‚ã‚‹ (Stability: 2 - Unstable, v0.9 以é™
Labeled Tab Separated Values (LTSV) ノススメ - stanaka's blog
追記(2/8 11:30) id:naoyaã«ã‚ˆã‚‹ä¸€é€£ã®ã¾ã¨ã‚ãŒã€ä»ŠåŒ—産æ¥ã€‘3分ã§åˆ†ã‹ã‚‹LTSVæ¥ç•Œã®ã¾ã¨ã‚ã€LTSV】 - naoyaã®ã¯ã¦ãªãƒ€ã‚¤ã‚¢ãƒªãƒ¼ã«ã‚ã‚Šã¾ã™ã€‚ ã¾ãŸã€ä»•æ§˜ãªã©ã‚’ã¾ã¨ã‚ã‚‹ãŸã‚ã« http://ltsv.org/ ã‚’ç«‹ã¡ä¸Šã’ã¾ã—ãŸã€‚ 追記ã“ã“ã¾ã§ Labeled Tab Separated Values (LTSV) ã¨ã„ã†ã®ã¯ã€ã¯ã¦ãªã§ä½¿ã£ã¦ã„ã‚‹ãƒã‚°ãƒ•ã‚©ãƒ¼ãƒžãƒƒãƒˆã®ã“ã¨ã§ã€åºƒã使ã‚ã‚Œã¦ã„ã‚‹TSV(Tab Separated Value)フォーマットã«ãƒ©ãƒ™ãƒ«ã‚’付ã‘ã¦æ‰±ã„易ãã—ãŸã‚‚ã®ã§ã™ã€‚ã¯ã¦ãªã§ã¯ã€ã‚‚ã†3年以上ã€ã“ã®ãƒ•ã‚©ãƒ¼ãƒžãƒƒãƒˆã§ãƒã‚°ã‚’残ã—ã¦ã„ã¦ã€one-linerã‹ã‚‰fluentdã€Apache Hiveã¾ã§å¹…広ã便利ã«ä½¿ãˆã¦ã„ã¾ã™ã€‚ ãƒã‚°ãƒ•ã‚©ãƒ¼ãƒžãƒƒãƒˆã«æœŸå¾…ã•ã‚Œã‚‹ã“ã¨ã¯ã€ フォーマットãŒçµ±ä¸€ã•ã‚Œã¦ã„ã‚‹ → 共通ã®ãƒ„ールã§é›†è¨ˆã—易ㄠ新ã—ã„フィールドã®è¿½åŠ ãŒå®¹æ˜“ → サー
1
メンテナンス
ãŠçŸ¥ã‚‰ã›
障害
リリースã€éšœå®³æƒ…å ±ãªã©ã®ã‚µãƒ¼ãƒ“スã®ãŠçŸ¥ã‚‰ã›
最新ã®äººæ°—エントリーã®é…ä¿¡
j次ã®ãƒ–ックマーク
kå‰ã®ãƒ–ックマーク
lã‚ã¨ã§èªã‚€
eコメント一覧を開ã
oページを開ã
GitHub - ymotongpoo/goltsv: LTSV reader/writer for Go
{{#tags}}- {{label}}
{{/tags}}