サービスã«å¯„ã‚Šæ·»ã†ãƒã‚°åŸºç›¤/pepabo_log_infrastructure_bigfootサービスã«å¯„ã‚Šæ·»ã†ãƒã‚°åŸºç›¤ - ãƒã‚°åŽé›†ã®ãã®å…ˆã« - ã¯ã¦ãªãƒ»ãƒšãƒ‘ボ技術大会〜インフラ技術基盤〜@京都 http://hatena.connpass.com/event/33521/
Fighting API Compatibility On Fluentd Using "Black Magic"
The document discusses Fluentd's changes to its plugin API between versions 0.12 and 0.14. In 0.14, the API was overhauled to separate entry points from implementations and introduce a plugin base class to control data and control flow. A compatibility layer was added to allow most 0.12 plugins to work unmodified in 0.14 by handling calls to overridden methods. However, plugins that override certa
Fluentdã®in_forwardã«æµã‚Œã¦ã„るレコードをtcpdumpã§è¦‹ã‚‹ - ryotarai's blog
本番環境ã§å‹•ã„ã¦ã„ã‚‹Fluentdã®in_forwardã«ä½•ãŒæµã‚Œã¦ã„ã‚‹ã®ã‹ã‚’知りãŸã„ã€ã‘ã©è¨å®šã‚’触りãŸããªã„…ã¿ãŸã„ãªå ´åˆã«æµã‚Œã¦ã„るタグやレコードを見る方法ã§ã™ã€‚特ã«Fluentdã«é™ã£ãŸè©±ã§ã¯ãªã„ã§ã™ãŒã€å‚™å¿˜éŒ²ã¨ã—ã¦æ›¸ã„ã¦ãŠãã¾ã™ã€‚ 1. tcpdumpã§ã‚ャプãƒãƒ£ 調ã¹ãŸã„サーãƒä¸Šã§ã€tcpdumpを使ã£ã¦ãƒ‘ケットã‚ャプãƒãƒ£ã‚’å–ã‚Šã¾ã™ã€‚in_forwardã®ãƒãƒ¼ãƒˆç•ªå·ãªã©ã‚’指定ã—ã¦ã‚ャプãƒãƒ£ã—ã¾ã™ã€‚ $ sudo tcpdump -i eth0 -w fluentd.pcap port 24224 and tcp 2. tcptraceã§TCPストリームã®ãƒ‡ãƒ¼ã‚¿ã ã‘åã出㙠tcptraceã¯-eオプションを渡ã™ã¨ã€TCPストリームã”ã¨ã®ãƒ‡ãƒ¼ã‚¿ã‚’ファイルã«åã„ã¦ãれるã®ã§ã“れを利用ã—ã¾ã™ã€‚ãªãŠã€tcptraceã¯Homebrewã‚„aptã§å…¥ã‚‹ã¨æ€ã„ã¾ã™ã€‚ $ tcptrace -e
10年を超ãˆãŸã‚µãƒ¼ãƒ“スã®æ”¹å–„ã‚’åŠ é€Ÿã™ã‚‹åœŸå°ä½œã‚Š - Pepabo Tech Portal
ã”契約数100万ドメインを超ãˆã‚‹ãƒ ームードメイン開発ãƒãƒ¼ãƒ ã®@pyama86ã§ã™ã€‚ã“ã‚Œã¯Pepabo Advent Calendar 2015ã®8日目ã®ã‚¨ãƒ³ãƒˆãƒªã§ã™ã€‚ 今日ã¯2004å¹´1月15日よりæ供を開始ã—ã€ã‚‚ã†ã™ã12年目を迎ãˆã‚‹ãƒ ームードメインã®ã‚µãƒ¼ãƒ“スã®æ”¹å–„ã‚’åŠ é€Ÿã™ã‚‹ä»•çµ„ã¿ã«ã¤ã„ã¦ç´¹ä»‹ã—ã¾ã™ã€‚ ã¯ã˜ã‚㫠ムームードメインã¯ä¸»ãªé–‹ç™ºè¨€èªžã¯PHPを利用ã—ã¦ã„ã¾ã™ã€‚å…ˆã«è¨˜è¼‰ã—ãŸé€šã‚Šã€12年目をもã†ã™ãè¿Žãˆã‚‹ã‚µãƒ¼ãƒ“スã§ã€æ•…ã«12年分ã®ãƒ—ãƒã‚°ãƒ©ãƒ コードãŒè©°ã¾ã£ã¦ã„ã‚‹ã“ã¨ã‚‚ã‚ã‚Šã€ç¾ä»£ã®è¨è¨ˆæ‰‹æ³•ã§ã¯æŽ¡ç”¨ã—å¾—ãªã„よã†ãªå®Ÿè£…も所々ã«æ®‹ã£ã¦ã„ã¾ã™ã€‚ãã®ä¸€ä¾‹ã¨ã—ã¦ä¸‹è¨˜ã®ã‚ˆã†ãªå®Ÿè£…ãŒã‚ã‚Šã¾ã™ã€‚ example.php require_once 'global_function.php'; $client = new exampleApi(); $result = $client->execApi();
norikra-listener-mackerel 㧠Norikra ã®ã‚¯ã‚¨ãƒªçµæžœã‚’直接 Mackerel ã«æŠ•ã’ã‚‹ - 酒日記 ã¯ã¦ãªæ”¯åº—
Norikra ã§ã‚¯ã‚¨ãƒªã—ãŸçµæžœã‚’ Mackerel ã«æŠ•ã’ãŸã„å ´åˆã€ã“ã‚Œã¾ã§ã¯ fluent-plugin-norikra ã§å–å¾—ã—㦠fluent-plugin-mackerel ã§é€ä¿¡ã™ã‚‹ã€ã¨ã„ã†ä½œã‚Šã«ã—ã¦ã„ãŸã¨æ€ã„ã¾ã™ã€‚ Norikra 1.2以é™ã§ã¯ Listener plugin ãŒä½¿ãˆã‚‹ã‚ˆã†ã«ãªã£ãŸã®ã§ã€ã‚¯ã‚¨ãƒªçµæžœã‚’直接 Norikra 上ã§æ‰±ã†ã“ã¨ãŒå¯èƒ½ã«ãªã‚Šã¾ã—ãŸã€‚ ã¨ã„ã†ã“ã¨ã§ã€norikra-listener-mackerel (rubygems) を書ãã¾ã—ãŸã€‚Norikra å˜ä½“ã§ã€ã‚¯ã‚¨ãƒªçµæžœã‚’ Mackerel ã®ã‚µãƒ¼ãƒ“スメトリクスã¨ã—ã¦é€ä¿¡ã§ãã¾ã™ã€‚ 使ã„æ–¹ $ gem install norikra-listener-mackerel norikra ãŒå‹•ä½œã™ã‚‹ ruby ã§ã‚¤ãƒ³ã‚¹ãƒˆãƒ¼ãƒ«ã™ã‚Œã°ã€norikra start 時ã«è‡ªå‹•çš„ã«èªã¿è¾¼ã¾ã‚Œã¾ã™ã€‚ クエリ
Fluentd v0.12ã§ã®Filterã¨Label - Go ahead!
Fluentd，最近ã ã¨æµ·å¤–ã§ã‚‚露出ãŒå¢—ãˆã¦ãã¦ã„ã¦ï¼Œè»½é‡ãƒ»æŸ”軟・ãƒãƒã‚¹ãƒˆã¨ã„ã†æ‰€ã§ï¼Œ æ–°è¦ã®ä»–，既å˜ã®ãƒã‚°ã‚³ãƒ¬ã‚¯ã‚¿ã®ãƒªãƒ—レースå«ã‚，採用ã™ã‚‹æ‰€ãŒå¢—ãˆã¦ãŸã‚Šã—ã¾ã™ï¼Ž より改善ã™ã‚‹ãŸã‚色々ã¨ãƒ¦ãƒ¼ã‚¶ã«ãƒ’アリングã—ãŸçµæžœï¼Œã€Œãƒ•ã‚£ãƒ«ã‚¿æ©Ÿèƒ½ãŒæ¬²ã—ã„ã€ã¨ã„ã†ã®ãŒä¸€ç•ªå¤šã„æ„見ã§ã—ãŸï¼Ž Fluentdã¯å…ƒã€…Treasure Dataã¸ãƒãƒã‚¹ãƒˆã«ãƒ‡ãƒ¼ã‚¿ã‚’転é€ã™ã‚‹ãŸã‚ã®ãƒŸãƒ‰ãƒ«ã‚¦ã‚§ã‚¢ã§ï¼Œã€ŒETLã¨ã‹ã¯Treasure Dataã§ã€ ã¨ã„ã†ã®ã‚‚ã‚り，組ã¿è¾¼ã¿ã§ãƒ•ã‚£ãƒ«ã‚¿æ©Ÿèƒ½ã¯ã‚ã‚Šã¾ã›ã‚“ã§ã—ãŸï¼Ž 今ç¾åœ¨ã®Outputプラグインã«ã‚ˆã‚‹ãƒ•ã‚£ãƒ«ã‚¿å®Ÿè£…ã¯ï¼Œã‚¿ã‚°ã®æ›¸ãæ›ãˆãŒå¿…è¦ã ã£ãŸã‚Šã—ã¦å°‘ã—慣れãŒå¿…è¦ã§ï¼Œåˆå¿ƒè€…ã«ã¯ã¡ã¨é›£ã—ã„． ã¨ã„ã†ã“ã¨ã§ï¼Œã‚ˆã‚Šç°¡å˜ã«åŠ¹çŽ‡ã‚ˆãデータストリームを扱ãˆã‚‹ãƒ•ã‚£ãƒ«ã‚¿æ©Ÿèƒ½ã‚’入れるã“ã¨ã«ã—ã¾ã—ãŸï¼ å‰ç½®ããŒé•·ããªã‚Šã¾ã—ãŸãŒï¼Œæ¬¡ã®ãƒãƒ¼ã‚¸ãƒ§ãƒ³ã§ã‚ã‚‹v0.12ã§ã¯Filterã¨Labelã®å°Žå…¥ãŒç›®çŽ‰æ©Ÿèƒ½ã«ãªã‚Š
Flunetd::MultiOutputã¨monitor_agentã®é–¢ä¿‚ - still deeper
monitor_agent fluentd v0.10.33 㧠in_monitor_agent ãŒè¿½åŠ ã•ã‚Œã¾ã—ãŸã€‚ in_monitor_agent ã¯æ¬¡ã®æ§˜ãªsourceを定義ã—ã¦ãŠã㨠... <source> type monitor_agent bind 0.0.0.0 port 24220 </source> ... http経由ã§ã€å„pluginã®å†…部ã®çŠ¶æ…‹ã‚’å–å¾—ã™ã‚‹ã“ã¨ãŒã§ãるよã†ã«ãªã‚Šã¾ã™ã€‚ $ curl http://localhost:24220/api/plugins plugin_id:object:3f8747e35fa4 type:forward output_plugin:false plugin_id:object:3f8747e34c30 type:debug_agent output_plugin:false plugin_id:object:3f8
Posting Service Metrics with fluentd - Mackerel Docs
"Service Metrics" is a construct used for visualizing and monitoring metrics that are not directly tied to any specific server, making it possible, for example, to visualize an entire web service's response time and status code distribution, and check if response time is slowing down or if the error rate is going up. Using fluent-plugin-mackerel service metrics can be posted to Mackerel via fluent
Terraform + fluentd + Docker + Puree ã§å°ã•ã始ã‚るモãƒã‚¤ãƒ«è¡Œå‹•ãƒã‚°åŽé›†åŸºç›¤æ§‹ç¯‰ | PSYENCE:MEDIA
Terraform + fluentd + Docker + Puree ã§å°ã•ã始ã‚るモãƒã‚¤ãƒ«è¡Œå‹•ãƒã‚°åŽé›†åŸºç›¤æ§‹ç¯‰ æ²³åˆ èˆªå¹³ 2015.07.07 1273 194192628259 ã“ã‚“ã«ã¡ã¯ã€‚ 4月ã‹ã‚‰æ–°å’駆ã‘出ã—インフラエンジニアã¨ã—ã¦æ—¥ã€…奮闘ã—ã¦ãŠã‚Šã¾ã™æ²³åˆã§ã™ã€‚ "モãƒã‚¤ãƒ«è¡Œå‹•ãƒã‚°åŽé›†åŸºç›¤" ã‚’ "å°ã•ã" 始ã‚ãŸã®ã§ã€ä»¥ä¸‹ã«ã‚¤ãƒ³ãƒ•ãƒ©æ§‹ç¯‰ã‹ã‚‰ãƒ¢ãƒã‚¤ãƒ«ã¾ã§ã®è¨è¨ˆã¾ã§ã‚’ã¾ã¨ã‚ãŸã„ã¨æ€ã„ã¾ã™ã€‚今回ã“ã®ãƒã‚°åŽé›†åŸºç›¤ã‚’作るã«ã‚ãŸã£ã¦ç§è‡ªèº«ãŒã“ã‚Œã¾ã§çµŒé¨“ã—ãŸã“ã¨ã®ãªã„技術・ツールを利用ã—ã¾ã—ãŸã®ã§ã€ãれらã®å°Žå…¥ã«ã¤ã„ã¦ã‚‚ã”紹介ã„ãŸã—ã¾ã™ã€‚ å°Žå…¥ã®èƒŒæ™¯ ç§ã¯è‹±å˜èªžã‚µãƒ—リをä¸å¿ƒã«ã‚¤ãƒ³ãƒ•ãƒ©ã‚’担当ã—ã¦ã„ã¾ã™ã€‚ 英å˜èªžã‚µãƒ—リã¨ã¯ã€èžã‘る・話ã›ã‚‹ãƒ»è¦šãˆã¦ã‚‹ã‚’コンセプトã¨ã—ãŸé«˜æ ¡å—験ã‹ã‚‰TOEICã¾ã§å¯¾ç–ã§ãる英å˜èªžå¦ç¿’ã®ã‚µãƒ¼ãƒ“スã§ã™ã€‚ ユーザã®åˆ†æžã«ã‚ˆã使ã‚れるツールã®1ã¤ã«Google Analy
å°±è·ã—ã¾ã—㟠- ãŸã”ã‚‚ã‚Šã™ãƒ¡ãƒ¢
çµå±€3月ã‹ã‚‰ãã®ã¾ã¾åƒãã“ã¨ã«ã—ã¾ã—ãŸã€‚ 先日ã®ã‚¨ãƒ³ãƒˆãƒªã‚’書ã„ã¦ä»¥æ¥ã€æœ¬å½“ã«å¤šãã®æ–¹ã‹ã‚‰å£°ã‚’ã‹ã‘ã¦ã„ãŸã ãã¾ã—ãŸã€‚ã‚ã‚ŠãŒã¨ã†ã”ã–ã„ã¾ã—ãŸã€‚本æ¥ãªã‚‰å€‹åˆ¥ã«ã”å ±å‘Šã™ã‚‹ã¹ãã¨ã“ã‚ã§ã™ãŒã€ã¡ã‚‡ã£ã¨æ•°ãŒå¤šãã¦åŽ³ã—ã„ã®ã§ã€ã“ã®ã‚¨ãƒ³ãƒˆãƒªã‚’ã‚‚ã£ã¦å ±å‘Šã«ã‹ãˆã•ã›ã¦ã„ãŸã ãã¾ã™ã€‚ ã¾ãŸã„ã‚ã„ã‚ã¨è©±ã‚’伺ã†ä¸ã§è€ƒãˆãŸã“ã¨ãªã©ã‚‚ã‚ã‚‹ã®ã§ã€ãã¡ã‚‰ã«ã¤ã„ã¦ã¯åˆ¥é€”エントリを書ãã¤ã‚‚ã‚Šã§ã™ã€‚ 様々ãªè©±ã‚’èžã„ãŸä¸Šã§ã€1月末ã®æ™‚点ã§ã¯è‡ªåˆ†ã§ã‚‚ã‚ã‹ã£ã¦ã„ãªã‹ã£ãŸã“ã¨ãŒã‚ã‹ã‚Šã¾ã—ãŸã€‚最終的ã«é‡è¦–ã—ãŸã®ã¯ä»¥ä¸‹ã®ç‚¹ã§ã™ã€‚ 技術ベンãƒãƒ£ãƒ¼ã§ã‚ã‚‹ã“㨠ベンãƒãƒ£ãƒ¼ä¼æ¥ã¨ã—ã¦å¤§ããªæˆåŠŸã‚’ç‹™ã£ã¦ã„ã‚‹ã“ã¨ã€ã¾ãŸãã‚ŒãŒæœ‰æœ›ã«è¦‹ãˆã‚‹ã“㨠優秀ãªãƒ—ãƒã‚°ãƒ©ãƒžãŒåŒåƒšã«å¤šã„ã“㨠退è·ã‚¨ãƒ³ãƒˆãƒªã«æ›¸ã„ãŸè¦³ç‚¹ã®ã»ã‹ã«ã€ã“ã®3点ãŒä»Šå›žã®è‡ªåˆ†ã«ã¨ã£ã¦é‡è¦ã ã¨ã„ã†ã“ã¨ã¯å¾Œã‹ã‚‰è¦‹ãˆã¦ããŸã“ã¨ã§ã—ãŸã€‚ ã¨ã„ã†ã“ã¨ã§ Treasure Data ã«å…¥ç¤¾ã—ã¾ã—ãŸã€‚Softwar
fluentdã®BufferedOutputプラグインを書ãã¨ãã®æ³¨æ„点ã¨ã‹ | ãŠãらãã¯ãã‚Œã•ãˆã‚‚平凡ãªæ—¥ã€…
fluetndã®BufferedOutput系プラグインã¯ã€æ›¸ãè¾¼ã¿ã‚’é©å½“ãªchunkã«ã¾ã¨ã‚ã¦å‡¦ç†ã‚’ã—ã¤ã¤æ›¸ãè¾¼ã¿ã«å¤±æ•—ã—ãŸã‚‰ã‚ˆã—ãªã«ãƒªãƒˆãƒ©ã‚¤ã—ã¦ãれる便利ãªã‚„ã¤ã§ã™ã€‚ãŸã 実際ã«BufferedOutputプラグインを自分ãŒæ›¸ãã¨ãªã£ãŸæ™‚ã«æŒ™å‹•ã‚’ã¡ã‚ƒã‚“ã¨ç†è§£ã—ã¦ã„ãªã‹ã£ãŸã®ã§ã¾ã¨ã‚。 ã¾ã¨ã‚ã‚’å…ˆã«æ›¸ãã¨ä»¥ä¸‹ã€‚ 書ãè¾¼ã¿å‡¦ç†ã§ã‚ã‚‹writeã«å¤±æ•—ã—ãŸå ´åˆã¯ä¾‹å¤–を投ã’ã‚‹ æ£ã—ãリトライ処ç†ã‚’è¡Œã†ãŸã‚ 書ãè¾¼ã¿ã®å‡¦ç†å†…容ã¯atomicã§ã‚ã‚‹å¿…è¦ãŒã‚ã‚‹ ä¸é€”åŠç«¯ã«æ›¸ãè¾¼ã¾ã‚ŒãŸã‚Šã—ã¦çµæžœã¨ã—ã¦ãƒ‡ãƒ¼ã‚¿ãŒé‡è¤‡ã—ãŸã‚Šã—ãªã„よã†ã« 一度ã«æ›¸ãè¾¼ã‚るサイズを調整ã™ã‚‹ãŸã‚ã«buffer_chunk_limitç‰ã‚’調整ã™ã‚‹ Bufferedプラグインã®ãƒªãƒˆãƒ©ã‚¤å‡¦ç†ã«é–¢ã—ã¦ã¯Bufferプラグインã®æ¦‚è¦ã«ä»¥ä¸‹ã®ã‚ˆã†ã«æ›¸ã‹ã‚Œã¦ã„ã¾ã™ã€‚ ã‚‚ã—ãƒãƒ£ãƒ³ã‚¯ã®æ›¸ã出ã—ã«å¤±æ•—ã—ãŸå ´åˆã€ãƒãƒ£ãƒ³ã‚¯ã¯ã‚ューã«æ®‹ã•ã‚Œã€Fluentdã¯
fluent-plugin-groongaã«ã¤ã„ã¦
2013-01-08 去年最後ã®è‚‰ã®æ—¥ã§ã‚ã‚‹12/29ã«ã€ãƒã‚°åŽé›†ãƒ„ール fluentd を使ã£ã¦ã€groongaデータベースã®ãƒ¬ãƒ—リケーションを行ã†ãƒ©ã‚¤ãƒ–ラリfluent-plugin-groonga 1.0.1をリリースã—ã¾ã—ãŸã€‚ ã—ã‹ã—ã€blogroongaã§ã¯ä»Šã¾ã§ã“ã®fluent-plugin-groongaã«ã¤ã„ã¦èª¬æ˜Žã—ã¦ã„ã¾ã›ã‚“ã§ã—ãŸã€‚ ãã“ã§ã€ã“ã®è¨˜äº‹ã§ã¯fluent-plugin-groongaã«ã¤ã„ã¦èª¬æ˜Žã—ã¾ã™ã€‚ fluent-plugin-groongaã¨ã¯ fluent-plugin-groongaã¯fluentdã®ãƒ—ラグイン集ã§ã€Rubyã§å®Ÿè£…ã•ã‚Œã¦ã„ã¾ã™ã€‚ 通常ã€fluentdã¯ãƒã‚°ã®åŽé›†ã«ä½¿ã„ã¾ã™ãŒã€fluent-plugin-groongaã§ã¯groongaã®ã‚¯ã‚¨ãƒªã‚’複数ã®groongaサーãƒãƒ¼ã«è»¢é€ã™ã‚‹ãŸã‚ã«ä½¿ã£ã¦ã„ã¾ã™ã€‚ã¤ã¾ã‚Šã€fluentdã®ãƒ¡ãƒƒã‚»ãƒ¼ã‚¸
データ転é€ãƒŸãƒ‰ãƒ«ã‚¦ã‚§ã‚¢å‹‰å¼·ä¼š - Blog by Sadayuki Furuhashi
Treasure Data, Inc. å¤æ©‹è²žä¹‹ã§ã™ã€‚ æ¥ãŸã‚‹1月27æ—¥ã€æ–°ã—ã„OSSツール Embulk をリリースã—ã¾ã™ã€‚ Embulkã¯Fluentdã®ãƒãƒƒãƒå‡¦ç†ç‰ˆã®ã‚ˆã†ãªãƒ„ールã§ã€CSVデータやアクセスãƒã‚°ãªã©ã®æ§‹é€ 化データを高ã„ä¿¡é ¼æ€§ã§è»¢é€ã™ã‚‹ã“ã¨ãŒã§ãるコンパクトãªãƒ„ールã§ã™ã€‚ 入力元ã€å‡ºåŠ›å…ˆã€ãƒ•ã‚¡ã‚¤ãƒ«ãƒ•ã‚©ãƒ¼ãƒžãƒƒãƒˆã€åœ§ç¸®æ–¹å¼ãªã©ã‚’プラグインã§æ‹¡å¼µã™ã‚‹ã“ã¨ãŒã§ãã€S3上ã®CSVファイルã€PostgreSQLã€Elasticsearchã€Salesforce.comã€Treasure Dataãªã©ã€ç•°ç¨®ã®ã‚¹ãƒˆãƒ¬ãƒ¼ã‚¸ã‚„サービスã®é–“ã§ãƒ‡ãƒ¼ã‚¿ã‚’転é€ãƒ»åŒæœŸã™ã‚‹ã“ã¨ãŒå¯èƒ½ã«ãªã‚Šã¾ã™ã€‚ Fluentdã¨ã¯ç•°ãªã£ã¦ã€1発実行ã€ã‚ã‚‹ã„ã¯1時間や1日毎ã§å®Ÿè¡Œã™ã‚‹ãƒãƒ«ã‚¯å‡¦ç†ã«ç‰¹åŒ–ã—ã¦ãŠã‚Šã€ トランザクション制御 冪ç‰æ€§ 高速性 スã‚ーマを使ã£ãŸvalidation ãªã©ã®æ‹¡å¼µã‚’å‚™ãˆã¦ã„ã¾ã™ã€‚ １回ã§ä½¿
プãƒãƒ€ã‚¯ã‚·ãƒ§ãƒ³ç’°å¢ƒã§Elasticsearch+kibana(fluentd)ã§ãƒã‚°å¯è¦–化é‹ç”¨ã‚’ã—ã¦ã¿ã¦ã‚ã‹ã£ãŸäº‹ - shnagaiã®æ—¥è¨˜
ã“れ㯠Elasticsearch Advent Calendar 2014 22日目ã®è¨˜äº‹ã§ã™ã€‚ 今回ã¯ã€ãƒ—ãƒãƒ€ã‚¯ã‚·ãƒ§ãƒ³ç’°å¢ƒã§ã€æµè¡Œã‚Šã®Fluentd+Elasticsearch+Kibanaã§ãƒã‚°å¯è¦–化ã¨ã„ã†ã®ã‚’数ヶ月やã£ãŸä¸ã§è‹¦åŠ´ã—ãŸç‚¹ã¨ã‹ã¯ã¾ã£ãŸç‚¹ã‚’書ã„ã¦ã¿ã¾ã™ã€‚ ã¨ã„ã†ã‹ã€æ›¸ã終ãˆã¦æ€ã†ã¨ã“ã‚Œã‹ã‚‰ã‚„る人ã¯ã“ã“ã«æ°—ã‚’ã¤ã‘ãŸæ–¹ãŒã„ã„ã¨ã„ã†ã‚ˆã†ãªå†…容ã«ãªã£ã¦ã—ã¾ã£ãŸã®ã§ã€æ—¢ã«é‹ç”¨ã•ã‚Œã¦ã„ã‚‹æ–¹ã«ã¯ã‚ã¾ã‚Šå½¹ã«ç«‹ãŸãªã„ã‹ã‚‚ã§ã™ã€‚。 内容ã¯ã€å¤§ãã下記3ã¤ã§ã™ã€‚ ①集計(検索)ã®æ¡ä»¶ã‚’考ãˆã¦templateã§not_analyzeを指定ã—ã¦ãŠã ②スã‚ーマ変更ãŒã‚ã‚‹indexã¯ã€æ—¥å˜ä½ã§index作るã¹ã— ③数値型フィールドã®ç½ (Fluentd寄りã®è©±) å‰æã¨ã—ã¦ã€ã“ã®æµã‚Œã§åŽé›†ã—ã¦ã„ã‚‹ã®ã¯ä¸‹è¨˜4パターンã®ãƒã‚°é”。 ・Apache accesslog ・Apache errorlog ・Ap
モãƒã‚¤ãƒ«ã‚¢ãƒ—リã®ãƒã‚°åŽé›†ãƒ©ã‚¤ãƒ–ラリ「Pureeã€ã‚’リリースã—ã¾ã—㟠- クックパッド開発者ブãƒã‚°
モãƒã‚¤ãƒ«ãƒ•ã‚¡ãƒ¼ã‚¹ãƒˆå®¤ã® @rejasupotaro ã§ã™ã€‚ クックパッドã§ã¯ã€ã‚µãƒ¼ãƒ“スをリリースã—ã¦ãƒã‚°ã‚’åŽé›†ã—ã¦åˆ†æžã—ã¦æ”¹å–„ã—ã¦ã¾ãŸãƒªãƒªãƒ¼ã‚¹ã—ã¦ã€ã¨ã„ã†ã‚µã‚¤ã‚¯ãƒ«ã‚’ç´ æ—©ã回ã™ã“ã¨ã§ã‚ˆã‚Šè‰¯ã„ã‚‚ã®ã‚’作るã¨ã„ã†ã“ã¨ã‚’ウェブã§ã¯ã‚„ã£ã¦ãã¾ã—ãŸã€‚ クックパッドã®ã‚µãƒ¼ãƒ“ス開発ã®ãƒ•ãƒ¬ãƒ¼ãƒ ワークをモãƒã‚¤ãƒ«ã‚¢ãƒ—リã§ã‚‚é©ç”¨ã—ãŸã„ã®ã§ã™ãŒã€ãƒ¢ãƒã‚¤ãƒ«ã‚¢ãƒ—リã«ã¯ã‚¦ã‚§ãƒ–アプリã¨é•ã£ãŸãƒã‚®ãƒ³ã‚°ã®é›£ã—ã•ãŒã‚ã‚Šã¾ã™ã€‚ 今回ã¯ãƒ¢ãƒã‚¤ãƒ«ã‚¢ãƒ—リã®ãƒã‚®ãƒ³ã‚°ã®å•é¡Œç‚¹ã¨Pureeã¨ã„ã†ãƒã‚°åŽé›†ãƒ©ã‚¤ãƒ–ラリã«ã¤ã„ã¦è©±ã—ã¾ã™ã€‚ モãƒã‚¤ãƒ«ã‚¢ãƒ—リã®ãƒã‚®ãƒ³ã‚°ã®é›£ã—㕠ウェブアプリã§ã¯ã€åŸºæœ¬çš„ã«ã¯ã‚µãƒ¼ãƒãƒ¼å´ã§ãƒã‚°ã‚’åŽé›†ã™ã‚‹ã“ã¨ãŒã§ãã¾ã™ãŒã€ãƒ¢ãƒã‚¤ãƒ«ã‚¢ãƒ—リã®å ´åˆã¯ç”»é¢ã®åˆ¶å¾¡ã¯ã‚¢ãƒ—リå´ã§è¡Œã‚ã‚Œã€APIを介ã—ã¦ãƒ‡ãƒ¼ã‚¿ã‚’å—ã‘å–ã‚‹ãŸã‚ã€ã‚¯ãƒ©ã‚¤ã‚¢ãƒ³ãƒˆå´ã§ãƒã‚°ã‚’åŽé›†ã—ã¦é€ä¿¡ã™ã‚‹å¿…è¦ãŒã‚ã‚Šã¾ã™ã€‚ アプリã®ãƒã‚°ã‚’åŽé›†ã™ã‚‹ã®ã«ã€ç”»é¢é·ç§»ã‚’ã—ãŸã‚Šã‚¿ãƒƒãƒ—ã™ã‚‹ãŸã³ã«ã‚µãƒ¼ãƒãƒ¼
Fluentdã¨Google BigQueryã§éŠã¶ãžï¼ - パルカワ2
ã¨ã„ã†å…¥é–€è¨˜äº‹ã‚’書ã“ã†ã¨æ€ã„ã¾ã—ãŸãŒã€æœ€é«˜ã®è¨˜äº‹ãŒã‚ã£ãŸã®ã§ã‚„ã‚ã¾ã—ãŸã€‚ ã“ã¡ã‚‰ã‚’å‚ç…§ã™ã‚‹ã¨è‰¯ã„ã§ã™ã€‚ ã¡ãªã¿ã«ã“ã†ã„ã†ã‚¹ã‚¯ãƒªãƒ—トをピッã¨æ›¸ã„ãŸã‚‰ãƒ‡ãƒ¼ã‚¿ãŒé€ã‚Œã¦ã‚‹ã“ã¨ãŒç¢ºèªå‡ºæ¥ã¾ã—ãŸã€‚ use strict; use warnings; use Fluent::Logger; my $logger = Fluent::Logger->new( host => '127.0.0.1', port => 24224, ); $logger->post("access.log", { uri => "http://google.com", request => { addr => "test-addr", ua => "test-ua", referrer => "test-referrer", }, }); 触ã£ãŸæ„Ÿã˜ä¾¿åˆ©ãã†ãªã®ã§ã€ãªã‚“ã‹ã‚„ã‚ŠãŸã„。 ã“れもé¢ç™½ã„æ„Ÿã˜ãŒã—ã¾ã™ã€‚
リリースã€éšœå®³æƒ…å ±ãªã©ã®ã‚µãƒ¼ãƒ“スã®ãŠçŸ¥ã‚‰ã›
最新ã®äººæ°—エントリーã®é…ä¿¡
j次ã®ãƒ–ックマーク
kå‰ã®ãƒ–ックマーク
lã‚ã¨ã§èªã‚€
eコメント一覧を開ã
oページを開ã
fluent-plugin-datacounter ã‚’ norikra ã«ç½®ãæ›ãˆã‚‹ã¹ãç†ç”±ã¨è¨å®šæ–¹æ³• - sonots:blog
fluentdã§ãƒã‚°ãŒæ¬ æã™ã‚‹å¯èƒ½æ€§ã‚’考ãˆã‚‹ : sonots:blog
y-ken/fluent-plugin-anonymizer · Fluentd filter output plugin to anonymize records. · GitHub
Fluentd
{{#tags}}- {{label}}
{{/tags}}