ソースコードリーディング(head,tailコマンド編)
ãƒ¤ãƒ•ãƒ¼æ ªå¼ä¼šç¤¾ã¯ã€2023å¹´10月1æ—¥ã«LINEãƒ¤ãƒ•ãƒ¼æ ªå¼ä¼šç¤¾ã«ãªã‚Šã¾ã—ãŸã€‚LINEãƒ¤ãƒ•ãƒ¼æ ªå¼ä¼šç¤¾ã®æ–°ã—ã„ブãƒã‚°ã¯ã“ã¡ã‚‰ã§ã™ã€‚LINEヤフー Tech Blog ã“ã‚“ã«ã¡ã¯ã€Yahoo!ショッピング担当ã®å‰é‡Žã§ã™ã€‚ 今回ã¯ã‚¿ã‚¤ãƒˆãƒ«ã®é€šã‚Šã€headコマンドã¨tailコマンドã®ã‚½ãƒ¼ã‚¹ã‚³ãƒ¼ãƒ‰ã‚’èªã‚“ã§ã„ããŸã„ã¨æ€ã„ã¾ã™ã€‚ â– ã¯ã˜ã‚㫠皆ã•ã‚“ã”å˜ã˜ã®é€šã‚Šã€headコマンドã¯ãƒ•ã‚¡ã‚¤ãƒ«ã®å…ˆé ã‹ã‚‰nè¡Œ(ãƒã‚¤ãƒˆ)を出力ã—〠tailコマンドã¯ãƒ•ã‚¡ã‚¤ãƒ«ã®æœ«å°¾ã‹ã‚‰nè¡Œ(ãƒã‚¤ãƒˆ)を出力ã™ã‚‹ã‚³ãƒžãƒ³ãƒ‰ã§ã™ã€‚ ã»ã‹ã«ã‚‚パイプã®å…¥åŠ›ã«ä½¿ã£ãŸã‚Šã€[tail -f]ã§ãƒã‚°ãƒ•ã‚¡ã‚¤ãƒ«ã®å‡ºåŠ›ç›£è¦–ã«ä½¿ã£ãŸã‚Šã¨ã€ UNIXを使ã†ä¸Šã§ã¯æ¬ ã‹ã›ãªã„コマンドã¨è¨€ãˆã‚‹ã§ã—ょã†ã€‚ headã¨tailã¯è¦‹ãŸç›®ã®å‹•ä½œã¯ä¼¼ã¦ã„るよã†ã§ã™ãŒã€ã‚½ãƒ¼ã‚¹ã‚³ãƒ¼ãƒ‰ã®ä¸ã¯çµæ§‹é•ã„ã¾ã™ã€‚ ã•ã£ãã見ã¦ã„ãã¾ã—ょã†ã€‚ ＜headã®ã‚½ãƒ¼ã‚¹ã‚³ãƒ¼ãƒ‰ï¼ž http://www.
td-agent(fluentd)ã®posファイルã®ä½œæˆã‚¿ã‚¤ãƒŸãƒ³ã‚°ã¨ã‹ãã®ä»–ã‚‚ã‚ã‚‚ã‚もメモ - tweeeetyã®ã¶ã‚ãçš„ã‚ã‚‚
ã¯ã˜ã‚ã« td-agentã®in_tailプラグインを使ã†ã¨ 指定ã—ãŸãƒ•ã‚¡ã‚¤ãƒ«ã‚’tail-fã—ã¦ã‚‹ã‚ˆã†ã«èªã¿ã“ã‚“ã§ã‹ã‚‰ã”ã«ã‚‡ã”ã«ã‚‡ã—ã¦ãれるã‚ã‘ã§ã™ãŒã€sourceディレクティブã«æŒ‡å®šã™ã‚‹pos_fileã®æŒ™å‹•ã«ã¤ã„ã¦ç¢ºèªã—ã¦ã¿ã¾ã—㟠in_tailプラグインã¨ã¯ tail インプットプラグインã¯ã€FluentdãŒã‚¤ãƒ™ãƒ³ãƒˆãƒã‚°ã‚’テã‚ストファイルã®æœ«å°¾ã‹ã‚‰èªã¿å–れるよã†ã«ã—ã¾ã™ã€‚ãã®èªã¿å–り方㯠tail -F コマンドã«ã‚ˆãä¼¼ã¦ã„ã¾ã™ã€‚ 引用→http://documents.mazgi.com/fluentd/doc/plugin.html#tail å…¬å¼â†’http://docs.fluentd.org/ja/articles/in_tail 補足 ãã‚“ãªã«ãƒ†ã‚¯ãƒ‹ã‚«ãƒ«ã§ã‚‚有用ã§ã‚‚ãªã„カモã§ã™ãŒã“ã¡ã‚‰ã«ãƒ¡ãƒ¢ã¾ã¨ã‚をメモã£ã¦ãŠãã¾ã—㟠→td-agent(fluentd)を本番サ―ビスã§å°ã•
é«˜è² è·ç’°å¢ƒã§Fluentdを安定é‹ç”¨ã™ã‚‹ãŸã‚ã®3ã¤ã®è¦³ç‚¹
本記事ã«ã¤ã„㦠Fluentdã¯æ©Ÿèƒ½ã¨ã—ã¦ã¯ã‚·ãƒ³ãƒ—ルã§ã™ãŒã€ é«˜è² è·ç’°å¢ƒã§å®‰å®šçš„ã«é‹ç”¨ã™ã‚‹ãŸã‚ã«ã¯ã‚る程度ã®çŸ¥è˜ãŒæ±‚ã‚られã¾ã™ã€‚ ãã“ã§ã€æœ¬è¨˜äº‹ã§ã¯ãã‚Œãªã‚Šã«ãƒã‚°æµé‡ã®é«˜ã„環境下ã§ç§ãŒè€ƒæ…®ã—ãŸè¦³ç‚¹ã‚’ã¾ã¨ã‚ã¾ã—ãŸã€‚ 本記事ã§ã¯ã€Kubernetesã§Fluentdã®ä¿¡é ¼æ€§ã‚’æ‹…ä¿ã™ã‚‹ãŸã‚ã®3ã¤ã®è¦³ç‚¹ã«åŠ ãˆã€ ã€Œé«˜è² è·æ™‚ã®å®‰å®šé‹ç”¨ã€ã«ç„¦ç‚¹ã‚’当ã¦ã€ è² è·åˆ†æ•£ é©åˆ‡ãªãƒ¢ãƒ‹ã‚¿ãƒªãƒ³ã‚° トラブルシューティングã¨ãƒãƒ¥ãƒ¼ãƒ‹ãƒ³ã‚° ã®3ã¤ã®è¦³ç‚¹ã«ã¤ã„ã¦æ•´ç†ã—ã¦ã„ã¾ã™ã€‚ å‰æã¨ãªã‚‹ã‚¢ãƒ¼ã‚テクãƒãƒ£ アーã‚テクãƒãƒ£ã¨ã—ã¦ã¯å®Ÿéš›ã«ç§ãŒæ§‹ç¯‰ã—ãŸå›³ã®æ§‹æˆã‚’å‰æã¨ã—ã¾ã™ã€‚ アーã‚テクãƒãƒ£ã®ç‰¹å¾´ 1ã¤ã®Kubernetesクラスタã«ã€FluentdãŒForwarderã¨Aggregatorã¨ã„ã†2ã¤ã®ãƒãƒ¼ãƒ«ã§å˜åœ¨ã—ã¦ã„ã¾ã™ã€‚ Forwarder DaemonSetã§ãƒ‡ãƒ—ãƒã‚¤ã•ã‚Œã‚‹ å„コンテナã®å‡ºåŠ›ãƒã‚°ã‚’ã‚ã¤ã‚ã€Aggregato
Fluentd ã® Docker イメージを動ã‹ã—ãŸéš›ã®ãƒ¡ãƒ¢ - tatsuyafwã®æ—¥è¨˜
タイトル通り Fluentd ã® Docker イメージを動ã‹ã—ãŸéš›ã®ãƒ¡ãƒ¢ã§ã™ã€‚ 背景 Fluentd を使ã£ã¦å‹•ä½œç¢ºèªã‚’è¡Œã†éš›ã¯ CentOS ãªã©ã® Linux ã« td-agent を入れã¦ã„ã¾ã—ãŸã€‚ãŸã ã€æ¯Žå›žç’°å¢ƒæ§‹ç¯‰ã®ãŸã³ã« td-agent をインストールã™ã‚‹ã®ã‚‚...ã¨æ€ã„ã€Fluentd ã® Docker イメージãŒç”¨æ„ã•ã‚Œã¦ã„ãŸã®ã§å‹•ã‹ã—ã¦ã¿ã¾ã—ãŸã€‚ fluent/fluentd-docker-image: Docker image for Fluentd ç’°å¢ƒæƒ…å ±ã¯ä»¥ä¸‹ã®ã¨ãŠã‚Šã§ã™ OS: OS X 10.11.6 (El Capitan) Docker: 1.11.2 Docker 実行環境: Boot2Docker 最近ã€Docker for Mac ãŒãƒªãƒªãƒ¼ã‚¹ã•ã‚ŒãŸã‚ˆã†ã§ã™ãŒã€ã“ã“ã§ã¯æ‰‹ã‚’抜ã„㦠Boot2Docker 上㮠Docker ã§å‹•ã‹ã—ã¦ã¿ã¾ã™ã€‚ Doc
fluentdã®ãƒãƒƒãƒ•ã‚¡ãƒ•ã‚¡ã‚¤ãƒ«ãŒçªç„¶å…¨ã¦ç„¡ããªã£ãŸ - Qiita
Fluentdã‚’å†èµ·å‹•ã™ã‚‹ã¨ãƒãƒƒãƒ•ã‚¡ãƒ•ã‚¡ã‚¤ãƒ«ãŒçªç„¶å…¨ã¦ãªããªã£ã¦å›°ã£ãŸã®ã§ã©ã†ã—ã¦ãã†ãªã£ãŸã®ã‹èª¿ã¹ã¦ã¿ãŸã€‚ Fluentdã®ãƒãƒƒãƒ•ã‚¡ãƒ•ã‚¡ã‚¤ãƒ« ãƒãƒƒãƒ•ã‚¡ãƒ•ã‚¡ã‚¤ãƒ«ã¨ã„ã†ã®ã¯BufferedOutputプラグインã§buffer_type fileを指定ã—ã¦buffer_pathã«ã§ãるファイルã®ã“ã¨ã€‚ã“ã“ã«ãƒ—ラグインã§ä½¿ã†ãƒ‡ãƒ¼ã‚¿ãŒä¿å˜ã•ã‚Œã¦ã„ã‚‹ã®ã§ã€Fluentdã‚’æ¢ã‚ã¦ã‚‚次回起動時ã«å†é€ãŒè¡Œã‚れる。 å•é¡Œ 例ã¨ã—ã¦out_forwardを使ã†ã¨ä»¥ä¸‹ã®è¨å®šã®ã‚ˆã†ã«buffer/foo.bar.bazã«ãƒãƒƒãƒ•ã‚¡ã‚’ä¿å˜ã™ã‚‹ã‚ˆã†ã«ã—ã¦ã„ãŸã€‚
fluentd(td-agent)ã®ã‚¤ãƒ³ã‚¹ãƒˆãƒ¼ãƒ«ã¨è¨å®š
fluentd / td-agent ã¨ã¯ fluentd ã¨ã¯ fluentdã¯ruby gemã«ã‚ˆã£ã¦æä¾›ã•ã‚Œã‚‹ãƒã‚°è»¢é€/åŽé›†ã®ä»•çµ„ã¿ã§ã™ã€‚rsyslogdã§ã¯å®Ÿç¾ã§ããªã„よã†ãªå¤§é‡ãƒã‚°ã®åŽé›†/分æžã‚’è¡Œã†ç›®çš„ã§ä½¿ç”¨ã™ã‚‹ã¨è‰¯ã„ã¨æ€ã„ã¾ã™ã€‚ td-agent ã¨ã¯ td-agentã¨ã¯fluentdã®ãƒ©ãƒƒãƒ‘ープãƒã‚°ãƒ©ãƒ ã§ã™ã€‚ruby, gemç‰ã®ãƒ—ãƒã‚°ãƒ©ãƒ や起動スクリプトãªã©ã®ä¾¿åˆ©ãªãƒ•ã‚¡ã‚¤ãƒ«ã‚’インストールコマンドã²ã¨ã¤ã§æä¾›ã—ã¦ãã‚Œã¾ã™ã€‚td-agentã¯ç’°å¢ƒå¤‰æ•°PATHã«ã¯å˜åœ¨ã—ãªã„ディレクトリã«rubyã‚„gemをインストールã—ã¦ãれるã®ã§ã€ã‚·ã‚¹ãƒ†ãƒ 全体ã¸ã®å½±éŸ¿ã‚’与ãˆãšã«fluentdãŒä½¿ãˆã‚‹ãƒ¡ãƒªãƒƒãƒˆãŒã‚ã‚Šã¾ã™ã€‚ fluentdã®ãƒ‡ãƒ¡ãƒªãƒƒãƒˆ(弱点) fluentdã¯ä¸‡èƒ½ã§ã¯ãªãã€æ¥å‹™è¦ä»¶ã«ã‚ˆã£ã¦ã¯ã‚¯ãƒ©ã‚·ãƒƒã‚¯ãªrsyslogdを使用ã™ã‚‹æ–¹ãŒè‰¯ã„å ´é¢ã‚‚å˜åœ¨ã—ã¾ã™ã€‚以下ã«fluentdã®å¼±ç‚¹ã‚’
ãƒã‚°åŽé›†ãƒ„ールã®æ¯”較 - Qiita
ãƒã‚°åŽé›†ãƒ„ールã¨ã—ã¦ã¯Fluentdã€Logstashã€Flumeç‰ãŒæŒ™ã’られる。ファイルやメールã€syslogã€DBã€ã‚»ãƒ³ã‚µã‹ã‚‰ãƒã‚°ãƒ‡ãƒ¼ã‚¿ã‚’èªè¾¼ã¿ã€å¿…è¦ãªãƒã‚°ã‚’フィルタã—ã¦ã€jsonã‚„xmlã«æ•´å½¢ã—ã¦ã‚¢ã‚¦ãƒˆãƒ—ットã™ã‚‹æ©Ÿèƒ½ã‚’æŒã¤ã€‚ メリット プラグインãŒ300+公開ã•ã‚Œã¦ãŠã‚Šã€æ§˜ã€…ãªå½¢å¼ã®ãƒ‡ãƒ¼ã‚¿ã‚’インプットã€ã‚¢ã‚¦ãƒˆãƒ—ットã§ãã‚‹ å˜ä½“ã§ãƒã‚°ã®ãƒ•ã‚£ãƒ«ã‚¿ã€ãƒãƒƒãƒ•ã‚¡ã€ãƒ«ãƒ¼ãƒ†ã‚£ãƒ³ã‚°ãŒã§ãã‚‹ 2000+を超ãˆã‚‹ä¼æ¥ã«åˆ©ç”¨ã•ã‚Œã¦ã„ã‚‹ 日本語ã®æƒ…å ±ãŒå¤šã„ デメリット å˜ä½“ã§å‹•ä½œã™ã‚‹ãŸã‚fluentdãŒè½ã¡ãŸã‚‰ãƒãƒƒãƒ•ã‚¡ã—ã¦ã„ã‚‹ãƒã‚°ãŒæ¶ˆãˆã‚‹ 想定外ã®ãƒã‚°ãŒå…¥åŠ›ã•ã‚Œã‚‹ã¨å¤§é‡ã®ã‚¹ã‚¿ãƒƒã‚¯ãƒˆãƒ¬ãƒ¼ã‚¹ãŒåã‹ã‚Œã‚‹ 引用：http://changineer.info/server/logging/fluentd-td-agent.html#fluentd-2 Logstash メリット フィルタを簡å˜ã«ã‚«ã‚¹ã‚¿ãƒžã‚¤ã‚ºã§ãã‚‹ F
dockerã®log周りã®å¯¾å¿œ - Carpe Diem
æ¦‚è¦ dockerを本番é‹ç”¨ã™ã‚‹éš›ã«ãƒã‚°ã®æ‰±ã„ã«æ‚©ã‚“ã ã®ã§æƒ…å ±ã‚’ã¾ã¨ã‚ã¦ã¿ã¾ã—ãŸã€‚ 環境 docker v1.12.1 コンテナã®ãƒã‚°ã¯ä½•å‡¦ã«æ¸¡ã™ã¹ã㋠主ã«ä»¥ä¸‹ã®ï¼“通りã«ãªã‚‹ã¨æ€ã„ã¾ã™ã€‚ コンテナ内ã«ä¿å˜ volumeå…ˆã«æŒ‡å®šã—ã¦ã«æ°¸ç¶šä¿å˜ log driverを使ã£ã¦è»¢é€ a. コンテナ内ã«ä¿å˜ 何もè¨å®šã—ãªã„ã¨ã‚³ãƒ³ãƒ†ãƒŠã«ä¿æŒã•ã‚Œã¾ã™ã€‚ メリット 何もè¨å®šã—ãªãã¦ã„ㄠデメリット 当然コンテナãŒç ´æ£„ã•ã‚ŒãŸå ´åˆã¯ãƒã‚°ãƒ•ã‚¡ã‚¤ãƒ«ãŒãªããªã‚Šã¾ã™ã€‚ b. volumeå…ˆã«æŒ‡å®šã—ã¦ã«æ°¸ç¶šä¿å˜ volumeを用ã„ã¦ãƒ›ã‚¹ãƒˆã«æ°¸ç¶šçš„ã«ä¿å˜ã—ã¾ã™ã€‚ å‚ç…§ãŒåˆ‡ã‚Œãªã„よã†ã«-v <host_path>:<container_path>ã¨ã™ã‚‹ã‹ã€--volumes-from <container_name>ã§ãƒ‡ãƒ¼ã‚¿ç”¨ã‚³ãƒ³ãƒ†ãƒŠã«ä¿æŒã—ã¦ãã ã•ã„。 メリット ã‚³ãƒ³ãƒ†ãƒŠã‚’ç ´æ£„ã—ãŸã¨ã—ã¦ã‚‚volumeã§ãã“を指定ã™ã‚Œã°
データåŽé›†ã‚½ãƒ•ãƒˆã€ŒFluentdã€ãŒæœ‰åŠ›OSSã®ä»²é–“入りã€ã€ŒCNCFã€ã®ãƒ—ãƒã‚¸ã‚§ã‚¯ãƒˆã«
ç±³Linux Foundationã¯2016å¹´11月8日（米国時間）ã€ãƒ‡ãƒ¼ã‚¿åŽé›†ã®ã‚ªãƒ¼ãƒ—ンソースソフトウエア（OSS）「Fluentdã€ãŒã€ŒCloud Native Computing Foundation（CNCF）ã€ã®ç®¡ç†ã™ã‚‹ãƒ—ãƒã‚¸ã‚§ã‚¯ãƒˆã«ãªã£ãŸã¨ç™ºè¡¨ã—ãŸã€‚Fluentdã¯å¤æ©‹è²žä¹‹æ°ï¼ˆå†™çœŸï¼‰ãŒé–‹ç™ºã‚’始ã‚ãŸOSSã§ã€ç¾åœ¨ã¯ç±³Googleã‚„ç±³Microsoftã®ã‚¯ãƒ©ã‚¦ãƒ‰ã®ä¸ã§ã‚‚使ã‚ã‚Œã¦ã„る。 Linux Foundation傘下ã®CNCFã¯ã€ã€ŒDockerã€ã‚³ãƒ³ãƒ†ãƒŠã‚’集ä¸ç®¡ç†ã™ã‚‹OSS「Kubernetesã€ã®é–‹ç™ºã‚’主導ã™ã‚‹å›£ä½“。Kubernetesã¯GoogleãŒé–‹ç™ºã—ãŸOSSã ãŒã€Googleã¯2015å¹´7月ã«Kubernetesã®é–‹ç™ºã‚’CNCFã«ç§»è¡Œã™ã‚‹ã¨ç™ºè¡¨ã—ã¦ã„ãŸã€‚CNCFã¯ç¾åœ¨ã€Kubernetes用ã®é‹ç”¨ç®¡ç†ãƒ„ールã§ã‚る「OpenTracingã€ã‚„「Prometheusã€ã®é–‹
Fluentd 入門 〜é‹ç”¨ã«å¿…è¦ãªåŸºç¤ŽçŸ¥è˜ã€œ
最近æ¥å‹™ã§ Fluentd を触るã“ã¨ãŒå‡ºã¦ãã¦å…¥é–€ã—ãŸã‚“ã§ã™ãŒã€æœ€åˆã®ã†ã¡ã¯ãƒˆãƒ©ãƒ–ルãŒèµ·ããŸæ™‚ã«ä½•ãŒèµ·ãã¦ã„ã‚‹ã®ã‹ã€ã©ã†å¯¾å‡¦ã—ãŸã‚‰è‰¯ã„ã®ã‹ãŒã•ã£ã±ã‚Šã‚ã‹ã‚‰ãªã‹ã£ãŸã®ã§ã€ã€ŒFluentd ã£ã¦ãƒã‚°ã®åŽé›†ã¨ã‹ã«ä½¿ã‚れるやã¤ã§ã—ょ？ã€ç¨‹åº¦ã®çŸ¥è˜ã—ã‹ãªã‹ã£ãŸéŽåŽ»ã®è‡ªåˆ†ã«å‘ã‘ã¦ã€Œã¨ã‚Šã‚ãˆãšã“ã‚Œãらã„ã¯çŸ¥ã£ã¦ãŠã‘ï¼ã€ã¨è¨€ã„ãŸã„内容をã¾ã¨ã‚ã¦ã¿ã¾ã—ãŸã€‚ トラブルãŒèµ·ããŸæ™‚ã«ã©ã®å‡¦ç†ã§å•é¡ŒãŒèµ·ãã¦ã„ã‚‹ã®ã‹ç´ æ—©ãコードを追ã†ã“ã¨ãŒã§ãã¦ã€ãƒ‡ãƒ¼ã‚¿ã®æ¶ˆå¤±ã‚’最å°é™ã«æŠ‘ãˆã¤ã¤é©åˆ‡ã«å¯¾å‡¦ã§ãるよã†ã«ãªã‚‹ã“ã¨ã‚’目的ã¨ã—ã¦ã„ã¾ã™ã€‚ ãªãŠã€ç¾æ™‚点ã§æœ€æ–°ç‰ˆã® Fluentd v0.14.21 を対象ã«ã—ã¦ã„ã¾ã™ã€‚ アジェンダ Getting Started Fluentd ã®ã‚¢ãƒ¼ã‚テクãƒãƒ£ Processes Supervisor process Worker process Threads Input thread En
1
リリースã€éšœå®³æƒ…å ±ãªã©ã®ã‚µãƒ¼ãƒ“スã®ãŠçŸ¥ã‚‰ã›
最新ã®äººæ°—エントリーã®é…ä¿¡
j次ã®ãƒ–ックマーク
kå‰ã®ãƒ–ックマーク
lã‚ã¨ã§èªã‚€
eコメント一覧を開ã
oページを開ã
[base] Contents of /head/usr.bin/tail/tail.c
fluentdã§ãƒã‚°ãŒæ¬ æã™ã‚‹å¯èƒ½æ€§ã‚’考ãˆã‚‹ : sonots:blog
{{#tags}}- {{label}}
{{/tags}}