1. はじめに なぜログは重要なのか？ ログは現代のソフトウェアシステムにおいて欠かせない要素です。適切に設計されたログシステムは以下を可能にします。 システムの稼働状態をリアルタイムで監視する バグや障害を素早く発見・修正する パフォーマンスのボトルネックを特定し最適化する ビジネス指標を継続的に把握する しかし、ログ設計が不適切な場合、次のような問題が発生します。 オーバーロギング：不要なログが大量に生成され、重要な情報が埋もれる 情報不足：障害発生時にデバッグに必要なデータが記録されていない 非一貫性：プラットフォームやサービスによってログ形式がバラバラで分析が困難 この記事の目的 本記事では、レストランの販売管理システム（注文受付・決済・在庫管理・デリバリー管理など）を題材にログ設計の方法を、実際のサンプルコードと具体例を交えながら解説します。 2. ログ設計の4つのコア原則 一貫

You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert

こんにちは。サーバーサイドエンジニアの @atolix_です。 今回はメドピアで運用しているアプリケーションのkakariの監査ログをDB管理からS3管理に移行したので、その方法と手順について紹介したいと思います。 kakari.medpeer.jp 背景 従来kakariではAuditedを用いて、監査ログを専用のauditsテーブルに保管する処理を行っていました。 github.com # application_record.rb class ApplicationRecord < ActiveRecord::Base ... include Auditable # auditable.rb module Auditable extend ActiveSupport::Concern included do audited ... end しかしレコードの変更の度にauditsテーブ

You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert

表題の通りのことができるgem、CiLoggerが便利ですよという話です。 私達は大量のテストをCI上で実行しています。テスト結果を見れば失敗理由が自明なものもありますが、E2Eテストなどでよく起きる「たまに失敗するテスト」の調査はログやスクリーンショットなど、可能な限りの情報を集めないと根本原因がつかめないことが多いです。 そんなときに、特に考えずRailsデフォルトの設定(config.log_level #=> :debug)のままにしておくと、膨大なログの中から該当するテストに関連する行を探し当てる作業が必要になります。これは事前の準備なしではほぼ不可能です。 事前の準備として簡単に思いつく方法は、テスト前後で「どのテストが開始/終了したか」をログに出力することです。 config.around do |example| Rails.logger.debug("start exam

ウェブサイトのアクセス数や訪問者の属性を分析するために「Google Analytics」を使っている人は多いはず。無料のオープンソースソフトウェア「GoAccess」を使うと、トラッキングコードをウェブサイトに埋め込むことなく、リアルタイムにアクセス状況をターミナルやブラウザ上で可視化することができます。 GoAccess - Visual Web Log Analyzer https://goaccess.io/ 今回はUbuntu 18.04上にGoAccessをインストールしてみます。最新版をインストールするには下記コマンドを実行すればOK。 echo "deb http://deb.goaccess.io/ $(lsb_release -cs) main" | sudo tee -a /etc/apt/sources.list.d/goaccess.list wget -O -

Monitor, troubleshoot, automate, and defend Powered by AI/ML

概要 dockerを本番運用する際にログの扱いに悩んだので情報をまとめてみました。 環境 docker v1.12.1 コンテナのログは何処に渡すべきか 主に以下の３通りになると思います。 コンテナ内に保存 volume先に指定してに永続保存 log driverを使って転送 a. コンテナ内に保存 何も設定しないとコンテナに保持されます。 メリット 何も設定しなくていい デメリット 当然コンテナが破棄された場合はログファイルがなくなります。 b. volume先に指定してに永続保存 volumeを用いてホストに永続的に保存します。 参照が切れないように-v <host_path>:<container_path>とするか、--volumes-from <container_name>でデータ用コンテナに保持してください。 メリット コンテナを破棄したとしてもvolumeでそこを指定すれば

TL;DR; プログラム的にparseやすい、構造化されたログメッセージを採用するとよいです。 また、構造化されたログメッセージにするためには、 ndjson形式(俗称? jsonlog) bunyan形式 logfmt形式 のいずれかをおすすめします。 なぜ構造化されたログメッセージがよいか? アプリケーションによって、デバッグや稼働確認、障害調査等の目的でログに含めたいデータは異なります。 アプリケーションの部分部分を担当したエンジニアによって、ログに含まれるデータのフォーマットが異なると、それが利用しづらい状態になってしまいます。 また、 KubernetesのCluster-Level Loggingにはfluentdが使われるということと、 アプリケーションが後の分析のためにログメッセージに付与しておきたいメタデータと、アプリケーションが動作している環境との関連付けのためにKub

サービスに寄り添うログ基盤 - ログ収集のその先に - はてな・ペパボ技術大会〜インフラ技術基盤〜@京都 http://hatena.connpass.com/event/33521/

LTSV 形式の Web サーバのアクセスログを集計する、 tkuchiki/alp · GitHub を作成しました。 Install https://github.com/tkuchiki/alp/releases から各 OS 用のバイナリを取得できます。 Linux 以外では動作確認していませんが、おそらく動作すると思います。 Usage Labeled Tab-separated Values (LTSV) の Labels for Web server's Log みたいに log を出力すれば、 $ ./alp -f access.log +-------+-------+-------+-------+-------+-----------+-----------+-----------+-----------+--------+----------+ | COUNT |

これは Craft Conference 2015 で私が行った 講演 を編集して記事にしたものです。その時の 動画 と スライド もご覧頂けます。 あなたのデータベースは、どのようにして確実にデータをディスクに保存しているのでしょう？　ログを使っているのです。 データベースのレプリカは、どのようにして他のレプリカと同期するのでしょう？　ログを使っているのです。 Raft などの分散アルゴリズムはどのようにして合意を取っているのでしょう？　ログを使っているのです。 Apache Kafka などのシステムでは、アクティビティデータはどのように記録されるのでしょう？　ログを使っているのです。 あなたのアプリケーションのデータ・インフラストラクチャはどのように規模相応の堅牢性を保つのでしょうか？　答えは･･･ ログは至るところにあります。私はプレーンテキストのログファイル（syslogやlog

Logster is a utility for reading log files and generating metrics to configurable outputs. It is ideal for visualizing trends of events that are occurring in your application/system/error logs. For example, you might use logster to graph the number of occurrences of HTTP response code that appears in your web server logs. Logster maintains a cursor, via a tailer, on each log file that it reads so

今でも、 systemdのjournal におけるバイナリのストレージフォーマットに関して、不満を漏らす人が多くいることに私は驚きを隠せません。私は長年、システム管理者として働いてきており、1年以上も syslog-ng の オープンソースエディションのメンテナ として活動してきました。だからこそ、テキストではないストレージフォーマットに対して、なぜ多くの人が批判的なのか、私は理解に苦しんでいます。更に、反論を唱える人までいることが信じられません。もしかしたら、私は別世界の人間なのかもしれません。ですが、より良い選択肢があるのに、テキストのストレージを使う理由はほとんどありません。ロギングをする必要性、そしてなぜ、テキストのログストレージに対してそこまで用心深いのかについて、私は何度も尋ねられました。ここに、私が導き出した答えを紹介したいと思います。 これは、journalについて弁明する

sequence is currently iced since I don't have time to continue, and should be considered unstable until further notice. If anyone's interested in continue development of this, I would be happy to add you to the project. sequencer.io sequence is a high performance sequential log scanner, analyzer and parser. It sequentially goes through a log message, parses out the meaningful parts, without the us

製品 Toggle sub-navigation for 製品 概要 Tableau Next Toggle sub-navigation for Tableau Next Tableau Semantics Tableau Cloud Tableau Server Tableau Desktop 最新リリース カスタマーストーリー Toggle sub-navigation for カスタマーストーリー カスタマーストーリー コミュニティストーリー ソリューション Toggle sub-navigation for ソリューション 業種別 Toggle sub-navigation for 業種別 金融サービス 医療・ライフサイエンス 公共機関 小売・消費財 情報通信・メディア 製造 役割別 Toggle sub-navigation for 役割別 ビジネスリーダー データリーダー/I

鈴木：先のセッションで権限があったから入れましたという話が挙がっていましたが、インフラエンジニアだから入れられるというのは結構あると思います。 道井：インフラエンジニアは基本どこのサーバでもSSHログインできるため、勝手にFluentdを入れて、勝手にログをもってくることができます。 伊藤：待って、この話はあまり一般的でないと思う（会場：笑） 吉田：僕の会社も同じような感じです。2、3年前に、ログ解析やクエリログの収集をしたくなり、トレジャーデータのFluentdが良さそうだというのが分かりました。木曜にメールをして、翌月曜には全台にデプロイが完了していました。 伊藤：それはインフラエンジニアとしての業務にあたっていたんですか？ 吉田：趣味です。 伊藤：なぜ、皆さん趣味でやってるんですか（苦笑） 鈴木：僕はもともとはサーバサイドエンジニアで、インフラエンジニアの人にFluentdを入れるか

こんにちは。望月です。 AWSではたくさんのサービスが提供されており、基本的にはそのサービスの中身はブラックボックスです。その機能を利用したいときには内部仕様を知らなくても全く問題ないのですが、障害調査の時などには、「AWSのサービスで何が起きていたのだろう」ということを確認するためにログが調べられると便利ですよね。 現在AWSで提供されているいくつかのサービスでは、各サービスのログがS3に定期的に転送されて閲覧可能になる機能が用意されています。この機能を利用すれば、時間が経過した後でも色々なモニタリングや調査ができるようになりますので、ロギング機能に関しては出来る限りOnにしておくことをお勧めします。 ですが、サービスによってログの形式や配信タイミングなどが異なります。 以下に代表的なサービスのロギング方式についてまとめてみましたので、まとめとしてご利用下さい。 まとめ ログの種類 保存

What is it? GoAccess is an open source real-time log analyzer and interactive viewer that runs in a terminal in *nix systems or through your browser. It provides fast and valuable HTTP statistics for system administrators that require a visual server report on the fly. Why GoAccess? GoAccess was designed to be a fast, terminal-based log analyzer. Its core idea is to quickly analyze and view web se