こんにちは、いちび( @itiB_S144 )です。 2021年12月25日にWindowsイベントログ解析ツールとして「Hayabusa」がリリースされました🎉 Hayabusaは事前に作成したルールに則ってWindowsイベントログを調査し、インシデントや何かしらのイベントが発生していないか高速に検知することができるツールです。 私も開発を微力ながらお手伝いさせていただきました。 本記事では多くの方にHayabusaを触っていただきたいため、簡単な使い方を紹介していきます。 We just released two Windows event log analysis tools: Hayabusa and WELA: https://t.co/nFHxSgUl2q #yamasec— Yamato Security Tools (@SecurityYamato) 2021年12月2

この記事はPySpa Advent Calendar 2021の14日目のエントリーとして書かれました。昨日のエントリーは冷凍食品でウキウキ引きこもり生活 でした。ちなみに私も70ℓの冷凍庫を購入しましたが本当にライフチェンジングでした。 総論: なぜログが必要か 可観測性 たとえ目的は自明でも、その動作までが自明なアプリケーションというものはほぼ存在しません。現実の世界のアプリケーションというものは、動作パラメータだったり実行環境だったり、起動時点でのさまざまな要因によって挙動を変えるものだからです。そして、そうしたアプリケーションにはライフサイクルというものがあります。ここでいうライフサイクルは、アプリケーションの処理が実行されるにつれ、アプリケーションの内外との情報のやりとりで生じる大局的な状態の変化のことです。アプリケーションが並行処理を行うようなものであれば、個々の並行処理の単位

困っていた内容 API Gateway で「CloudWatch ログを有効化」を設定して、アクセスを行いましたが CloudWatch Logs の/aws/apigateway/に配下にログが作成されていません。ログを出力するにはどうしたら良いでしょうか。 どう対応すればいいの? ロググループAPI-Gateway-Execution-Logs_【API ID】/【ステージ名】をご確認ください。 REST APIで「CloudWatch ログを有効化」すると、API-Gateway-Execution-Logs_【API ID】/【ステージ名】という名前のロググループで作成されます。 WebSocket APIの/aws/apigateway/【API ID】/【ステージ名】とは異なりますので、ご注意ください。 参考資料 API ゲートウェイ REST API と WebSocket

これは何 僕は開発作業をしているとき、PRをあげるまでの開発途中はwipコミットに変更を記録していき、最後にコミットを仕上げていくような作業をよくします。 初めからコミットを綺麗に書きながら開発ができれば良いのですが、 にあるようなコミットログを仕上げていこうと思うとどうしても最後にコミットログを整理したくなります。 この記事はこのようにgitを使うと綺麗なコミットログを作れるよ、というTipsです。 具体的にこういうコミットを作ると良いよ、みたいな話はこの記事ではしません。 僕はこのような工程でPRを出す前にコミットログを作っています。 git rebase -iで作業中のコミットを全て一つのコミットにsquashする git reset HEAD~で一度コミットを取り消す git add -pで作りたいコミットごとに変更をstageにあげていく コミットを作成する git rebase

こんにちは、CX事業本部の若槻です。 Amazon API Gatewayでは、REST APIのログをCloudWatch Logsに記録することが可能です。 API Gateway での CloudWatch による REST API のログの設定 - Amazon API Gateway 今回は、AWS CDKでAPI Gatewayのログ出力を有効にしてCloudWatch Logsでログを確認してみました。 確認してみた API Gatewayのログにはアクセスログと実行ログの2種類があります。AWS CDKではいずれもRestApiのdeployOptions内で出力の設定を行います。 import * as apigateway from '@aws-cdk/aws-apigateway'; import * as logs from '@aws-cdk/aws-logs';

ヤフー株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。LINEヤフー Tech Blog Yahoo! JAPANアプリの通知系バックエンドシステムを主に担当しているエンジニアの福盛です。 Yahoo! JAPANアプリの通知系バックエンドシステムについては、以下の記事でも紹介しています。もし興味があればこちらも参照ください。 チームのスキル向上にもつながるシステム刷新 〜 Yahoo! JAPANアプリ「お知らせ」機能の開発事例 Scalaで使うMessage Queue 〜 Yahoo! JAPANアプリのお知らせ送信でのApache Pulsarの活用 今回は開発とトラブルシュートの効率を大幅に向上する、アプリケーションログの埋め込みと活用方法について紹介いたします。 本記事では「JavaおよびScalaで構築さ

AWSチームのすずきりょうです。 2021年5月のAWS WAFのアップデートで、アクセスログのフィルタリングがサポートされました。 AWS WAFルールで 「Count」、「Block」と判定されたログのみ記録する設定を試す機会がありましたので、紹介させていただきます。 AWS WAF adds support for log filtering WAFダッシュボード Web ACLs > Logging and metrics WAFのログ設定画面に「Filter Logs」が追加されました。 フィルタ設定 デフォルトは記録対象外(Drop)、「Count」、「Block」と判定されたログのみを記録する設定としました。 2021年4月よりAWS WAFでサポートされたラベルをフィルタ対象とする事も可能です。 AWS WAF がルールのカスタマイズとレポートを改善するためにラベルのサポー

進撃の巨人にハマりまくってるオンジーです！心臓を捧げよ！ Image BuilderはデフォルトでCloudWatch Logsへのログ出力が有効になっています。 より詳細なログを出力するためにはS3へのログ出力を有効にする必要がありその手順は下記ブログに書きました。 S3に詳細なログが出ているのでCloudWatch Logsへの出力を無効化したくなった僕みたいな人のための手順です。 手順といってもCloudWatch Logs出力用の権限を削除するだけです。 実際にやってみた 前回の記事からの使い回しですが現在EC2用のIAMロールは以下のポリシーがアタッチされています。 この中の「EC2InstanceProfileForImageBuilder」の中にCloudWatch Logs出力の権限があります。 { "Effect": "Allow", "Action": [ "logs:

この時期になると杉花粉へのヘイトが一気に高まるオンジーです！ Image BuilderはデフォルトでCloudWatch Logsへのログ出力が有効になっています。 いきなりですがphp7.4をインストールしてrebootテストを実行する簡単なパイプラインを組んで実行してみました。 Image Builderの基本的な使い方はこちらをご参考ください。 CloudWatch Logsに出力されるログは リアルタイムで見ることができるので初回実行時に見守るとき便利 EC2上の標準出力と標準エラーがストリームで出力される 以下の様なトラブルシューティングか可能 「AccessDenied」「UnauthorizedOperation」が出力されたらIAMの権限不足を疑う 「TimedOut」が出力されたらNWの問題を疑う しかしトラブルシューティングの際にこれだけだと限界があります。 例えばコ

課題 数年前と比較すると、GKEやECSを始めとするコンテナ実行環境でのアプリケーション運用を行うサービスはかなり増えてきた印象があります。 コンテナを運用する上では、アプリケーションのイベントを追跡する上でログをどう扱うかが課題になります。今までのように古いログを定期的にローテートして別のストレージに転送するといった手法はクラウドネイティブなアーキテクチャには最適とは言えません。 アプリケーション開発の方法論として、Twelve Factor App ではログをイベントストリームとして扱うためのガイドラインが示されていますが、近年のWebアプリケーションではシステムを疎結合に連携するマイクロサービスという考え方が主流になりつつあります。 アプリケーションログはサービスごとにフォーマットを整形した上で、ログ収集サービスに配送。必要に応じてリアルタイム分析や異常データの通知、そしてデータの可

はじめに Amazon Auroraは、AWSを触る人ならほとんどの人が利用を検討したことがあるでしょう。 Amazon社内ではOracleを止めたというtweetもありました SHUTDOWN ABORT the last Oracle database running Amazon Fulfillment! pic.twitter.com/DorqTua2Lt— John Darrow (@jdarrow) 2019年3月29日 そんなAuroraは、従来のRDBとは違いクラウド上で動くことを念頭に設計されています。 また、ログが中心的な役割を持つことから「The log is the database」と表現されることもあります。 そんなAuroraの仕組みについての論文を読んだので紹介します。 読んだ論文は以下の２つです。 Amazon Aurora: Design Conside

こんにちはさかじです。今年もよろしくお願いします。 Node.js初心者の私は、ログを出力するのについつい`console.log()`を使いたくなってしまいます。きちんとログを出力するためにlog4jsを使ってみました。 こんにちはさかじです。今年もよろしくお願いします。 Node.js初心者の私は、ログを出力するのについついconsole.log()を使いたくなってしまいます。きちんとログを出力するためにlog4jsを使ってみました。 インストール $ npm install log4js コンソールにログ出力 hello.js 'use strict' const log4js = require('log4js') const logger = log4js.getLogger(); logger.level = 'debug'; logger.debug('Hello world

AWS Systems ManagerのSession Manager for Shell Accessを利用するとSSH/RDPなしにブラウザ、及び、CLIからEC2インスタンスにシェルアクセスできます。 SSH不要時代がくるか!?AWS Systems Manager セッションマネージャーがリリースされました! ｜ Developers.IO AWS Systems Manager Session Manager for Shell AccessでMacからLinux EC2インスタンスに端末でアクセスする ｜ Developers.IO New – AWS Systems Manager Session Manager for Shell Access to EC2 Instances | AWS News Blog 本ブログではこの機能を利用した操作履歴をログ出力する方法をご紹介

こんにちは。事業開発部の齋藤です。 今回はJavaのOSSのライブラリを紹介します。 ZalandoというEC系の会社が出している TracerというJavaのライブラリです。 今回のライブラリとSlf4jとその実装である Logback を組み合わせることで サーバサイドのエラーが、どのAPIリクエストでエラーが発生したのか調べられるかもしれません。 やっていきましょう。 はじめに slf4jをお使いの皆さんはご存知な気がしますが MDCというものをご存知でしょうか？ MDCとは Mapped Diagnostic Contextの略でSlf4jにAPIが存在します。 Slf4j APIの実装である、logbackの日本語のドキュメントでは 診断コンテキストと表現されています。 logbackでは、ログにMDCに入っている値を含めることが設定可能です。 さて、MDCとはどんなことに使える

Spring MVCのアプリケーションでリクエストログを出力するには CommonsRequestLoggingFilter を使うと簡単です。 リクエストログの設定 Spring Bootの場合は以下のように設定します。 @Configuration public class AppConfiguration { @Bean public CommonsRequestLoggingFilter requestLoggingFilter() { CommonsRequestLoggingFilter filter = new CommonsRequestLoggingFilter(); filter.setIncludeClientInfo(true); filter.setIncludeQueryString(true); filter.setIncludeHeaders(true);

console.log関連についてまとめました。 モダンブラウザであればどれも使用できると思いますが、基本出力結果等はchromeで確認したものです。 console.hogehogeのいろいろ console.log 基本 引数を入れることで出力結果をカスタマイズできます console.info、console.warn、console.error それぞれで見た目を変えることができます。 console.assert 式を評価してfalseの場合にログ出力します。 console.count ログの出力結果が同じ場合にカウント数が自動的に増えていきます。 console.dir オブジェクトのプロパティの中身をログに出力します。 console.dirxml HTMLとかXMLの要素を渡すと、下の要素が全部見れるようになります。 console.group、conosle.group

はじめに Spring Bootでアプリを開発している際に、AOPでログを出力したいことがありました。そのやり方を調べ、実践してみました。 実装について 早速実装についてです。まずはAOPでログ出力処理を取り込むメソッドについて紹介し、次にAOPによるログの出力方法について書きたいと思います。 1.対象メソッド 以下がログ出力処理を取り込む対象のメソッドです。今回は抽象クラスを作り、それを継承したクラス内の「execute()」メソッドの実行前後にログ出力処理を取り込みます。 ServiceBase.java package jp.classmethod.sample.service; public abstract class ServiceBase { public ServiceBase(){ } public abstract void execute(); } SampleSer

主にアプリケーション開発者向けに、Linuxサーバ上の問題を調査するために、ウェブオペレーションエンジニアとして日常的にやっていることを紹介します。 とりあえず調べたことを羅列しているのではなく、本当に自分が現場で使っているものだけに情報を絞っています。 普段使っているけれども、アプリケーション開発者向きではないものはあえて省いています。 MySQLやNginxなど、個別のミドルウェアに限定したノウハウについては書いていません。 ログインしたらまず確認すること 他にログインしている人がいるか確認（w） サーバの稼働時間の確認 (uptime) プロセスツリーをみる (ps) NICやIPアドレスの確認 (ip) ファイルシステムの確認（df） 負荷状況確認 top iostat netstat / ss ログ調査 /var/log/messages or /var/log/syslog /

これはJava EE Advent Calendar 2014の13日目の記事です。 昨日はtatsu983さんの「JSFのコンセプト（考え方）って？」でした。 先日、Twitter上でログなんて出したいものを出しておけばいいんだよというお話をしていたら、そもそも出したいものってなんだよというツッコミを受けたのでそれをネタに書きます。 //10日も遅れて公開しましたよ！ 基本的にJavaで作られたWebシステムを想定し、他のインフラでは必ずしも当てはまらないと思います。 ログとは まずログとはなんでしょうか。 Wikipediaによるとデータログというもので、"コンピュータにおけるデータログでは、障害などが発生したとき、何が起きたのかを説明できるようにするためにプログラムが自動的にある範囲のイベントを記録する。"だそうです。 "ログは「航海日誌」 (logbook) を語源とする用語"とい