AWS、Splunkなどがセキュリティに関するメトリクスの標準化を目指す「Open Cybersecurity Schema Framework（OCSF）」を発表 AWSやSplunkが中心となって、セキュリティ関連のさまざまなソフトウェアやツール、機器などが生成するメトリクスやログデータの相互運用性を高め統合運用を容易にするためデータスキーマの標準化を目指すプロジェクト「Open Cybersecurity Schema Framework（OCSF）」の設立を発表しました（AWSの発表、Splunkの発表）。 設立への参画を発表したベンダはセールスフォース、Cloudflare、Palo Alto Networks、IBM Security、Sumo Logic、トレンドマイクロ、Rapid7、Tanium、DTEX、CrowdStrike、JupiterOne、Zscaler、Ir

【仕様変更】一部のCloudTrailのログでSourceIPAddressとUserAgentが”AWS Internal”になる件 中山です とあるCloudTrailの仕様変更について、気がついていない方が多いのではないかと思いましてこの記事を書いています。 結論 AWS Management Console等のProxy client経由で行われるAWS APIへのアクセスについて、CloudTrailのログに含まれるsourceIPAddressおよびuserAgentの情報が"AWS Internal"に置き換わる。 この仕様変更が2022年2月24日から展開されている。 変更された仕様について CloudTrailのDocument historyには以下の記載があります。 Starting Feb 24, 2022, AWS CloudTrail began changin

今押さえておくべき知識をアップデートし、ノウハウを共有し、さらなるスキルアップを実現する場として開催されている、AWS で最も Developer に特化したカンファレンス「AWS Dev Day Online Japan」。ここでSr. Product Developer Advocate, Elastic Containersの原氏が登壇。続いて、運用性に優れたソフトウェアが重要な理由と、運用性を損なう8つの実装例について紹介します。前回はこちらから。 You build it, you run it 原トリ氏：（スライドの「You build it, you run it」を指して）この言葉、聞いたこと、見たことがある方がいるかもしれません。これは、2006年にACM（Association for Computing Machinery）という団体が、Amazon AWSのCTOで

この記事は Mackerel Advent Calendar 2021 の 15 日目の記事です. 昨日は id:kazeburo さんの mkr plugin install 時の403 API rate limit exceededエラーを回避する方法 でした. こんにちは id:susisu です. 普段は Mackerel 開発チームでアプリケーションエンジニアをしています. 先日 mackerelio-labs にて cloudwatch-logs-aggregator という Terraform モジュールをひっそりと公開しました. github.com この記事では, このモジュールについてと, これを使って AWS 環境で動作するアプリケーションのメトリックの監視環境を手早く Mackerel 上に構築する方法を紹介します. アプリケーションのメトリックについて (ここでア

こんにちは！コンサル部のinomaso(@inomasosan)です。 ECS FargateでFireLensからCloudWatch LogsやKinesis Data Firehoseへのログ出力を、Terraformでコード化したので紹介します。 検証にあたり、弊社の以下ブログを参考にしました。 そもそもFireLensって何？ FireLensは、複数のAWSサービスやAWSパートナーネットワーク(Datadog等)にログ出力することができます。 ECSタスク定義でサイドカーとして起動し、他のコンテナからログドライバーとして使用します。 コンテナイメージにはFluentdとFluent Bitを選択可能です。 今回の検証では、リソース使用率が低く、ログルータに推奨されているFluent Bitを使用します。 2021/11/6時点でFluent Bitでは、以下のAWSサービスに

PyCon JP 2021 登壇資料: https://2021.pycon.jp/time-table/?id=272259

ログ・モニタリングのやるべきこと AWS CloudTrail の設定 CloudTrail は AWS リソースを「誰が」「いつ」「何に」対して「どうような」操作をしたのかを記録するサービスです。 ログの長期保管の設定をしておくことで、トラブル発生時の解析等に利用できます。 有料です（無料利用枠もあります） [YouTube] AWS CloudTrailを触ってみた CloudTrail Insights を利用することで、機械学習により異常なアクティビティを検出することもできます。 ログは S3 と CloudWatch Logs に転送でき、S3 に保管しているログは Athena により検索することもできます。 Athena を利用する場合は、事前に CloudTrail 用のテーブルを作成しておき、検索方法を習熟しておきましょう。 インシデントが発生してから習熟では対応が遅くな

こんにちは、最近はAWS Control Towerばかり触っている上野です。 Control Towerの検証を進める中で色々と中身が見えてきたこともあり、個人的に嬉しいポイントと注意ポイントをまとめてみます。 導入検討をされている方、参考となれば幸いです。 Control Towerとは？ 詳細は以前書いた記事でまとめています。 東京上陸！AWS Control Towerを触ってマルチアカウント管理のベストプラクティスを理解する ～セットアップ編～ - NRIネットコム Design and Tech Blog 【Part2】東京上陸！AWS Control Towerを触ってマルチアカウント管理のベストプラクティスを理解する ～運用編～ - NRIネットコム Design and Tech Blog AWSのベストプラクティスに基づいたセキュアな状態の新規アカウントのセットアップと

はじめに 今回は2021年7月31日に開催されました「AWSの基礎を学ぼう 特別編　最新サービスをみんなで触ってみる 〜Amazon Route 53 Resolver DNS Firewall 編〜」のハンズオン資料として本記事を投稿しています。 「AWSの基礎を学ぼう？ナニソレ？」 という方は、以下の記事をあわせてお読みいただけると幸いです。 Amazon Route 53 Resolver DNS Firewall Amazon Route 53 Resolver は VPC 用の DNS サーバーとして提供されています。これらの IP アドレスは予約されており、以下のアドレスが使用されます。 169.254.169.253 VPC IPv4 ネットワーク範囲に +2 したアドレス（例：192.168.0.0/24の場合、192.168.0.2） Amazon Route 53 Re

rain deploy時のパラメータ指定。VPC ID、サブネットIDはご自身の環境に合わせ変更してください。 rain deploy ./fargateWithFirelens.yml fargateWithFirelens-stack --params \ AppName=webapp,\ ClusterName=cluster,\ DesiredCount=1,\ Environment=test,\ ImageNameFirelens=public.ecr.aws/aws-observability/aws-for-fluent-bit:latest,\ ImageNameWebApp=public.ecr.aws/nginx/nginx:latest,\ ProjectName=minimum,\ PublicSubnet1=subnet-043566448c316b46a,\

技術本部 サービスリライアビリティグループ（SRG）の長谷川 @rarirureluis です。 #SRG（Service Reliability Group）は、主に弊社メディアサービスのインフラ周りを横断的にサポートしており、既存サービスの改善や新規立ち上げ、OSS貢献などを行っているグループです。 また Amazon Aurora MySQL（以下：Aurora MySQL）の話です。何でこんなに Aurora MySQL に関する記事ばっか書いてるのか僕も分かりません。 前回の Aurora MySQL のアップグレード方法のベストプラクティスはこちらです。 RDS Graviton2 に少ないリスクで切り替える方法を考えてみる【アップグレード編】 | CyberAgent Developers Blog 今回はバックアップについてです。 そのクラスター、間違ったクエリ流したときに

コンニチハ、千葉です。 監査ログを悪意ある削除から、何が何でも守っていくぞのコーナーです。 みなさんは、AWSの監査ログ(CloudTrail)をどのように保護していますか？ CloudTrail を保護するために CloudTrail ログファイルの整合性の検証を有効化 CloudTrail ログファイルを暗号化 S3上のファイルを削除から守るために MFA削除の設定 が考えられます。 よし、保護している！って思っても、ユーザーが Admin 権限を持っている場合、暗号化していようが整合性チェックしていようがデータは削除可能です。しかも、 CloudTrail のレコーディング自体を停止 もできちゃいます。つまり、監査ログが保存されなくなり、何が行われたのか調査が難しくなります。 もしも、万が一、強い 権限がある Admin が第３者に渡ったとしても、大切なログを守りたいです。Admin

はじめに 2021年3月、実行中のコンテナに入ることができる「ECS Exec」がリリースされました。 これがリリースされるまで、ECSでコンテナに入る方法としては、 ECS on EC2 EC2にsshした後にdocker execする ECS on Fargate そもそもできない（Session Managerを使った非公式な方法は除く） といった状況だったため、このリリースでECS（特にFargate）でのデバッグやトラブルシューティングが一気に楽になりました。 ただ、人間欲深い生き物でして、実際にaws ecs execute-commandを使い始めると、今度は、 タスクIDをマネコン等で調べるのが手間なので対話形式で選択したい ECSとローカル間でファイルをコピーしたい（scpしたい） などの欲が新たに発生してしまいます。 「探せばそういうことができるツールがあるんじゃないの

VOYAGE GROUP Zucks DSPレポーティング基盤をどのようにして作ったかの話。 https://pages.awscloud.com/JAPAN-event-OE-20210624-AnalyticsModernization-reg-event.html ディメンションモデリング…

コンテナでログをどう取得すればいいの？そもそもどういうログがあるのか？ ログの取得パターンから活用方法まで、 @prog893 が選定のためのヒントとサンプルアーキテクチャで紹介します。

JAWS DAYS 2021の登壇資料です。 詳細はブログをご参照ください。 https://dev.classmethod.jp/articles/jaws-days-2021-control-tower/

はじめにこんにちは、Finatextで証券プラットフォーム（Brokerage as a Service、以下BaaS）の開発に携わっている石橋（@bashi0501）です。過去のFinatextテックブログではTerraform、CDKとIaCをテーマにした記事しか書いたことがなかったのですが、今回はログの分析活用をテーマとします。 概要弊社の証券事業ではECSによるワークロードを組んでいます。本テーマのアプリケーションログについては標準出力したものをawslogsログドライバーが回収してCloudWatch Logsに送信しています。 ログの検索という観点ではCloudWatch Logs Insightsというサービスでかなりリッチにフィルターや集計を行うことができるのですが、ログデータを元にしたユーザーのファネル分析や業務改善（後述します）に活かしていきたいという意図があるため、マ

本日のアップデートで VPC フローログに通信元、通信先の AWS サービス名や通信経路の表示可能になりました。 Amazon VPC Flow Logs now reflects AWS Service name, Traffic Path and Flow Direction さっそく見てみる 以下のログでは後 4 つのフィールドが今回追加されたものになります。 追加されたフィールド 今回追加されたのは以下の 4 フィールドです。 pkt-src-aws-service ソース IP アドレスをもとに AWS サービス名を表示します。表示される値は以下のとおりです。 AMAZON AMAZON_APPFLOW AMAZON_CONNECT API_GATEWAY CHIME_MEETINGS CHIME_VOICECONNECTOR CLOUD9 CLOUDFRONT CODEBUIL

タダです. システムの中で CloudWatch Logs に Apache のログを保存しているのですが,大量のログとなっています.このログの中から HTTP ステータスコードが4XX 系を抽出してエラー発生数をモニタリングしたい時に,「check-aws-cloudwatch-logs-insights」の Mackerel プラグインを使って検証してみたのでその内容をこの記事でまとめます. check-aws-cloudwatch-logs-insights とは プラグインの導入 監視の設定の実施 IAM ロールの設定 mackerel-agent のコンフィグ定義 アラートの設定確認 設定のよもやま話 まとめ 関連記事 check-aws-cloudwatch-logs-insights とは Mackerel の「check-aws-cloudwatch-logs-insigh

aws-lambda-powertools-pythonの実際の使い方をサンプルコードと一緒に紹介します。 こんにちは、クラスメソッドの岡です。 この記事は AWS LambdaとServerless Advent Calendar 2020 の7日目の記事です。 AWS Lambda Powertoolsとは？ Lambdaでの実装をサポートしてくれるライブラリです。 現在、ライブラリが提供されているのはPythonとJavaの2つになります。 ちなみに、DAZNからNode.js用の DAZN Lambda Powertools もでています。 動作確認環境 Python: 3.8.5 aws-lambda-powertools-python: 1.8.0 Serverless Framework: 2.15.0 主な機能 Logging LambdaのContextを埋め込んだログの