デジタル時代の企業にとって、システムの安定稼働と迅速な問題解決は、競争力を維持するための重要な要素です。21社にご寄稿頂いた「Amazon CloudWatch」「Datadog」「Grafana」「New Relic」「Prometheus」「Sentry」「Splunk」の各ツールレビュー記事を参照・抜粋し、それぞれの企業がどのようにシステムの健全性を確保し、未来の課題に備えているのかをアーキテクチャを通してご紹介します。 ※ツール名・ご寄稿企業名共にアルファベット順で掲載しております Amazon CloudWatchAWS CloudWatchは、AWSのクラウドリソースとアプリケーションの監視と管理を行うためのサービスです。メトリックス、ログ、イベントなどを収集、追跡し、可視化することで、システム全体の状態を把握し、問題の早期発見と解決をサポートします。 ▼Amazon Clou

こんにちは、新規プロダクトの開発をしています、a2 （@A2hiro_tim ）です。 昨日、開発してきたプロダクトについて、正式リリースを発表させていただきました 🎉 prtimes.jp employee.kaminashi.jp さて、新規プロダクトの立ち上げは、技術選定や運用ツールの自由度が高く、どの監視ツールを使うか、選択に迷うこともあると思います。 我々のチームでは複数ツールの使用経験はあるものの、特定のツールの導入経験や深い知見があるメンバーはいなかったので、フラットに比較検討し、 Amazon CloudWatch の利用から始めてみよう、と意思決定しました。 主な選定理由は、 AWS エコシステムの中で完結できるため、Terraform Cloud などの既存の設定を流用できて新しく覚えることが少ない、AWS 上でコストを一元管理できる、等のメリットがある。 サービス開

Lily Maraと信頼性の高いKafkaデータ処理パイプラインを構築する 今日の回では、Thomas Betts氏がカリフォルニア州サンマテオにあるOneSignalのエンジニアリングマネージャー、Lily Mara氏に話を聞いた。 彼女は、OneSignalの他のエンジニアリングチームが使用する社内サービスを担当するインフラサービスチームを管理している。信頼性の高いKafkaデータ処理パイプラインの構築方法について議論する。OneSignalは、RustのKafka...

切っ掛けと問題の認識 AWS Config のカウント数の監視 対象外にしたいリソースが見つかったら AWS Config 側で除外する 実際のコスト削減効果 なぜもともとコストが高かったのか まとめ こんにちは、ABEJAの村主です。ABEJAアドベントカレンダー2023の18日目の記事です。今回は、意外にも高額になりがちなAWS Configのコスト削減について、どのように対応したかをご紹介します。特に、AWS Configのコストを大幅に減らすためのアプローチについてお話しします。また、CloudWatch で AWS Config のカウント量を可視化する方法はあまり見かけなかったのでブログにしておきました。 切っ掛けと問題の認識 最初に気づいたのは、AWS Cost Explorer を確認していたときです。そこで見たAWS Configのコストは、1日あたり約$15、月間では約

CloudWatch Logsにログの異常検出が追加されました。 [アップデート]CloudWatch Logsに異常検出とパターン分析の機能が3つ追加されました！ #AWSreInvent | DevelopersIO AWS が CloudWatch Logs の異常検出とパターン分析を発表 Amazon CloudWatch Logs now offers automated pattern analytics and anomaly detection | AWS News Blog Log anomaly detection - Amazon CloudWatch Logs ドキュメントのFAQによると、次のような現象があると、検出するようです。 ロググループで以前に見られなかったパターンのログイベントがある 既知のパターンに対する大きな変化がある 通常は一定の値セットを持つ動的

いわさです。 Amazon CloudWatch の今朝のアップデートで、アラームの対象メトリクスとしきい値の推奨事項が提供されるようになりました。 CloudWatch Alarm を使った監視を始める時に、「どのメトリクスをどういう条件くらいでやるのが良さそうか、どの程度が一般的なのか」など、指針が欲しくなるシーンがあります。 「ワークロードごとに適切な値を設計することが必要」と言いつつも、まずは手軽に推奨事項から始めたいというケースも多いです。 今後は CloudWatch コンソールが推奨事項を提供してくれます。 「アラームに関する推奨事項」トグルボタンが追加されている CloudWatch メトリクス画面には現在稼働しているワークロードが出力したメトリクスが表示されています。 このメトリクス画面のいくつかの箇所で次のような「アラームに関する推奨事項」というトグルボタンが追加されて

[アップデート] Amazon CloudWatch Logs でリアルタイムでログを確認出来る Live Tail 機能が追加されました いわさです。 私は CloudWatch Logs でログの確認をよくするのですが、トラブルシューティングや開発中にログに張り付くようなタイミングだと既存の CloudWatch Logs のイベント機能や Logs Insights では表示の更新が必要でちょっと不便だなと思っていました。 本日のアップデートで CloudWatch Logs に新たに Live Tail という機能が登場しました。 CloudWatch Logs のログストリームに送信されたログをリアルタイムで確認することが出来ます。 フィルターなどをかけながらリアルタイム表示出来るので、なかなか良いですよこれは。 ただし、有料オプションなのでご注意ください。 この記事では実際に使

AWSのログ管理についてはいくつか考えるポイントがあると思います。 どのログを保存するか。 CloudWatch Logs（以下CW Logsと記載）とS3のどちらに保存するか、もしくは両方に保存するか などなど。 システムの特性によるところも多いかと思いますが、自分の中でのログ管理のベースラインが定まりつつあるので、頭の整理がてらまとめます。 自分の中での大まかな方針としては以下です。 S3に保存できるものは基本S3に保存する。 以下の場合は、CW Logsに保存する。必要に応じてS3に転送する。 アラームを出したい場合 さっとCW Logs Insightでログを確認したい場合 CW Logs に出さざるを得ない場合 全体像としては以下になります。 なおあくまで個人的な経験に基づくものなので、実際にはシステムの特性を踏まえて方針の決定が必要かと思います。 またこれは必要、これは不要など

AWS News Blog Amazon CloudWatch Internet Monitor Preview – End-to-End Visibility into Internet Performance for your Applications How many times have you had monitoring dashboards show you a normal situation, and at the same time, you have received customer tickets reporting your app is “slow” or unavailable to them? How much time did it take to diagnose these customer reports? You told us one of y

「Amazon Web Services」（AWS）活用における便利な小技を簡潔に紹介する連載「AWSチートシート」。今回は、「CloudWatch Logs」の「サブスクリプションフィルター」機能の利用方法と注意点を紹介します。 「CloudWatch Logs」の「サブスクリプションフィルター」とは 「サブスクリプションフィルター」はロググループ単位に設定するフィルター機能です。設定した特定文字列がログに出力された場合に、指定した後続処理（「AWS Lambda」「Amazon Kinesis」など）にログを転送します。 構築時は、とあるエラーのみ処理の中で通知する仕組みにしていたが、運用していく上で「他のエラーも同様に通知したい」「一時的にこのエラーは通知してほしい」といったことも起こります。こういった場合、大抵は処理を改修して通知する箇所を増やす必要がありますが、エラーログさえ出力

はじめに お久しぶりです。最近は疎かになっていましたが、久々のブログ投稿となります。 今回はタイトルの通り、技術書典#13向けに「Amazon CloudWatch [本格]入門」を執筆しました。 本ブログにて少しご紹介できればと思います🚀 techbookfest.org 今回も表紙がかなりかわゆい感じになっていますが、内容はガチガチの技術書です。 書籍の位置付け 技術書典はかれこれ2019年にオンライン開催された技術書典8が初参加です。 その時はコンテナ(Amazon ECS / AWS Fargate)+CI/CDを主テーマにした「クラウドネイティブファーストストーリー」を執筆しました。 2年後の技術書典11にて、同じくクラウドネイティブシリーズ第2弾として「比べてわかる！IaCの選びかた」を世に送り出しました。 booth.pm booth.pm 今回の書籍は、そのクラウドネイテ

困っていた内容 CludWatch エージェントを使用して EC2 インスタンス内部のログファイルを CloudWatch Logs へ転送していますが、対象のログファイルに logrotate を適用してファイルをローテーションさせると、CloudWatch Logs へのログ転送が欠損する場合があります。この原因と対処法を教えてください。 どう対応すればいいの？ 考えられる原因 CloudWatch エージェントの設定ファイル内で転送対象のログファイル名を指定する file_path の記述が関連している可能性があります。 例えば設定ファイル内で以下のように記述していたとします。 CloudWatch エージェント設定ファイルの例： この場合、CloudWatch Logs に転送される対象のログファイルは「system.log」のみとなります。 つまり logrotate によりファ

本日、Amazon Elastic Container Registry (ECR) は、Amazon CloudWatch を介してリポジトリプル統計をモニタリングする機能の提供を開始しました。新しいプル統計は、リポジトリごとにイメージプルリクエストを監視することで、使用パターンをモニタリングしたり、異常な動作を特定したりするのに役立ちます。 Amazon CloudWatch は、デフォルトでプライベート ECR リポジトリからプルされたイメージの数に関する統計を提供するようになりました。追加のインサイトにより、お客様は、一般的にアクセスされるリポジトリを識別したり、新しいリポジトリの導入を理解したり、リポジトリの使用状況に関するより優れたインサイトを得たりすることができます。サービス制限に関してお悩みのお客様は、このデータを使用して、どのリポジトリで最大数のイメージプルが発生している

本記事は AWS LambdaとServerless Advent Calendar 2021 の4日目です。 たまたま空きがあることに気付いたため、せっかくでしたらと急遽参加させていただきます！ よろしくお願いいたします 🙇 こんにちは。Togetter を運営しているトゥギャッター株式会社でエンジニアをしている @MintoAoyama です。 Togetter はツイートを始めとした様々な情報を組み合わせてコンテンツを作り出すキュレーションサービスです。 2009年に誕生してから今年で13年目に突入し、現在も月間PV約1億、月間UU約1500万という規模感で成長を続けています。 そんなトゥギャッター社もコロナ禍に入り、全従業員がフルリモートワーク体制に移行しました。 もっとも、以前からリモートワークは実施されていました。オフィスは東京ですが地方からフルリモートで出勤されているメンバ

Metrics Insights is a new feature from Amazon CloudWatch that is in preview. As a fast, flexible, SQL based query engine, Metrics Insights enables developers, operators, systems engineers, and cloud solutions architects to identify trends and patterns across millions of operational metrics in real time and helps you use these insights to reduce time to resolution. With Metrics Insights, you can ga

Amazon CloudWatch RUM is a real-user monitoring capability that helps you identify and debug issues in the client-side on web applications and enhance end user’s digital experience. CloudWatch RUM enables application developers and DevOps engineers reduce mean time to resolve (MTTR) client-side performance issues by enabling a quicker resolution. Amazon CloudWatch RUM is part of CloudWatch’s Digit

AWS News Blog New – Real-User Monitoring for Amazon CloudWatch Way back in 2009 I wrote a blog post titled New Features for Amazon EC2: Elastic Load Balancing, Auto Scaling, and Amazon CloudWatch. In that post I talked about how Amazon CloudWatch helps you to build applications that are highly scalable and highly available, and noted that it gives you cost-effective real-time visibility into your