前記事 AWS ECS Fargate Autoscaling の実戦的な基礎知識 の続きというか派生的なところで、こんな監視項目がこんな理由でえぇんちゃうん、という基礎知識的なお話です。 当ブログでは『監視よければ全てヨシ！』という格言を推していますので、監視の仕込みをサボっている人は今からでも頑張っていきましょう。 はじめに もともと書くつもりでいた本タイトルは、公式からこのドキュメントが出たことで、ゴミ箱行きかと思いました。 推奨アラーム – Amazon CloudWatch > Amazon ECS んが、まぁ所詮はドキュメントということで、ここではもう少し実戦に寄り添う形でまとめていければと思います。 あったら嬉しい監視項目をカテゴリごとに整理しつつ、その理由やら補足情報によって、楽しく監視できるようにしていきたいところです。合わせて読みたいところとしては、この辺もどうぞ。 ミ

はじめに CloudWatch AlarmでEC2のCPUメトリクスによるアラームを作成しようとした際に、思った通りにアラームが発生せずに苦労しました。 原因は設定項目の意味をよく理解できていなかったことでした。 なので今回はCloudWatch Alarmの設定内容を図にしながら解説してみます。 まずは設定項目の動きを理解した後、EC2のメトリクスを扱う際の注意点を紹介します。 難しい設定項目 まずはCloudWatch Alarmの設定項目です。 私は強調した部分が特に分かり辛いと思いました。 では一つずつ見ていきましょう。 統計と期間 まずは統計と期間を考えます、上の画像では 統計：平均値 期間：1分 としています。 これはどういうことでしょうか？ まず、今回の場合は「期間」1分というのは1分間のEC2のCPU使用率ということです。 図にするとこのような感じです。 図では10秒毎にプ

概要 全般 何はともあれコストタグ Cost Explorer でリソース別にコストを見よう IaC化しよう QuickSight も使おう 稼働時間対応する際はマスタカレンダを用意したい コンピューティング、コンテナ関連 EC2 定時バッチはマネージド化しよう EBS, Snapshot, AMI, EIP を消す ECS Container Insights の有効/無効を使い分けよう 何でも Fargate を選択すれば良いわけではない Fargate スポットを活用しよう Lambda Graviton対応しよう ECR イメージサイズを抑えよう ライフサイクルポリシーを設定しよう ネットワーキング VPC VPCエンドポイント入れ忘れに注意 VPC Flow Logs のS3バケット設定に注意しよう ストレージ系 RDS スロークエリ出てないかAPMを使って確認 DynamoDB

直面した問題 プロダクトにて、Subscription Filter & Lambda 構成でエラーログを捕捉しています。 コンピューティングリソースが、CloudWatch Logs へログを配信する CloudWatch Logs の Subscription Filter にて、配信されたログが、特定の文字列を含むか監視する 特定の文字列を含むログを捕捉したら、 EventLogConsumer Lambda関数を呼び出す Lambda関数を使用して、ユーザー（Slack）へ通知する Slackへ投下するテキストは、以下の情報を含んでいます。 エラーログに記録されたメッセージ 該当メッセージを含む CloudWatch Logs ログストリームへのリンク リンクからログストリームの画面は表示できるのですが、そこからエラーログを頑張って探している状況でした。 このエラーログを探す作業が

こんにちは。プロダクト本部Growth部でエンジニアをしている id:ruru8net です。 前回はこちらの記事を書かせていただきました。 tech.classi.jp 今日は前述したSRE留学中にやったことの中の「Amazon Auroraの監査ログをCloudWatch Logsを経由せずS3に保存する」を紹介したいと思います。 前提 前掲の記事にもある通り、弊社のAWSにかかっているコストを調査したところCloudWatch Logsの特にAmazon RDSの監査ログの保存にコストがかかっていることがわかりました。今回は弊社で最も使用しているAmazon AuroraのMySQLのみを対象として、監査ログをCloudWatch Logsを経由せずS3に保存する仕組みを作成しました。 作成した仕組み こちらのオープンソースの仕組みを参考に構築、またLambdaのソースを使いました。

以下のイベント「Security-JAWS DAYS」で発表した際の登壇資料です。 https://s-jaws.doorkeeper.jp/events/155024

全AWSエンジニアに捧ぐ、CloudWatch 設計・運用 虎の巻 / CloudWatch design and operation bible

rdsadmin とは何か？Aurora の監査ログに大量出力される rdsadmin ユーザーについてと、rdsadmin に関するアクティビティログを除外する方法 rdsadmin によるアクティビティの数はかなり多く、不審なアクティビティがあったとき、誰が操作したのか確認したいときなどにノイズになる可能性があります。 カスタムクラスターパラメーターグループで server_audit_excl_users パラメーターに rdsadmin を設定すると、監査ログから rdsadmin のログを除外することができます。

2021年3月11日〜12日で開催の「CloudNative Days Spring 2021 Online」における発表資料です。 3月12日 15:20-16:00 Track B 「地雷を避けながら進むEKS - 俺の屍を超えていけ -」 https://event.cloudnativedays.jp/cndo2021/talks/491 ｰｰｰ サクッとK8sクラスターを作れるAmazon Elastic Kubernetes Service（以下EKS）ですが、ちょっと真面目に使おうとすると色々と「あるぇ？」ってなることにもポツポツ出くわします。 今回は、EKSが持つ機能もちょこちょこ紹介しつつ、地雷っぽいところ（私が踏み抜いたもの）とかTipsなんかをお話しします。主に初級〜中級あたりの視聴者をターゲットにしています。 これからちょっと本気出してEKS使っていくかぁ！っていう

初めてFargateを触ったので、運用保守の観点で構築時に設定しておいた方が良いポイントをまとめました。 デプロイの自動化と書いているのにデプロイの話薄めになってしまいました…。 こちらはJAWS-UG朝会 #28で発表したものになります。

本記事は AWS LambdaとServerless Advent Calendar 2021 の4日目です。 たまたま空きがあることに気付いたため、せっかくでしたらと急遽参加させていただきます！ よろしくお願いいたします 🙇 こんにちは。Togetter を運営しているトゥギャッター株式会社でエンジニアをしている @MintoAoyama です。 Togetter はツイートを始めとした様々な情報を組み合わせてコンテンツを作り出すキュレーションサービスです。 2009年に誕生してから今年で13年目に突入し、現在も月間PV約1億、月間UU約1500万という規模感で成長を続けています。 そんなトゥギャッター社もコロナ禍に入り、全従業員がフルリモートワーク体制に移行しました。 もっとも、以前からリモートワークは実施されていました。オフィスは東京ですが地方からフルリモートで出勤されているメンバ

はじめにこんにちは、フューチャーにアルバイトとして参加中の中山です。 今日はアルバイトで参加しているプロジェクト内でAWSの利用料金をSlackに通知する仕組みを作成したので共有したいと思います。 私が参加しているプロジェクトでは、毎月AWSにいくらかかっているのか、加えてそれぞれのサービスは全体のコストの内どのぐらいの割合を占めているのか知りたいという話があり、今回AWSから利用額を取得しSlackに通知する仕組みを作る流れとなりました。 今回の記事では、実際に採用したAPIやサービスに加え、採用を検討したが実際には利用しなかったサービスなども交え、似たような仕組みを作ってみたいと思っている方に少しでも情報提供できればと考えています。 参考：今回のソースコード システム概要それでは実際にどのような仕組みで動いているか説明します。 図のように、 CloudWatchにより定時起動でLamb

Kubernetes上に分析環境を構築する機会があったのでどのように構築したかを紹介します。同じような構成でKubernetes上で構築するのは3回目になったので構築方法も洗練されてきました。構成は以下のようになっています。 MySQL(RDS): サービスのデータベース。ここのテーブルからBigQueryにEmbulkでデータをエクスポートします。 PostgreSQL(RDS): Digdagのデータベース。今回新たにつくりました。 Digdag: データベースのエクスポートなどを実行するタスクスケジューラ。失敗したときにリトライもできます。 Embulk: プラグインを使ってデータベースをMySQLからBigQueryにエクスポートします。Digdagと同じDockerコンテナでDigdagのタスクから実行されます。 BigQuery: すべてのエクスポートされたデータをここに集約さ

はじめに こんにちは！DR&MLOps グループの阿部です。 Gunosyには社内警察と呼ばれる人がおり、たとえばデータ可視化の際に円グラフを使うと正しい使い方を教えてくれる、母数という言葉の使い方を正してくれる、方々がいます。 今回はAthenaで課金額の高いクエリを投げるとSlackで警告してくれる、Athena課金警察というボットを紹介します。 そういえばこんな記事もありました。 data.gunosy.io さあ、高額課金者を晒し上げにしてやりましょう！ 目次 はじめに 目次 どうやってやるか Lambdaの中身 結果 悩み まとめ どうやってやるか 最近 CloudWatch Events で Athenaの Query State 監視に対応したようです。 aws.amazon.com 今回はその機能を使い、Query State に変化があったときに Lambda を呼び出し

CX事業本部の佐藤です。 re:Invent 2019 「Building microservices with AWS Lambda」のセッションレポートです。 セッション概要 Many developers have become familiar with building microservices on traditional compute offerings such as virtual machines and containers, but what about serverless? The "functions as a service" model behind AWS Lambda presents a number of unique differences while still providing many benefits that make it a

この記事は コネヒト Advent Calendar 2019 2日目 の記事です。 はじめに 社内のSlackでURL短縮サービスが自社にあればよいなー、という呟きがあったので、昼休みに一人ハッカソンをしてみた時の話です。(※実運用はしていないです) 概要 https://s.hyiromori.com/ にアクセスするとURL短縮用の画面が表示されて https://s.hyiromori.com/[5文字の乱数] のようなURLを発行できるようなWebアプリを作りました。 ドメインが短くないと、あまり短縮された感じがないですが、まだ実験段階なのでご勘弁ください。 ソースは GitHub にあります。 技術スタック 使い慣れている serverless フレームワークを使って、作ってみました。 使用しているAWSのサービスは以下のようになります。 API Gateway Lambda

本セッションでは、弊社にて複数サービスで導入しているAWSのマネージドサービス (Lambda、CloudWatch Logs、Kinesis Data Streams、S3、Elasticsearch Service) を活用したServerlessなログ基盤の構成について紹介する。自前でログ基盤を管…

AWS Chatbot によって、AWS Systems Manager からの通知を、チームの Slack チャンネルや Amazon Chime チャットルームで簡単に受け取ることができるようになりました。例えば、設定コンプライアンスや Run Command のステータス変更についての通知を受け取ることができます。チャンネルやチャットルームで通知を受け取るようにすることで、チーム全体がすばやく内容を確認し、協力して作業を進めることができます。 AWS Chatbot は、チームのチャットルームでの AWS リソースのモニタリングを容易にする、インタラクティブエージェントです。AWS Systems Manager を使用することで、クラウドとオンプレミスのインフラストラクチャの可視化と制御が行えます。Systems Manager によって、リソースとアプリケーションの管理が簡略化さ

コンニチハ、千葉です。 CDK便利ですね。今回はEC2の一覧を取得し、一括でCloudWatchアラームを仕掛けてみたいと思います。具体的には、boto3でEC2の一覧を取得し、対象のEC2に共通のアラームをばんばか設定してみたいと思います。共通の設定する場合に、対象リストを取得して、それを元に設定ができると楽そうですね。 やってみた 今回CDKはPythonを利用します。はじめに、boto3とaws_cdk.aws_cloudwatchをインストールします。 pip install aws_cdk.aws_cloudwatch boto3 EC2の一覧を取得してくる部分のコードです。ここは普通にboto3を使って取得します。 import boto3 client = boto3.client('ec2', 'ap-northeast-1') responce = client.desc

技術部 SRE グループの鈴木 (id:eagletmt) です。 去年クックパッド開発者ブログでも紹介した hako-console の延長として、メトリクス表示に Grafana の scripted dashboards を利用するようにしているのでその紹介をしようと思います。 アプリケーション毎のダッシュボード クックパッドではダッシュボードの作成に Grafana を利用しており、主に Amazon CloudWatch と Prometheus に保存されているメトリクスを Grafana で可視化しています。それ以外にも一部開発用のメトリクスは InfluxDB に保存しており、その可視化にも Grafana が利用されています。 Grafana の variables 機能を利用すればリソースの種類毎にダッシュボードを作成することは簡単です。 ELB のロードバランサー名、