いわさです。 先日 Service Screener の使用感を確認する機会があり、少し触ってみたのでこのツールについて紹介したいと思います。 Service Screener は、AWS 環境で自動チェックを実行し、推奨事項を提供するオープンソースツールです。 aws-samples 内のリポジトリとして管理されています。 Service Screener は現在は v2 であり、v1 が存在していました。 v1 と v2 の違いですが、大きくはチェック対象の AWS サービスや、サポートするコンプライアンス/フレームワークが異なっています。 v1 では EC2, RDS, S3, Lambda, EKS, OpenSearch, IAM のみがサポートされていましたが、v2 になって CloudFront, CloudTrail, DynamoDB, EFS, Elasticache,

この記事は fujiwara-ware advent calendar 2024 の24日目です。 lamux とは lamux は、HTTP リクエストを AWS Lambda にルーティングするためのツールです。Lambda MultiPlexer の略です。 なぜ作ったのか Lambda Function URLs を使うと、HTTP を処理するサーバーを Lambda で簡単に作ることができます。また Function URLs が生成する URL は Lambda 関数のエイリアスごとに異なるため、ステージング環境や本番環境などを分けて運用することができます。 この機能を使って、20日目に紹介した mirage-ecs のようなことができるなと思いつきました。 foo.example.com にリクエストが来たら foo というエイリアスの Lambda 関数を呼び出す bar.

この記事は fujiwara-ware advent calendar 2024 の22日目です。 kinesis-tailf とは kinesis-tailf は、読んで字のごとく Amazon Kinesis Data Streams を tail -f するためのツールです。 指定した stream の末尾を追い続け、新しいレコードが追加されるたびにそれを表示します。 なぜ作ったのか Amazon Kinesis Data Streams は、リアルタイムデータストリームを処理するためのサービスです。筆者は主にログデータを処理するために使っています。 Kinesis に流れたログは最終的には Firehose を経由して Amazon S3 などに保存されます。しかし S3 に保存されるまでには数分の遅延(バッファリング期間)があります。開発中はこのバッファリングがもどかしく、流れて

この記事は fujiwara-ware advent calendar 2024 の21日目です。 aswrap とは aswrap は、AWS の一時クレデンシャルを取得した上でコマンドを実行するためのラッパーです。 クレデンシャルの取得方法は assume role と IAM Identity Center (SSO) に対応しています。 なぜ作ったのか 比較的新しい AWS SDK を使って作られたアプリケーションでは、AWS CLIと同じように ~/.aws/config などに設定されたプロファイルを使って一時クレデンシャルを取得できます。しかし、AWS SDK を使っていなかったり、古いバージョンの SDK を組み込んでいるアプリケーションでは、環境変数(AWS_ACCESS_KEY_ID, AWS_SECRET_ACCESS_KEY, AWS_SESSION_TOKEN)か

この記事は fujiwara-ware advent calendar 2024 の19日目です。 knockrd とは knockrd は、サイトにアクセスするためのIPアドレス制限を動的に更新するためのツールです。「ノッカーディー」と読みます。 knockrd は Web アプリケーションとして動作し、HTTP リクエストを受け取ると、そのリクエスト元の IP アドレスを許可リストに追加します。許可リストに追加された IP アドレスは、一定時間が経過すると自動的に削除されます。最初にアクセスするリクエストを適切な方法で認証することで、認証された人が使っている IP アドレスのみを動的に許可リストに追加することができます。 なぜ作ったのか 令和の時代になっても、IPアドレス制限という風習はなかなかなくなりません。ゼロトラストを適切に導入すればそのような前時代的な制限は不要とも思えるのです

こんにちは、READYFORでエンジニアをしているshmokmtです。 READYFORでは歴史的な背景[1]からLPを様々な構成でホスティングしています。 Netlify CloudFront + S3 CloudFront + ALB + Ruby on Rails STUDIO しかし、近年では非エンジニアが主体となってLPを制作する際のファーストチョイスとして、STUDIO[2]を利用する機会も増えてきました。その結果、REDYFORでは下記の構成でホスティングしているLPをSTUDIOに移行する機会が増えてきました。このLPを移行する作業では、元のURLのリンクは切らしたくないため、リダイレクトは必須の要件でした。 CloudFront + S3 CloudFront + ALB + Ruby on Rails リダイレクトの要件 リダイレクトの要件は以下のとおりです。 特定のp

この記事は fujiwara-ware advent calendar 2024 の17日目です。 awslim とは awslim は Go で実装された AWS CLI のようなものです。といっても、AWS CLI と100%の互換機能を持っているわけではありません。 より正確な表現としては、「AWS SDK Go v2 のクライアント機能をCLI化したもの」というところでしょうか。 なぜ作ったのか AWS CLI は便利ですが、起動が遅いという大きな不満がありました。Python で実装されていることもありますが、なぜか初期化にとても時間が掛かります。具体的には特にAPI呼び出しも何もしない aws --version でも0.7秒程度掛かります。 手元で使うだけならばそこまで問題でもないのですが、例えば「あるサービスのメトリクス (CloudWatchには存在しないが AWS CL

この記事は fujiwara-ware advent calendar 2024 の16日目です。 ecrm とは ecrm は、Amazon ECR (Elastic Container Registry) のリポジトリを安全に掃除するためのツールです。 なぜ作ったのか Amazon ECR には、不要になったイメージを削除するためにライフサイクルポリシーを設定できます。ライフサイクルポリシーは、タグ付けされたイメージを一定期間で削除するためのルールです。 しかし、これを運用していて事故ったことがあります。ライフサイクルポリシーでは最新から数世代分タグのイメージを削除しないように保護していたのですが、とある ECS サービスのタスクが、古いイメージタグを参照し続けていたのです。 このプロジェクトでは、複数の ECS サービス(A, B)からおなじ ECR のイメージを参照していました。ど

この記事は fujiwara-ware advent calendar 2024 の14日目です。 go-amzn-oidc とは go-amzn-oidc は、AWS ALB (Application Load Balancer) が提供する OpenID Connect (OIDC) 認証を行った場合に、ALB からバックエンドに送られる認証情報を検証するためのライブラリです。 ALB で OIDC 認証を行うと、認証が通った後にバックエンドには x-amzn-oidc-data というヘッダに JWT が渡されます。この JWT が正当なものであるかを検証し、claims に含まれる情報を取り出すためのライブラリ/サーバーです。 なぜ作ったか 認証後に ALB が送ってくる JWT は、かつては通常の JWT とは似て非なるものでした。JWT は base64 の padding (

この記事は fujiwara-ware advent calendar 2024 の12日目です。 riex とは riex は、AWS の Reserved Instance (RI) の期限切れを検知するためのコマンドラインツールです。 RI は、EC2, ElastiCache, RDS, Redshift, OpenSearch などのリソースを予約することで、割引価格で利用できるサービスです。RI は1年契約または3年契約ですが、契約期間が終了しても自動的に更新されません。そのため、期限切れを検知しておくことが重要です。 riex は、指定した日数以内に期限切れになる RI を検知して、表示します。 なぜ作ったのか RI の更新をうっかり忘れてしまったことで、無駄な支払いをしてしまったことがあります。RI はそれぞれのサービスごとに別々に管理されているため、マネージメントコンソー

AWS Database Blog Introducing Amazon Aurora DSQL Relational databases are a powerful and flexible building block for a wide range of applications and services – from microservices and websites, to mobile backends and SaaS applications. Ten years ago, we launched Amazon Aurora, offering unparalleled high-performance and availability with full MySQL and PostgreSQL compatibility, at 1/10th the cost o

Amazon Web Services（AWS）は、米ラスベガスで開催中のイベント「AWS re:Invent 2024」で、PostgreSQL互換の分散データベース「Amazon Aurora DSQL」のプレビュー公開を発表しました。 Amazon Aurora DSQLは、地理的に離れた複数のリージョンでデータベースが稼働する大規模分散データベースです。 分散処理による高いスケーラビリティ、複数のリージョンによる冗長構成による高可用性の両方を実現するだけでなく、分散データベースにおいてトランザクション処理による強い一貫性を実現する際の弱点とされていたレイテンシの大きさを克服し、小さなレイテンシによる高速性も兼ね備えたPostgreSQL互換のデータベースだと説明されています。 分散データベースの弱点はレイテンシの増大 一般に分散データベースは、複数のデータベースのノードが分散してリ

本記事は『AWS CDK Advent Calendar 2024』3日目の記事です。 (記事公開しようとしたらたまたま空いていたので…せっかくなので…) AWS CDKが大好きだけど、ふいんきで触ったり触らなかったりしているちゃちいです。最近またCDKを案件で使うことになりましたが、悩みがありました。 去る 2024-11-30、紅白ぺぱ合戦にて、Lambroll作者の @fujiwaraさんとお目にかかれて、タイトルの内容で困っていたので二次会で開口一番、質問させていただきました。fujiwaraさん、その節はありがとうございました…！ なぜ困っているのかと質問へのお返事についての前に、背景と改めてCDKの挙動を手で確認する必要があると感じたので、せっかくなのでまとめながら。 背景 CDKには、アプリケーションコードのディレクトリを指定するだけで Docker イメージのビルドをしてく

はじめに 表題のようなCLIツール aws-iam-policy-sim を書きました。 github.com 使い方 Statement フィールドに、以下のようなオブジェクトの配列が入っている、というJSONファイルを用意しましょう。 Action フィールドにアクション名もしくはその配列 Resource フィールドにリソースもしくはその配列 たとえば以下の通りです。うっすらお気づきの方もいると思いますが、実はポリシードキュメントのJSONがそのまま使えます。 { "Statement": [ { "Action": [ "s3:PutObject", "s3:GetObject", "s3:GetObjectTagging", "s3:DeleteObject" ], "Resource": [ "arn:aws:s3:::example-bucket/*" ] }, { "Act

SREチームの長田です。 今回はAWSのVPC(Virtual Private Network)内で作業する時の話です。 VPC内で作業したい VPC内で作業したいこと、ありますよね。 環境構築中の動作確認とか、不具合・障害調査のための定形外作業とか、メンテナンスためのイレギュラーな作業とか。 定常的に行うほどではないですが、AWSでVPCに絡んだサービスを使用しているなら、VPC内での作業は少なからずあると思います。 VPC内に閉じたリソースにアクセスする場合は、当然ですがVPC内からアクセスする必要があります。 VPC外からアクセスするための経路を用意すればそれも可能ですが、アプリケーションが使っている経路とは異なる経路を使うことになるため、 不具合調査時の再現確認などでは余計な要素となることがあります。 VPC内からの操作は、AWSであればCloudShellで VPC環境を作るのが

AWS Database Blog Introducing scaling to 0 capacity with Amazon Aurora Serverless v2 Amazon Aurora Serverless v2 now supports scaling capacity down to 0 ACUs, enabling you to optimize costs during periods of database inactivity. Aurora Serverless is an on-demand, auto scaling configuration of Aurora that automatically adjusts your database capacity based on your workload requirements. Aurora Serve

Amazon CloudFront now supports additional log formats and destinations for access logs Amazon CloudFront announces enhancements to its standard access logging capabilities, providing customers with new log configuration and delivery options. Customers can now deliver CloudFront access logs directly to two new destinations: Amazon CloudWatch Logs and Amazon Data Firehose. Customers can select from

AWS News Blog Introducing Amazon CloudFront VPC origins: Enhanced security and streamlined operations for your applications I’m happy to introduce the release of Amazon CloudFront Virtual Private Cloud (VPC) origins, a new feature that enables content delivery from applications hosted in private subnets within their Amazon Virtual Private Cloud (Amazon VPC). This makes it easy to secure web applic

AWS News Blog Streamline container application networking with built-in Amazon ECS support in Amazon VPC Lattice Since its launch, Amazon VPC Lattice has streamlined complex networking tasks. As a result, my perspective on how to build and connect modern, multi-service applications has changed. As my colleague Danilo wrote in his post announcing the general availability of VPC Lattice: “By using V

AWSのALB(Application Load Balancer)のログはS3に置かれるが、この中身をサクッと調べたいとき、Athenaを使う方法が標準的で、下記で案内されているようにパーティション射影(Partition Projection)でテーブルを作ってAthenaからクエリする。 パーティション射影を使用して Athena で ALB アクセスログ用テーブルを作成する - Amazon Athena 私も従来はその方法を使っていたが、Athenaはブラウザから使うと動作がもっさりしているし、決まったクエリを1回きり実行して結果を取得したいだけのときならまだしも、探索的にクエリを何発も実行したいときには使い勝手が悪い。 最近他のプロジェクトでDuckDBを使うようになって、使い勝手の良さに感動していたが、DuckDBはALBのログを探索的に調べたいときにもめっちゃ使えると思った