はじめに 今回は新登場のLambdaのDurable Functionsを試してみました。 従来のLambda関数とは違い、途中で処理を中断し、再開することが可能になります。 また、最初は提供リージョンはオハイオのみでしたが、この度東京を含む14を含むリージョンでも利用可能になりました。 Durable Functionとは 参考：https://docs.aws.amazon.com/lambda/latest/dg/durable-functions.html Durable Functions はcheckpoint, replay, waitを持っているのがポイントになります。 wait 関数が指定した時間待機したり、外部APIの呼び出しなどを待つ処理を書けます。 この待っている間はLambda自体は止まっているので課金はされません。 この待ちの時間が最大1年間になっているというこ

杉嵜 諒吾です。戸籍の振り仮名は問題ありませんでした。 今年の5月よりLambdaのログ出力に仕様変更がありました。料金計算の際に Vended Logs として計上されるようになったほか、Vended Logs として S3 や Data Firehose へ出力できるようになりました。CloudWatch Logs 以外でのログ管理がしやすくなった他、S3 や Firehose へログ出力する際は料金面でも優遇されます。 ローンチ時のブログ記事では AWS コンソール上での設定方法を説明されていますが、Lambda 関数を AWS SAM で作っている身としては、できれば SAM テンプレートでまとめて設定しておきたいところです。今回ドキュメントを探したり、AWS Japan 様に問い合わせたりして作れるようにはなりましたが、自分の備忘も兼ねて記事にまとめることにしました。 今回変わっ

📕 この Zenn Book について LocalStack はローカル環境や CI 環境で実行できる AWS エミュレーターです。この Zenn Book は、LocalStack を使って AWS サーバレスパターンを体験する実践的なワークショップです。 🚀 環境構築不要 ワークショップでは GitHub Codespaces を使うため、ラップトップ上に環境構築をする必要がなく、ブラウザですぐに試せます。 ⭐️ 登場する AWS サービス（順不同） ・AWS CloudFormation ・AWS SAM ・Amazon S3 ・AWS Lambda ・Amazon CloudWatch ・Amazon CloudWatch Logs ・Amazon SNS ・Amazon API Gateway ・AWS Step Functions ・Amazon DynamoDB ・Ama

AWS Lambda用のデプロイツール、lambroll の v1.0 を2024年2月10日にリリースしたのでお知らせです。 github.com リリースして早速ですが v1.0.0 には一部のフラグ名がv0と異なるというバグがあるので、v1.0.1 以降をご利用ください。 v0.x と v1 の変更点 リポジトリ にまとめてありますが、簡単に解説します。 非互換変更 lambroll archive zipのバイナリを、標準出力ではなくファイルに書き出します デフォルトのファイル名 function.zip(--dest オプションで指定可能) に書き出すようになりました。 --dest - を指定することで、v0と同様に標準出力に書き出すことができます。 lambroll diff コマンドは、常に短縮型の unified 形式で出力します --unified オプションは廃止され

こんにちは、稲葉です。 最近、Lambda＋SQS 構成での開発で可視性タイムアウトの設定で躓いた箇所があった為、 その共有と対処法について、今回記事にしたいと思います。 躓いた箇所 Lambda＋SQSで構成して、SQSからのメッセージをトリガーにしてLambdaを実行していました。このLambdaは最大4回ループ、また1回の処理でも比較的時間がかかる処理を行います。 実際に動かしてみた所、処理が完了したはずなのに再実行されるといった意図しない動作をしました。そのため、まずはLambdaのログを確認。しかし、ログを確認した所、エラーは発生しておらず正常に動作してました。 となると、問題があるのはSQS の設定だと考え、色々調べた結果。遂に、原因を突き止めました！ ズバリ、可視性タイムアウトの設定が原因でした！ と言うより、可視性タイムアウトは特に設定していなかったため、デフォルトの30秒

概要私が開発運用を担当している社内サービスでは以前よりAWS上のメトリクスやログを New Relic に集約するための仕組みを導入していましたが、その仕組みをバージョンアップする機会に公式ドキュメントを読み直すことで手順と仕組みを理解できたので整理して記載します。 New Relicのサーバーレスモニタリング「AWS、Azure、またはGoogleCloudからサーバーレス機能を監視します。すべての機能を1か所で視覚化し、トラブルシューティングし、警告します。」 サーバーレスのモニタリング | New Relic Documentation https://docs.newrelic.com/jp/docs/serverless-function-monitoring/overview/ 以下のクラウドサービスに対応しています。 AWS Lambda Google Cloud Funct

Install and configure New Relic logging for AWS Lambda with CloudWatch logs, so you can use enhanced log management capabilities. さて、Lambda 関数のログは CloudWatch Logs に保存されるため New Relic へ転送するためには、やはりサブスクリプションフィルターの設定が必要になります。 関数が少数であれば、特に問題ないですが 例えば、マイクロサービスとして Lambda 関数を利用すると、かなりの数になってしまうことも多いのではないでしょうか。 大量に存在する場合は、工夫して一括で設定したいところです。 シェルスクリプトと AWS CLI を駆使してやってみます。 1 つのロググループに AWS CLI でサブスクリプションフィルターを

AWS上でバッチ処理を行う場合に、 どのAWSサービスが選択肢として考えられるかどのAWSサービスを選択すればいいのかについて考えていきます。 AWSでバッチ処理・定期実行する方法を4つ紹介し、それぞれ特徴やメリットとデメリットがありますので、この点について記載していきます。 バッチ処理・定期実行方式のパターンと特徴を知って適切な手段を選択しよう！という記事です。 まずはどのような構築方法があるかについて記載していきます。

はじめに 最近、プロジェクトで運用回りの設計を行う機会があったので、その際に学習したことをまとめました。AWSのLambdaなどを使っている方でロギングに興味があるけど、まだ良く理解できていないという方のためになれば幸いです。ここではサーバレス環境でのロギングの基本について解説しています。 また、監視に関した記事も投稿していますので、そちらも興味がございましたら一読下さい。 ログ戦略 マイクロサービスの場合、ログ戦略がとても重要になってきます。 マイクロサービスは複数のサービスから構成されているため、ログ戦略を間違えると調査が困難になり得るからです。ただし、AWSの場合は何でもかんでもログを出力するのは間違いです。標準的なログ出力機能を備えているサービスも多いため、重複が多くなりコスト増につながります。つまり、適切なログのみを出力する必要があります。 Lambdaのログ戦略 開発環境と本番

はじめに アノテーション株式会社の hato です。 VPC に接続した Lambda 関数（VPC Lambda）はインターネットアクセスが必要な場合、一般的に NAT ゲートウェイやルートテーブルの構築が必要です。 一連の構築の流れは AWS ナレッジセンターにて公開されていますが、実際に構築したことはなかったのと、お問い合わせ頂いた際に備えて画面キャプチャを取得するため、やってみました。 なお、一連の流れを確認することが目的のため、NAT ゲートウェイと NAT インスタンスなど、AWS ナレッジセンター内に記載のある選択肢の詳細には触れませんのでご注意ください。 完成図 プライベートサブネットに接続した Lambda 関数が、NAT ゲートウェイを経由してインターネットに接続できる環境を目指します。 今回の構築ではサブネット等はシングル構成ですが、高可用性を維持するには冗長化をご検

CloudFront と S3 を使ってサーバーレスなウェブサイトを構築し、特定のユーザーにのみ公開するために Google, GitHub など外部の認証プロバイダ (IdP) を使って認証をおこなう方法です。CloudFront ではリクエスト中継時に Lambda 関数を実行し認証などの処理をおこなうことができるため、それを使うことにします。 OpenID Connect による認証シーケンス CloudFront にアクセスした際のシーケンスは以下のようになります。 構築手順 OpenID Connect (OIDC) による認証をおこなう Lambda 関数を Widen/cloudfront-auth というツールを使って生成します。様々な認証プロバイダに対応していますが、ここでは Google で認証し、特定ドメインのメールアドレスのユーザーのみをアクセス許可してみます。 ※

This block diagram describes an SNS Topic that has an SQS Subscription and a Lambda that fires off when a message is received by the SQS Queue. If you are like me, you created a simple SAM Template that defined the Lambda AWS::Serverless::Function definition that has an SQS Queue as its event source. While that is most of the solution you would find that messages never flow into your SQS Queue. Yo

こんにちは、エンジニアインターンの佐藤です。 SAMを使えば、LambdaやAPI Gatewayの再現をローカルで行うことができ、そのデプロイもできます。しかし、API Gatewayにはステージがあったり、Lambdaにはエイリアスがあったりと、どれを活用するべきなのかまとまっている記事がありませんでした。 この記事では、そのわかりにくい概念から説明し、SAMデプロイのベストプラクティスを紹介していきます。 またSAMについては、２つ記事を出しているので、ぜひ見てみてください。 ・AWS SAM + DockerでAWSサーバーレス環境をローカル構築する ・CloudFrontなしでS3をHTTPSカスタムドメインでホスティングしてみた ※SAMのバージョンは1.24.1を使用しています API Gatewayのステージ Lambdaのエイリアスとバージョニング template.ya

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?

こんにちは、CX事業本部 IoT事業部の若槻です。 Amazon SQSは、AWS上で疎結合でスケーラブルなシステムを実装するのに役立つフルマネージド型のメッセージキューイングサービスです。 Amazon SQS（サーバーレスアプリのためのメッセージキューサービス）| AWS しかし私は今までAmazon SQSを使う機会がなかなか無く、いい加減触ってみようかなと思っていたところ、ちょうど良さそうなチュートリアルを見つけたので、今回やってみました。 やってみた やってみたのは、次のAmazon SQSメッセージを処理するLambda関数を作成するチュートリアルです。 チュートリアル: Amazon SQS で Lambda の使用 - AWS Lambda 実行ロールを作成する Lambda関数実行用のIAMロールを作成します。 https://console.aws.amazon.com

やってみた arm64 対応で必要だったポイントを説明します。 重要なのは Lambda の設定を記述したtemplate.yamlと、ビルドの設定を記述したMakefileの2箇所だけです。 . ├── README.md ├── hello-world │   ├── Makefile │   ├── go.mod │   ├── go.sum │   ├── main.go │   └── main_test.go ├── samconfig.toml └── template.yaml SAMテンプレート Go のランタイムを使うわけではないので Lambda の設定には一切 Go の文字はないです。 Runtime で Amazon Linux 2 のイメージを指定 Architectures でリスト形式で arm64 を指定 Metadata の BuildMethod で後

処理が複雑でジョブの依存関係を定義したい場合は、AWS Batch 単体で制御するか、より複雑な場合は Step Functions を用いて Lambda、ECS（Fargate）、AWS Batch（Fargate） を組み合わせる。 AWSにおけるバッチ処理の選択肢 ざっくりとした選択肢は下記。 Lambda ECS（Fargate） AWS Batch（Fargate） これらのサービスに実際は SQS や Step Functions を組み合わせることもあるので選択肢はさらに広がる。 ちなみに、SQS + Fargate（常時起動でポーリング） という構成や、SQS + Lambda + Fargate（都度実行） という構成は、AWS Batch が Fargate に対応した現在は特にメリットがないので取り扱わない。 2021/5/2 追記 「常時リクエストがくるユースケー

Applications I worked on in the last decade were rarely isolated from the rest of the world. Most of the time, they had many interactions with other applications out there. From time to time, some of these integrations are using WebSockets, which makes our integration realtime. But much more common integration is using webhooks to send us new changes, and give us some API or SDK to allow us to com