こんにちは。サービス部の武田です。Amazon S3 イベント通知は、以前は「稀に失われる」と書かれていましたが現在は「少なくとも1回配信」となっています。ドキュメントの更新履歴を追ってみました。 こんにちは。サービス部の武田です。 AWSではサービスのアップデートなどによって、それまでの常識やベストプラクティスは日々変化します。Amazon S3には イベント通知 という機能があり、オブジェクト作成や削除などをトリガーとして、Lambda関数などを実行できます。 さてこのイベント通知ですが、「たまに抜けることがある」という仕様上の注意がかつて存在しており、頭を抱えた開発者も多いのではないでしょうか。とはいえそれが常識でした。「かつて」と書いたように、実は現在の仕様ではその部分は削除され、代わりに At least once（少なくとも1回配信） となっています。 最近まで知らなかったので

はじめに こんにちは、イノベーションセンターの福田です。 前回 に引き続き、 AWS Outposts について紹介していきます。 今回は、特に AWS CDK による AWS Outposts の Infrastructure as Code (以降 IaC) を行う方法について記載していきたいと思います。 AWS CloudFormation AWS CDK では AWS CloudFormation というサービスをバックエンドで利用しているため、まずはこの AWS CloudFormation について解説します。 AWS CloudFormation は、AWS の各種リソースを JSON/YAML 形式で記述した"テンプレート"として管理します。 これによって AWS リソースの IaC を実現してくれますが、サービスとして IaC を実現するものというよりは AWS リソース

AWS Lambda now supports partial batch response for SQS as an event source. With this feature, when messages on an SQS queue fail to process, Lambda marks a batch of records in a message queue as partially successful and allows reprocessing of only the failed records. By processing information at a record-level instead of batch-level, AWS Lambda has removed the need of repetitive data transfer, inc

サーバーレスアーキテクチャを基礎から復習したかったです。手を動かしたい派なので初心者向けのハンズオンをやってみました。なにを復習したら良いのかはやってみてから考えることにしました。 以下の構成を手を動かして作ります。 画像引用: ハンズオンのアンケート回答後にダウンロードできる資料より やってみた感想 2019年に収録されたハンズオン動画のため一部マネージメントコンソールのUIに変更は見られるものの構築する上では支障はありませんでした（2021年11月現在） API Gateway プロキシ統合のLambda（Python）と、SDKを使い他のAWSサービスの呼び出しを試せる 以下のサービスの連携を簡単に体験したい初心者にオススメ API Gateway Lambda Translate DyanamoDB ハンズオンを完走するまでの所要時間は約1時間30分でした ハンズオン記事のリンク

このブログはこんな方におすすめ 緊急対応の初動を早めたい リモートワーク中心になり、緊急対応中の作業分担や進捗確認が難しい Google Apps Script で緊急対応時の Slack 操作を自動化してみた の Python 版がほしい 2021年6月11日に以下のセッションに登壇しました。本ブログでは登壇中に紹介するとお伝えした関数をご紹介します。また背景についても改めて少し記載しています。 業界特化事例紹介セッション SIer編 | Slack はじめに クラスメソッドでは Slack API を活用することで、いくつかある緊急対応の初動が約30分早くなりました。 では、どのように活用して初動対応を迅速化したのでしょうか。 本ブログでは、クラスメソッドの緊急対応の一つである、AWS 不正利用対応を例に紹介します。 AWS 不正利用とは、AWS アクセスキーの漏洩などが原因で発生しま

どうも。ユアマイスター星（@inase17000）です。 このブログもしばらくイベントやニュースの告知だけになってしまっていました。。。 今回は久しぶりの技術記事。先日から利用をしているSendgridとAWSの機能紹介と、恥ずかしながらハマったところをシェアします。 それでは行ってみましょう！ 前提条件 ユアマイスターではシステムからメールを送信するときに、Sendgridというメール配信サービスを利用しています。 ユーザがご自身でフォームに入力したメールアドレスに対して、メールを送信するのですが、どうしても誤字脱字の記入ミスや、他のいろいろな理由により、メールが届かないことがあります。 その結果、ユーザへの連絡に気づいてもらえなかったり、システムのフローにおいて支障をきたすことになるので、定期的にお問い合わせの発生やトラブルの原因となるリスクを孕んでいました。 システムからSendgr

aws-lambda-powertools-pythonの実際の使い方をサンプルコードと一緒に紹介します。 こんにちは、クラスメソッドの岡です。 この記事は AWS LambdaとServerless Advent Calendar 2020 の7日目の記事です。 AWS Lambda Powertoolsとは？ Lambdaでの実装をサポートしてくれるライブラリです。 現在、ライブラリが提供されているのはPythonとJavaの2つになります。 ちなみに、DAZNからNode.js用の DAZN Lambda Powertools もでています。 動作確認環境 Python: 3.8.5 aws-lambda-powertools-python: 1.8.0 Serverless Framework: 2.15.0 主な機能 Logging LambdaのContextを埋め込んだログの

SlackのEvents API(Event Subscription)で盛大にドハマりしてしまったので、Events APIの再送の仕様をまとめて、本来のベストプラクティスに沿った実装と妥当な落とし所をご紹介します。 どうも、もこ@札幌オフィスです。 最近Slackを利用したBotの開発をする機会がありまして、SlackのEvents API(Event Subscription)で盛大にドハマりしてしまったので、Events APIの再送の仕様をまとめて、本来のベストプラクティスに沿った実装と妥当な落とし所をご紹介します。 Slack Events APIとは？ 従来のポーリング型のAPIとは違い、あらかじめ受信するURLとイベント(メッセージの送信、リアクションの追加など)を指定してあげる事で、ワークスペース上でイベントが発生した際にSlackがWebHookしてくれる物となります。

GA になってから間もない AWS CDK ですが、既にそのバージョンは 1.3.0 になっています。そんな AWS CDK を使って、特定のタグを持つ EC2 インスタンスの自動起動・停止をする環境を構築してみました。 概要 CDK アプリケーションの作成 パッケージのインストール Lambda CloudWatch Events CloudFormation のテンプレートを出力してみる デプロイ まとめ 今回作ったもの 概要 特定のタグ名と値を持つ EC2 インスタンスを自動で停止・起動させる環境を構築します。 自動停止・起動の処理は Lambda で実装し、それを CloudWatch Events のスケジュールで定期的に実行します。この方法自体は以前にも書いた通りですが、今回は Lambda 関数の作成やスケジュールの設定などの環境構築を AWS CDK でやってしまおう とい

成果物 モチベーションと概要 Windows, Macの両方で使えるような社内ツールを作りたい。 Pythonが手軽だがUIも無いし、パッケージのインストールなど環境依存の問題がある…。 WEBで完結していたらいいんじゃないか。 しかしWEB系の言語を全く知らないし、そちらに勉強コストをかける（精神的）余裕もない。 AWS Lambdaを使えばPythonで実際の処理を行えそうだ！ 筆者はHTMLからAWSに渡ってド素人です。なのでPython以外は極力お手軽に行きたい方針です。 見よう見まねの構成図は以下の通り。 今回使用したAWSのサービスはS3・API Gateway・AWS Lambdaです。 図はdraw.ioで作成。AWS用の図があり、WEBで完結している便利ツール。 なんかいっぱいあって把握が大変そうに見えますが、一旦理解したあとは目的のLambdaの処理（Pythonで書け

AWS Fargate が定期的で、スケジュールに従って、またCloudWatch イベントに対応してタスクを実行できるようになりました。このため特定の時間にだけ実行する必要のあるコンテナサービスを容易に起動、停止できるようになりました。 これまでは、Fargate タスクをマニュアルで開始、停止できましたが、スケジュールに従ってタスクを実行するには外部スケジューラー Amazon ECS API を書き、統合する必要がありました。 今回、Fargate は CloudWatch イベントに応じたタスクのスケジューリングをサポートするようになりました。特定の時間にだけ実行する必要のある Fargate タスクを容易に開始、停止できます。AWS Fargate タスクは Fargate コンソール、CloudWatch イベントコンソール、AWS CLI でスケジュールできます。 また AW

2. • ota42y • サーバサイドエンジニア • rubyとかrustとかgoとかC++とか • Twitter、github → ota42y • 最近はサーバレスしたりGPUで遊んだり ElasticSerachしたり色々… 自己紹介

AWS News Blog AWS Lambda Adds Amazon Simple Queue Service to Supported Event Sources We can now use Amazon Simple Queue Service (Amazon SQS) to trigger AWS Lambda functions! This is a stellar update with some key functionality that I’ve personally been looking forward to for more than 4 years. I know our customers are excited to take it for a spin so feel free to skip to the walk through section b

本日より、AWS CloudTrail のイベント履歴は、サポートされている AWS サービスのすべての読み取りおよび書き込みイベントを自動的に記録します。 イベント履歴を利用して、最新の AWS アカウントアクティビティを表示、フィルタリング、ダウンロードできます。この新しいリリースでは、証跡を設定しないで過去 90 日間にわたってとられたアカウントアクションをさらに見やすくすることができるようになります。 CloudTrail に統合される任意の AWS サービスのすべての管理イベントを表示するために、イベント履歴を使用できるようになりました。イベントの作成、更新、および削除を表示することに加えて、リストや説明などの読み込みイベントを表示できるようにもなりました。 引き続き、データイベントを記録するために、現在はイベント履歴に含まれていない証跡を設定するか、90 日以上イベントの履歴を

これはなにか AWSのLambdaを使って分散処理をします。 今回はAWS SNSのsubscribe追加をS3へのアップロードをトリガーにしたいと思います。 仕組み s3に登録したいsubscribeの情報を上げる Lambdaでその情報を解析する 解析した情報を元にSNSに登録していく この構成のメリット よくあるパターンとしてAWS SNSの登録に時間がかかってしまいメルマガやPush通知を打つのに時間がかかるというケースがあります。 この構成の場合、複数のサーバからSNSの登録が行われるため高速になります。 登録したい内容 protocol: http endpoint: http://example.com/[任意の文字] s3にアップロードする内容 var AWS = require('aws-sdk'); var sns = new AWS.SNS({ apiVersion: