こんにちは、虎塚です。 2016年12月1日のAWSアップデートで、AWS LambdaがDead Letter Queue (DLQ)をサポートするようになりました。キューとして使えるのは、SQSキューまたはSNSトピックです。 AWS Developer Forums: AWS Lambda adds support for dead letter queues AWS Lambdaで、S3、SNS、IoTなどのAWSサービスに非同期メッセージを送信する機能を実装している方には嬉しいアップデートかと思いますので、ご紹介します。 ※2016年12月3日現在、本機能はOhioリージョンでサポートされています。他のリージョンにも今後展開されるとのことです。 前提: Lambda関数が失敗するとどうなるか Lambda関数は、Lambda関数のコードにエラーがある場合や、サービスまたはリソース

6/14にはてなブックマークのブクマ数取得APIが公開された． 特定のサイトに対する合計ブックマーク数を取得する API を実験的に公開します - はてなブックマーク開発ブログ ブックマーク総数が取得できるということで，例えば「ブログのブクマ数が今日どのくらい増えたのか」を確認できると便利だと思い作ってみた． ブクマ総数と前回の実行時からどのくらい増加したかを通知してくれる． CloudWatch Eventsでeventにbookmark_urlとslack_urlを渡すことを想定している． import boto3 import os import json import urllib.request import re def lambda_handler(event, context): bookmark_url = event['bookmark_url'] message =

S3上で意図せず公開されたファイルがあるのは、セキュリティ上非常に重大な脅威となりえます。今回は、S3イベントからのLambda連携を利用して、S3上にパブリック権限をもつファイルがアップロードされた時にメール通知するLambdaを紹介します。 「おれは、こんなファイルを公開するつもりはなかったんや…　(T_T)」 昨今、S3オブジェクトの意図しない公開設定により重要機密が漏れるニュースをよく目にします。 AWS側でも事態を重く見ているのか、S3コンソールでパブリック設定されているバケットがあった場合の表示が、派手になりました。「パブリック！！」的な。 今回は、意図しないパブリックオブジェクトが追加された時の防止目的で、S3バケットにパブリックオブジェクトが追加されるたびに、メール通知するLambda関数を作成しました。 LambdaによるS3オブジェクトの処理に汎用的に使える方法なので、

AWS Compute Blog Implementing safe AWS Lambda deployments with AWS CodeDeploy This post courtesy of George Mao, AWS Senior Serverless Specialist – Solutions Architect AWS Lambda and AWS CodeDeploy recently made it possible to automatically shift incoming traffic between two function versions based on a preconfigured rollout strategy. This new feature allows you to gradually shift traffic to the ne

Amazon Web Services ブログ Amazon CloudFront & Lambda@Edge で画像をリサイズする 多くの画像に対してリサイズを行ったり、新しいデザインレイアウトにウォーターマークを付与したり、ブラウザのサポートのためにフォーマットの最適化を行ったことはありませんか？ 画像毎に事前処理を行う必要なく、必要に応じてその場ですぐに画像を自動生成できないかとおもったことはありませんか？ Lambda@Edge はそれらを可能にし、ユーザーの利便性を向上させ、帯域使用量を削減します。 Lambda@Edge の準備: AWS Lambda はサーバーのプロビジョニングや管理の必要なしにコードを実行できます。 そして利用量に応じて支払いを行います 。 つまりコードが実行されていないときは無料です！ Lambda は自動スケーリングするとともに耐障害性を兼ね備えていま

[toc] 本記事はMackerel Advent Calendar 2016とSansan Advent Calendar 2016 の17日目の投稿記事です。本当は2つ記事書こうと思ったけど、書く手間を惜しんで一つにまとめてしまいました。 タイトルの通り、本記事はMackerelのWebhookの通知先をAmazon API Gateway(以下、APIGateway)とAWS Lambnda(以下、Lambda)にすることで、任意のアクション(今回はEC2インスタンスの再起動による自動復旧)を取ることができたのでその紹介です。 この仕組みを作ろうと思った理由 EC2インスタンスが落ちたときに自動的に復旧する仕組みが欲しかったからです。 Auto Recoveryの採用を見送った理由 AWSにはAuto Revoveryという機能が提供されています。しかし、以下の三点の理由により採用し

Mackerel のアップデートで Webhook の API Gateway 対応が発表されました。 mackerel-agent経由でのメタデータ登録に対応しました ほか – Mackerel ブログ #mackerelio Webhook のリクエスト先に API Gateway のエンドポイントを指定できるようになりました 通知先として選択できる Webhook の対応証明書が拡張され、Webhookの対応先が増えました。 これにより多くの要望を頂いておりました Amazon API Gateway にも対応しました。 AWS Lambda を Amazon API Gateway 経由で呼び出すことも可能です。 アップデート前は通知先に直接 API Gateway の指定は行えていなかったようです。(アップデート前に検証はしてませんでした) 個人的に色々 Webhook からの

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?

はてなエンジニア Advent Calendar 2017の16日目です。 昨日は、id:cockscomb さんによる 三点リーダーの位置をOpenTypeフォントでいい感じにする…… - cockscomblog? でした。 最近、各種スマートスピーカーが日本に上陸してきており、私もAmazon Echo DotとGoogle Home Mini を購入しました。 大変便利なので、自分でも色々スキルの開発をしたいな、ついでに最近話題のAWSのSAMとやらも一緒に試してみたいな、と思ってこのエントリを書いてます。 結論 github.com をREADMEの通りに実行することでバババッとlambda functionが完成するので、後は以下エントリ等参照しながら、amazonの開発者ツールからlambdaのarnを登録すると自分のEchoにスキルを登録できてデバッグ等ができるようになりま

ウィスキー、シガー、パイプをこよなく愛する大栗です。 本日Auroraで新しい機能が発表されました。なんとAuroraの中からLambdaを呼び出す事ができるようになりました！さっそく試してみました。 2017年2月現在AuroraがPrivate Subnetに有ってもLambdaをcallすることが可能になっています。 Amazon Aurora Update – Call Lambda Functions From Stored Procedures; Load Data From S3 Release: Amazon RDS on 2016-10-18 どういう機能？ 一言で書くと、『AuroraのストアドプロシージャでLambdaをInvokeできる』機能です。 ドキュメントによると、ストアドプロシージャは以下の通りです。 シンタックス CALL mysql.lambda_asy

この記事は、はてなエンジニア Advent Calendar 2017の1日目の記事です。 サービスに関連する言及のみを観測したい こんにちは。Mackerelチームでアプリケーションエンジニアをやっているid:syou6162です。サービスを運営していると、サービスに関するtweetをslackに流して定期的に観測しているといった方は多いと思います。観測するモチベーションは様々ですが サービスの不具合に一早く気が付ける もちろんテストや動作確認はやっているのが前提だと思いますが、それでも気づけないものも出てきます 新しい機能を出した際にユーザーの反応が直に見れるため、開発者としてはモチベーションが上がる 問い合わせまではないが、どういう機能要望などがあるか知ることができる などが挙げられると思います。 問題点 Mackerelチームでもサービスに関するtweetを定期的に観測しています。

✨Special Announcement: We've Joined New Relic Serverless!Get ready to function faster with full visibility into your serverless applications—and everywhere else. Read our founders' note.

概要 Lambdaは100msの実行時間単位でオンデマンドに課金されるため、立ち上げっぱなしのEC2インスタンスよりも、料金が安くなる可能性があることが一般に知られている。 しかし、以下の性質を満たすアプリケーションでは、EC2インスタンス上に構築したケースと比較して、Lambda上に構築したほうがコスト効率が悪くなるのではないかと考察してみた。 Lambda functionの実行時間のうち、ネットワークI/O時間が支配的である Lambda functionの実行終了を同期的に待たなければならない 複数のレコードをLambda functionの引数に渡すことができない Lambdaの基本コスト構造 まず、Lambdaのコスト構造を把握する。 Lambdaの料金表[1]によると、「functionに対する合計リクエスト数」と「functionの合計実行時間」に応じて料金が発生する。 後

Lobiチームの吉村(moulin)です。 今回は、Lobiのチャットの投稿画像やユーザアイコンなどの画像ファイルをwebp形式で配信して通信量を削減した話について紹介します。 TL;DR 画像配信について 画像変換サーバのwebp変換対応 AWS Athenaを使ったCloudFrontのログの集計 画像配信について Lobiの画像配信ではAWS CloudFrontを利用しています。ユーザーから画像のリクエストがあった場合、CloudFrontにキャッシュが存在すればキャッシュを返します。無い場合は画像変換サーバにリクエストを渡して、画像を生成してもらいます。画像変換サーバが生成した画像をCloudFrontが受け取り、画像をユーザに配信します。一度ユーザに配信がされるとCloudFrontはその画像をキャシュするため、次からは同じ画像のリクエストが来た場合は画像変換サーバーにリクエス

GitHub と AWS CodeBuild を連携させるサーバーレスなツールを作りました [中身編] 紹介編の続きです. 本記事では github-codebuild-integration の構成や実装などについて掘り下げてみます. このあと何回も github-codebuild-integration と書くと疲れそうなので、以下 gci と書きます. また、本記事中でコードやファイルに対して張られているリンクはすべて記事公開時点で最新の v0.1.1 のものです. 目次 gci リポジトリの中身の話 デプロイまわりの話 Amazon API Gateway じゃなくて Amazon SNS を選んだ理由 AWS SAM と node_modules の関係がエグい AWS Step Functions ええやん CloudFormation Lambda-backed カスタム・

Amazon Web Services ブログ AWS SAM Local（ベータ版） – サーバーレスアプリケーションをローカルに構築してテストする 今回、新ツール、SAM Local のベータ版がリリースされました。これにより、簡単にサーバーレスアプリケーションをローカルに構築してテストできるようになります。この記事では、SAM Local を使用し、クイックアプリケーションの構築、デバッグ、デプロイを実行します。これにより、エンドポイントに curl コマンドを使用してタブやスペースで投票できるようになります。AWS は サーバーレスアプリケーションモデル（SAM）を昨年導入しました。これにより、デベロッパーはサーバーレスアプリケーションをより簡単にデプロイできるようになっています。SAM の基本にまだなじみがない場合は、私の同僚である Orr が SAM の使用方法について書いた素

But, you can already support multiple environments using Terraform… In short, I was left wondering “why don’t people simply use Terraform?” That’s why I’m writing this post. I want to share with you how you can overcome almost all of the concerns raised in Hacker News when you use Terraform in its full capacity. Let’s get started. Don’t be FooledYou may be thinking that all it takes to deploy Lamb

Spring BootによるAPIバックエンド構築実践ガイド 第2版 何千人もの開発者が、InfoQのミニブック「Practical Guide to Building an API Back End with Spring Boot」から、Spring Bootを使ったREST API構築の基礎を学んだ。この本では、出版時に新しくリリースされたバージョンである Spring Boot 2 を使用している。しかし、Spring Boot3が最近リリースされ、重要な変...