こんにちは、エムスリーエンジニアの園田です。 AWS の AutoScaling で増減する EC2 インスタンスに対して CloudWatch Alarm を動的に設定したくなることありますよね？ AutoScalingGroup のメトリクスで AutoScalingGroup 内の平均 CPU 利用率などを監視することはできますが、 個々のインスタンスそれぞれに対してアラームを設定することは（今のところ）できません。 正確には、設定したとしても AutoScaling で新しく起動したインスタンスには設定されませんし、 スケールインで削除されたからといって自動でアラームの設定が削除されることもありません。 そこで、 CloudWatch Event Rule と Lambda を使って増減するインスタンスに対して動的にアラームを設定するのを試してみました。（何番煎じかわかりませんが・

はじめに こんにちは、平野です。 AWS Lambdaがやっと使えるようになってきました。 私は新しい物事を理解しようと思った時、 「できるだけ最小限な構成から少しずつ要素を増やしていって、 そこから挙動を類推して確かめる」 というような調べ方でないとどうにも腑に落ちない性格のようなので、 そんな感じでLambdaも試行錯誤してみました。 Lambdaについては前から面白そうだと思いつつもなかなか手を出せずにいました。 事前の知識としては「あるイベントが起きたら、何らかのイベントを起こすもの」 ぐらいのふわっとした理解しかありませんでしたが、 私と同じ辺りの出発点からスタートする人の参考になればと思います。 最小限でLambdaを構成する ということで、できるだけ最小限の構成でLambdaを動かしてみます。 作るもの 以下のような動作で検証を行います。 究極的に最小限というわけでは無いです

どうも！大阪オフィスの西村祐二です。 開発環境で使っていたデータを本番環境など別環境でも使いたい場面はよくあると思います。 私もあるAWSアカウント上にあるDynamoDBの特定のデータを別のアカウントのDynamoDBへコピーしたい場面に出くわしましたので、Lambda+SQSを使ってDynamoDBの負荷をあげずにコピーする仕組みを作ってみました。 ※今回紹介する方法以外にも色んな方法があります。こんな方法もあるんだな程度で考えてもらえれば幸いです。 構成図 この構成の良さそうな点 個人的に思うこの構成の良さそうな点をあげてみます。 アカウントを跨ぐときの設定がSQSで許可するだけで簡単 ある程度速度調整ができる（今回は負荷をあげないようにゆっくりコピーするようにしているが速くもできる） コスト削減できるかも？ ただ、以下を考慮しないといけないです。 複数回DynamoDBに書き込まれ

S3バケットに配置しているオブジェクトファイルに対してBasic認証をかけたい場合があると思います。しかし、S3自体にBasic認証機能は提供されていません。そのため、今まではリバースプロキシとしてEC2を前段に置くことで実現していました。 最近、Lambda@Edgeという機能がGAリリースされました。この機能を使うことで、サーバレスにBasic認証をかけることができるため、その方法について紹介します。 [toc] Lambda@Edge とは CloudFrontのイベントに対してLambda関数を実行できる機能です。Lambda@Edgeが実行できるCloudFrontのイベントは、以下の4つがあります。 CloudFrontがエンドユーザからHTTPリクエストを受信(ビューワーリクエスト) CloudFrontが受け取ったHTTPリクエストをオリジンサーバに転送する前(オリジンリク

輝く“最優秀賞カップ”贈呈も！「EXNOA AWARD 2024」レポート ～オンライン視聴者からも祝福の声届く～

概要 Lambdaは100msの実行時間単位でオンデマンドに課金されるため、立ち上げっぱなしのEC2インスタンスよりも、料金が安くなる可能性があることが一般に知られている。 しかし、以下の性質を満たすアプリケーションでは、EC2インスタンス上に構築したケースと比較して、Lambda上に構築したほうがコスト効率が悪くなるのではないかと考察してみた。 Lambda functionの実行時間のうち、ネットワークI/O時間が支配的である Lambda functionの実行終了を同期的に待たなければならない 複数のレコードをLambda functionの引数に渡すことができない Lambdaの基本コスト構造 まず、Lambdaのコスト構造を把握する。 Lambdaの料金表[1]によると、「functionに対する合計リクエスト数」と「functionの合計実行時間」に応じて料金が発生する。 後

こんにちは。技術３課の森です。 今までコーヒーはちょっと甘めしか飲めませんでしたが、最近はブラックで飲めるようになりました。大人に近づいた気がします。 Lambd Functionの環境構築 個人的に過去Lambda Functionを作成したときは、Javaで作成することが多かったですが、最近は、Pythonで作るようにしているため、開発環境を整える必要があります。 今回は、現在利用している開発環境を以下の手順でご紹介します。 virtualenvのインストールpython-lambda-localのインストールlambda-uploaderのインストール 事前情報 PC: Mac Book Pro Late 2016 13inchOS: macOS Sierra(10.12.3) virtualenvのインストール まずはじめに、virtualenvのインストールを行います。 $ su

Serverless Architecture の採用により、AWS Lambda の活用の場面は増えています。AWS Lambda はこれまでの Server 環境とは異なるため、開発環境やテスト、エラーハンドリングなど、DevOps に関するトピックもアップデートしていく必要があります。 AWS Lambda を Python で実装、運用する際の、エラーハンドリングからテスト、CI までのナレッジを紹介します。 1. AWS Labmda x Python - Error Handling から Test, CI まで - JAWS UG YOKOHAMA 2017-02-10 Takahiro Ikeuchi eurie Inc. 2. Agenda Serveless Architecture と AWS Lambda 活用事例 AWS Lambda と Error Handli

AWS Lambdaの開発環境が必要になったので整備する。 Lambda が Python3に対応したため、Python3 環境で。 下記記事を参考にしました。 LambdaでAWSの料金を毎日Slackに通知する（Python3） AWS側準備 IAMユーザのロールに以下ポリシーをアタッチしておく。 CloudWatchReadOnlyAccess ローカルPC pyenvとpyenv-virtualenvを使います。 $ brew install pyenv pyenv-virtualenv 以下のディレクトリ内で全て行います。 $ mkdir aws $ cd aws 必要な Pythonのバージョンをインストールしておきます。 $ pyenv install 3.6.1 $ pyenv install 2.7.13 一旦3.6.1に切り替えます。 $ pyenv local 3.6

#はじめに 個人アカウントは基本的に無料枠で運用しているので、少しでも請求がある場合はいち早く気づきたいです。 先日、とあるハンズオンイベントで使ったリソースを消し忘れて、最終的に$30ぐらい請求が来てしまいました。。。 CloudWatchで請求アラートは設定していますが、閾値超えが想定の場合、当然見逃すことになり、最終的な請求額に驚くハメになります。 これを防ぐためにLambdaで毎日SlackにAWS料金を通知することにします。 先日LambdaがPython3に対応したので、せっかくだし勉強がてらPython3で実装したい。 ネット上にはNode.jsでの実装例が多いようで、今回はこちらを参考にPython3で実装してみます。 #必要なもの Slack incoming-webhooks URL 取得についてはこちらを参考に 適当なchannel lambda-uploader r

こんにちは、臼田です。 LambdaがPython3.6に対応しました！ https://aws.amazon.com/jp/about-aws/whats-new/2017/04/aws-lambda-supports-python-3-6/ というわけで使ってみたいのですが、私の環境はmacデフォルトのPython2.7なので、Pythonの複数バージョンを切り替えて使えるpyenvと、それをより使いやすくするpyenv-virtualenvを入れて環境構築したいと思います。 pyenvとpyenv-virtualenvとは pyenv pyenvは、Pythonの複数バージョンを管理して同時に利用するためのツールです。 https://github.com/pyenv/pyenv 特に、Pythonでは2.7系と3.x系のどちらも利用することがあり、派閥争いが激しい状況なので複数のバ

AWS Lambda Python !!! 週末更新、吉田です。 nodeの非同期は僕にはオーバーテクノロジ過ぎたのでAWS LambdaはPythonを使っています（Javaという選択肢は僕にはなかった）。 AWS Lambdaの関数をそこそこ書いてきて、なんとなく使い方はつかめてきたのでよく使うのをまとめてみました。 import 使用するモジュールを の形式でインポートします。 Pythonには様々な外部モジュールが存在していて、importすることで使用することが出来ます。 AWS Lambdaで使う上で最も使うのは boto3 ではないかと思います。 boto はAWSのAPIを扱うためのPython版のSDKです。

こんにちは、菊池です。 API GatewayとLambdaで構成するAPIから、AWS Batchのジョブを実行する環境を作成してみました。Lambdaには向いていない長時間の処理などを、非同期にBatchで実行することで、スケーラブルなジョブ実行環境にできないかと思いました。 API Gateway + LambdaからBatch Jobを実行する 構成イメージは以下のようになります。 APIに対しリクエストを行うと、Lambda関数はBatchに対しジョブの実行を要求し、すぐにレスポンスを返します。Batchはその後、APIのリクエストとは非同期でジョブを実行します。 ElasticBeanstalkのworker環境や、StepFunctionsに実装したActivity State Machineの呼び出しでも、非同期にEC2上のアプリケーションを実行することは可能です。しかし、

こんにちは、このすばのアニメ新企画が決定してテンションが上がっている城内です。 はじめに AWS上でシステムを構築していると、インフラ構築中やアプリ開発中などは、コスト削減のために使わないリソースは極力止めておきたいと考えるかと思います。 私もEC2で大きめのインスタンスを立てているときなどは、結構気になります。 先日も環境構築をしていて、夜や週末にEC2を止めておきたくなり、でも手動でやるのはなーと思い、軽くググってみました。 aws ec2 自動 起動 停止 - Google 検索 まあ、よくある要望なのでやり方はたくさん出てきたのですが、別に運用で使うわけでもないため、ササッとやりたいですし、そのために余計なリソースも使いたくないと考えました。 で、まずは以下の記事を参考に作ってみました。 EC2インスタンスをスケジュールで自動起動・自動停止させる(定時出社・定時退社) ただ、上記の

こんにちは、臼田です。 皆さん、Lambdaしてますか？ 今回はLambdaでPython3.6を利用してツイッターにTweetしてみます。 私の目的としては、下記Step Functionsを利用したCVE Listのアップデート確認ですが、 Tweetの機能だけなら汎用的に利用できると思うので、汎用的な手順として書いていきます。 Step FunctionsにLambdaからデータを渡してみた 目次 Twitterでアプリケーションを登録 スクリプト作成 Serverless Framework環境作成 デプロイ 1. Twitterでアプリケーションを登録 ツイッターへの投稿には、利用するアカウントでアプリケーションを作成して、アプリケーション経由でAPIをリクエストする必要があります。 アプリケーション作成 ツイートしたいアカウントでログインして、TwitterのDeveloper

2016年12月20日からスタートしたMBS（毎日放送）の有料動画配信サービス『MBS動画イズム444』にて、サーバーレス・アーキテクチャ（AWS Lambda）が全面採用されたという事例は、世界を見渡しても類をみない、大変優れた設計であると話題になりました。 でもね、重要なことは「AWS Lambdaを使って構築した」ことではないんです！ 『MBS動画イズム444』は、次々と新しい動画コンテンツが増えていますし、有料会員も猛スピードで増えていると伺っています。そうなると、このサービスの安定運用こそが、もっとも重要なことなのです。 そこで、この記事では「AWS Lambda」で構成されるシステムの運用をcloudpackならこうやります！というのをご紹介いたします。 サーバーレス・アーキテクチャのシステム運用はどう考えるべきか？ 『MBS動画イズム444』のシステム構成は、実に複雑です。

こんにちは。運用2課の坂本(@t_sakam)です。 運用しているEC2のCPU使用率をAWS マネジメントコンソールに入らずに、「Slackで簡単に確認できるといいなぁ」と思っていたところ、「Lambda」の「Blueprint」にいいものがありました。 Blueprintは日本語で「青写真」。計画や設計図、という意味で使われています。LambdaのBlueprintは、「イベントソース※1」の設定と「Lambda Functionのコードのテンプレート」の2つがセットになったものです。このセットを使うことで、AWSの他のサービスとの連携を一から考えたり、コードを一から書かなくて済みます。Lambdaを使ったベストプラクティスがせっかくデフォルトで用意されているので、今回のようにやりたいことが既にBlueprintにある場合は、使わない手はありません。 ※1　Lambda Functio