はじめに こんにちは、イノベーションセンターの福田です。 今回、開発環境改善の取り組みとして GitHub Actions の self-hosted runners を AWS 上に構築しました。 この構築で得られた知見について共有します。 概要 GitHub Actions は GitHub で CI/CD を手軽に実現する機能です。 GitHub が提供している環境を利用して、 CI/CD のジョブを実行できます1。 一方で、ハードウェア等をカスタマイズできないため、例えば容量が大きくより速度の早いストレージを利用したい場合や、より多くのメモリを利用したい場合に対応ができません。 そこで、GitHub Actions には self-hosted runners という機能があり、自身の環境で GitHub Actions の CI/CD ジョブを走らせる環境を用意できます。 今回は

こんにちは。サービス部の武田です。Amazon S3 イベント通知は、以前は「稀に失われる」と書かれていましたが現在は「少なくとも1回配信」となっています。ドキュメントの更新履歴を追ってみました。 こんにちは。サービス部の武田です。 AWSではサービスのアップデートなどによって、それまでの常識やベストプラクティスは日々変化します。Amazon S3には イベント通知 という機能があり、オブジェクト作成や削除などをトリガーとして、Lambda関数などを実行できます。 さてこのイベント通知ですが、「たまに抜けることがある」という仕様上の注意がかつて存在しており、頭を抱えた開発者も多いのではないでしょうか。とはいえそれが常識でした。「かつて」と書いたように、実は現在の仕様ではその部分は削除され、代わりに At least once（少なくとも1回配信） となっています。 最近まで知らなかったので

ログ・モニタリングのやること AWS CloudTrail の設定 CloudTrail は AWS リソースに関して「誰が」「いつ」「何に」対して「どうような」操作をしたのかのイベントを記録するサービスです。イベント履歴から 90 日間分のイベントを確認することはできますが、イベントログの長期保管の設定（証跡の作成を行い、S3 に保管）をしておくことで、トラブル発生時の解析やインシデント発生時の調査などに利用できます。 有料です（無料利用枠もあります）。 [YouTube] AWS CloudTrail を触ってみた CloudTrail Insights イベントを利用することで、機械学習により異常なアクティビティを検出することもできます。通常の操作で検出されることがあるため、始めに試してみて、あまり活用しないようであれば無効化を検討でも良いと思います。 イベントログは S3 と Cl

AWSジャパン、猫を取り巻く課題に関するオンラインイベント「AWS Nyantech 2022」を2月22日に開催 今年もやります！AWS Nyantech 2022~ Deploy Cat Friendly World ~ https://t.co/H6qy1bgAGb あの #AWSNyantech が帰ってくる！2 月 22 日の「猫の日 」は #AWSNyantech に参加しよう。AWS Nyandson (ハンズオン)では、皆さまのお猫さまの写真も登場するかも？ pic.twitter.com/iFMmdOhObK — AWS/アマゾン ウェブ サービス/クラウド (@awscloud_jp) January 24, 2022 AWS Nyantechは「お猫様にいつまでも元気でいてほしい、お猫様とできるだけ長く一緒にいたい、そう願う人たちの愛とテクノロジーが融合したソリューシ

はじめに CX事業本部IoT事業部の佐藤智樹です。 先日AWS DevDay Online Japan というイベントで「AWS CDK はどう使いこなすのか、初期開発から運用までのノウハウ」というタイトルで登壇しました。 今回は上記の登壇で使用した資料の公開と今回の発表をやりたかった理由などについて書きます。 動画 登壇資料 発表の理由 この1年半ほどの間でAWS CDKを利用した案件へ4,5件ほど関わらせていただいて、最初にここを設計しといた方がよかったという部分やチーム内で認識がずれていると後から直すのが大変な部分を全体的に紹介しました。今回紹介した個々の情報はネット上にもある程度はあるのですが、開発の最初期から運用まで考えてまとまった情報はない気がしたので、今回まとめて発表してみました。今後AWS CDKを本格活用したい方の参考になれば幸いです。 後、以前のイベントでAWS CDK

Amazon Web Services ブログ AWS Step Functions と Amazon EventBridge のサービス統合のご紹介 この記事は Sr Serverless Specialist SA, Stephen Liedig による寄稿の翻訳です。 AWS Step Functions が Amazon EventBridge と統合し、ワークフロー中でイベントを生成するためのシンプルなソリューションが提供可能になりました。 Step Functions を使用すると、AWS Lambda, Amazon SNS, Amazon DynamoDB などの AWS サービスを使用した、弾力性のあるサーバーレスオーケストレーションワークフローを構築できます。Step Functions の特定のステートマシンの実行履歴は、AWS マネジメントコンソールまたは Amaz

［速報］Azure Functions、Azure App ServiceなどがAWSやGoogle Cloud、オンプレミスなどで実行可能に、Kubernetes対応で。Microsoft Build 2021 マイクロソフトは、オンラインで開催中の開発者向け年次イベント「Microsoft Build 2021」で、Azure App ServiceやAzure Functionsなど、これまでMicrosoft Azure独自だったサービスをKubernetesに対応させたことを発表しました。 これにより、以下のサービスはMicrosoft AzureだけでなくAWSやGoogle Cloudやオンプレミスなどのプラットフォームを問わず、Kubernetes環境上であれば動作するようになりました。 Azure App Service Webアプリケーションを簡単にデプロイし、スケーラ

オペレーション部の加藤（早）です。 Abuse Reportとは？ AWSリソースをマルウェアの配布やスパム送信、その他違法行為等不正に利用していることが検知された場合、直ちに是正するようにAWSからの警告が発されます。 その警告がAbuse Reportです。 違法行為を行うつもりはなくても、以下のように意図せず抵触してしまうこともあり得ます。 EC2がマルウェアに感染してDoS攻撃の攻撃元となる。 運用しているSMTPサーバが設定ミスでオープンリレー状態になっている。 AWS上で運営している掲示板サービスのエンドユーザが違法なコンテンツを投稿する。 Abuse Reportを受け取った場合、24時間以内に応答しないとAWSアカウントが停止される可能性もあり 万一通知が来た際には迅速な対応が求められます。 注意: 不正使用に関する通知に対して 24 時間以内に応答がない場合、AWS は、

はじめに こんにちは、サーバーサイドエンジニアの@hokitaです。 この記事は Enigmo Advent Calendar 2020 の 16 日目の記事です。 弊社が運営するBUYMAは現状モノレポで管理されており、１０年以上も運営しているサービスなのでソースも肥大化していて、メンテナンスが難しくなってきました。 そこで現在、本体から少しずつマイクロサービスに切り離していこうとしています。 その取組の中で配送処理の一部をマイクロサービス化する作業に携わることができました。今回はBUYMA本体と配送サービスとの通信にイベント駆動アーキテクチャを導入した話をしていきます。 イベント駆動アーキテクチャ マイクロサービスでサービスを切り分ける場合、それぞれ責務が分かれるように分割するかと思います。 しかしサービス間の通信手段によっては各サービスが密になる恐れがあります。 そこでイベント駆動ア

こんにちは。サービスグループの武田です。 開催中のre:Invent 2020でScalable serverless event-driven architectures with SNS, SQS & Lambdaのセッションを視聴しましたのでレポートします。 何度か配信がありますので視聴したい方はスケジュールを確認してみてください。 AWS re:Invent 2020 セッション概要 スピーカー Justin Pirtle（AWS Speaker） タイトル Scalable serverless event-driven architectures with SNS, SQS & Lambda SVS303 イベント駆動型のサーバレスアーキテクチャは、アプリケーションをシームレスに拡張して、ほぼすべての需要に対応できるようにし、従量課金と最小限の運用オーバーヘッドの恩恵を受けます

AWSの競合であるGoogle CloudやMicrosoft Azureは、すでにコンテナとKubernetesをベースとしたハイブリッドクラウド／マルチクラウドのソリューションであるAnthosとAzure Arcを展開しています。 AnthosもAzure Arcも、Kubernetesによってクラウド基盤やオンプレミスを抽象化したうえでコンテナのポータビリティを用いることで、自社クラウドのアプリケーションをオンプレミスでも他社のクラウドでも実行可能にすることを基本的な仕組みとしています。 「Amazon ECS Anywhere」と「Amazon EKS Anywhere」も、これらと似たソリューションを提供するものといえます。 コンテナのポータビリティとKubernetesのインフラ抽象化の機能を活用することで、AWS上のコンテナアプリケーションが簡単にオンプレミスや他社クラウド

はじめに CX事業本部の佐藤智樹です。 今回はAWS CDKでServerlessアーキテクチャを構築する上で参考となる実装が紹介されているCDK Patternsという取り組みが気になったので紹介します。 実装はGitHub上で公開されているので、いつでもすぐにcloneして動かすことができます。 この記事を読むことでAWS CDK+Serverlessで何か開発する際の設計パターンが分かり、独自に検討するより早く実装できるようになります。 正直自分でもこのパターンいいじゃん！使いたい！となったので、CDKで何か作ってる方には絶対参考になると思います。 CDK Patternsとは 以下はCDK PatternsのGitHubリポジトリからの引用です。 CDK Patterns houses an opensource collection of AWS Serverless archi

SlackのEvents API(Event Subscription)で盛大にドハマりしてしまったので、Events APIの再送の仕様をまとめて、本来のベストプラクティスに沿った実装と妥当な落とし所をご紹介します。 どうも、もこ@札幌オフィスです。 最近Slackを利用したBotの開発をする機会がありまして、SlackのEvents API(Event Subscription)で盛大にドハマりしてしまったので、Events APIの再送の仕様をまとめて、本来のベストプラクティスに沿った実装と妥当な落とし所をご紹介します。 Slack Events APIとは？ 従来のポーリング型のAPIとは違い、あらかじめ受信するURLとイベント(メッセージの送信、リアクションの追加など)を指定してあげる事で、ワークスペース上でイベントが発生した際にSlackがWebHookしてくれる物となります。

AWS Chatbotが一般公開（Generally Available）になりました。これを活用すれば、AWSとSlackの連携が超簡単にできるようになります。 ついに、AWS Chatbotが一般公開（GA）になりました！！ AWS Chatbot Now Generally Available AWS Chatbotを使えば、「AWSとSlack」または「AWSとAmazon Chime」の連携が超簡単にできます！ AWS上のイベントをSlackに通知する SlackのコマンドでLambdaを実行する など 追加料金が無いのも嬉しいですね！ AWS Chatbotとは AWS Chatbot を使用すると、複数の AWS のサービスを Slack チャンネルおよび Amazon Chime チャットルームと安全かつ簡単に統合し、ChatOps を実現できるようになります。AWS Ch

園部です。 開発やステージング環境の EC2 を不要な時に、停止して利用料金を削減するという取り組みは多くのユーザーで実施されている施策ではないかと思います。私も以前所属していた会社では平日夜間・土日は停止し、平日朝に起動を行っていました。 そんな EC2 停止＆起動処理ですが、いくつかの実現方法があります。（たぶんもっとある... CloudWatch Event（ EventBridge ） + Lambda CloudWatch Event（ EventBridge ） + SSM Automation AWS Instance Scheduler サードパーティ製品 EC2（Linux なら cron 、Windows ならタスク）上で CLI 等から実行 先に挙げた方法は、一長一短で例えば以下のような課題があげられます。 実行用 EC2 を用意すると管理が必要となる 対象リストを

S3バケットにファイルがアップロードされたのを起点に何かしらの処理を実行する、というのはAWSにおけるよくある(?)アーキテクチャです。例としてよく挙げられるのは以下のような、画像ファイルをアップロードしたらそのサムネイル画像を作成する処理です。 チュートリアル: Amazon S3 で AWS Lambda を使用する S3イベント通知 この際に使うのがS3イベント通知機能です。S3に関する様々なイベントが発生した場合に他のAWSサービスを起動させることができます。例えば上記サムネイル画像を作成する場合だと、ObjectCreate (All) のイベントでLambda関数を実行しています。 ですがこのS3イベント通知、時たま処理漏れすることがある、と言われています。そのため漏れが許容できない場合は、以下例の様に処理漏れしているファイルを検知して処理再実行する機構を用意するなどの措置が必

re:Invnetの動画検索でもめちゃくちゃ便利ですが、その他ブログやホワイトペーパーやGitHubも横断検索できるので、是非一度使ってみてください。 「AWSの公式情報ってめっちゃあるやん。これ、どこから検索すりゃいいの？」 2006年にサービスを開始したAWS。その公式情報は膨大かつイベントも数限りなく開催されてきました。 最近のイベントはYoutubeなどにも公開されており、公式情報だけにしぼってそれらを一括で検索するのは、各サイトのRSSフィードを一括購読とかしないかぎり困難でした。 そんな悩みを一発でふっとばすのが、この AWS Stashというサイト。 re:Inventのセッション動画だけではなく、公式ブログやスライド、QuickstartやホワイトペーパーやGitHubまで横断的に爆速で検索可能な素晴らしく便利なサイトなので、まだ未体験の方は是非一度試してみてください。 何

Amazon Web Services ブログ AWS が支えた Amazon プライムデー 2019 プライムデーに何を買いましたか? 私は、34 インチ Alienware Gaming Monitor を購入し、過去 6 年間よく役立ってくれた 25 インチのモニターのペアと交換しました。 過去何年もやってきたように、AWS がお客様のためにプライムデーを実現させた多くの方法のいくつかを共有したいと考えています。How AWS Powered Amazon’s Biggest Day Ever と Prime Day 2017 – Powered by AWS を読んで、それぞれのプライムデーの結果を評価する方法の詳細、その結果を利用して当社がシステムとプロセスの改善をどのように推進しているかを学んでください。 今年は、プライムデーで AWS が記録的な量のトラフィックと販売をサポー

AWS Lambda は、Kinesis イベントソースの Kinesis Data Streams (KDS) の拡張ファンアウトおよび HTTP/2 データ取得機能のサポートを開始しました。HTTP/2 データ取得 API では、データプロデューサーと Lambda 関数間のデータ配信速度が 65 % 以上改善されています。拡張ファンアウトにより、複数の Lambda 関数を持つ同じ KDS ストリームを、パフォーマンスを低下させることなく並列で処理できます。 登録済みの各イベントソースは、シャードごとに 1 秒あたり最大 2 MB のスループットでレコードを処理できます。イベントソースを Kinesis Data Streams コンシューマーとして登録すると、ユーザーは 1 つの Kinesis データストリームで、高パフォーマンス、低レイテンシーな複数のサーバーレスストリーム処理