Customer Identity Cloud powered by Auth0 を使ったマルチプロダクト構築の実践と総括

ここから、表で挙げた内容をそれぞれ解説していきます。 構築難度に関しては、関数を実装するだけで済むLambdaが最も簡単で、バッチ専用に特化されたサービスであるBatchに関しては比較的バッチ構築はしやすい印象ですが、ECSに関してはバッチに特化していないため、バッチ処理を行うようにカスタマイズする必要があります。 タイムアウト制約に関して留意すべきは、Lambdaの実行時間は15分までなので、それ以上を超える処理時間のバッチは実装できないことです。 起動•実行上のオーバーヘッドに関しては、Lambdaにはコールドスタートがあるため起動時にオーバーヘッドを考える必要があり、Batchではジョブをキューに送信して、最適化のために、ある程度のジョブがキューイングしてから実行しようするので、即時性を求める処理には不向きです。 既存バッチを移行したいケースがあると思いますが、Lambdaで動かせる

はじめに CX事業本部アーキテクトチームの佐藤智樹です。 今回は以下のイベント「Security-JAWS DAYS」で登壇させていただきました。 以下のSpeakerDeckで資料を公開しました。今回話しきれなかった内容として、NIST SP-800 190の中で対象外として内容の紹介やコンテナランタイムという場合の種類などについて書いたのでよければご覧ください。 登壇のモチベーション 今回の登壇ではNIST SP800-190をベースにECS on Fargateだと何をやるべきか考えてみました。これを日本中のいろんな会社で個別にやっていると時間がもったいないので、自分なりに読み解いて関連部分を切り出して対応方法を話させてもらいました。ECS on Fargateには関連ない部分と判断したものは省いたりしています。もしこの部分はこの方がよいなどあればどんどん改善していきたいので、Twi

Amazon Web Services ブログ Amazon ECS on AWS Fargate で設定可能な Linux パラメータの追加 この記事は Announcing additional Linux controls for Amazon ECS tasks on AWS Fargate (記事公開日 : 2023 年 8 月 9 日) の翻訳です。 導入 Amazon Elastic Container Service (Amazon ECS) タスクは、同時かつ同一の AWS Fargate インスタンスまたは Amazon EC2 コンテナインスタンスにスケジューリングされる、1 つ以上のコンテナで構成されます。コンテナでは Linux namespace を使用してワークロードの分離を実現するため、Amazon ECS タスク内で複数のコンテナが一緒にスケジューリングさ

AWS Fargate で実行している Amazon ECS タスクのシステム時間の精度をモニタリングできるようになりました。 Fargate で動作するタイムセンシティブなワークロードの場合、これによりお客様はクロックエラーのプロキシとして使用されるクロックエラーバウンドをモニタリングし、基準時間とシステム時間の差が閾値を超えたかどうかを知ることができます。この機能は Amazon Time Sync Service を利用して、クロック精度を測定し、コンテナのクロックエラーバウンドを提供します。 クロックエラーバウンド情報は、AWS Fargate が利用可能なすべての AWS リージョンにおいて、タスクメタデータエンドポイントバージョン 4 を通じたクエリの実行に利用することができます。クロック精度とクロックエラーバウンドの詳細については、こちらのブログ記事を参照してください。

この記事ははてなエンジニア Advent Calendar 2022の27日目のエントリです。 問題 社内で運用している Fargate サービス (Perl の plack アプリケーションが動いている) において、以下のような問題が発生していました。 リクエストごとの処理の重さ (計算リソースの使用量や所要時間) に違いがあり、特定の task に重いリクエストの割り振りが偏ることがある Fargate task は表向きのコア数は同じでも、割り当たるハードウェアの世代によって処理能力が異なるケースがある (いわゆるインスタンスガチャ) このような偏りのある状態でアクセス増など全体の負荷が増加し、一部 task のワーカプロセスが全て busy な状態が一定時間続くと ALB のヘルスチェックに落ちて殺される 各リクエストを1つのプロセスが処理する、いわゆる prefork アーキテク

解決策 最も一般的なロードバランサーエラーのトラブルシューティング 次のエラーのいずれかが表示される場合: 「(サービス AWS-service) (ポート 8080) は、(理由 コード [502] でのヘルスチェック失敗) または [リクエストタイムアウト] のため、(target-group arn:aws:uxyztargetgroup/aws-targetgroup/123456789) で異常です」 「(サービス AWS-Service) (ポート 8080) は、(理由 ヘルスチェック失敗) のため、target-group tf-20190411170 で異常です」 次のトラブルシューティング手順を試してください。 コンテナがポート 80 にマップされている場合は、コンテナセキュリティグループがロードバランサーに対してポート 80 のインバウンドトラフィックを許可しているこ

こんにちは、最近野菜が高いのでもやしばかり食べているWebエンジニアの本間です。 そろそろレタスが食べたい...。 さて、ここ1、2年、ユニファではAmazon ECS+AWS Fargateを使用して、Railsアプリケーションを本番運用することが増えてきました。 stagingでテストしたDockerイメージがそのまま本番で使えて安心だったり、オートスケールが簡単だったりとメリットが多く、大変便利だと感じています。 ただ、そのような環境を構築する中で、vCPU数やメモリ量、およびPumaの並行性に関するパラメーターをどうしようか毎回悩んでいたため、この辺で自分の中で整理しておこうと思います。 前提 下記を使用したWebアプリケーションを前提にします。 Amazon ECS AWS Fargate Puma Ruby on Rails MRI(CRuby) このようなシステム構成において

AWS Session Manager AWS Session Manager は AWS Systems Manager の機能で、AWS CLI を経由して EC2 インスタンス、オンプレミスインスタンス、仮想マシン (VM) にログインできるようにしてるというものです。 IAMベースで認証するのでセキュリティーグループを神経質に設定してインバウンドポートを開いたり、パブリックIPアドレスを開放する必要がなくなるというメリットがあります。 また、ハイブリットアクティベーション機能を利用することで Fargate のようなマネージドインスタンスに SSM ログインしターミナルセッションを開くことができます。面倒な SSH 鍵の登録などは不要です。 とはいえSSHしたいときもある とはいえ、運用の都合でSSHしたいこともあります。ということで、AWS Sesstion Manager を経

2021年3月15日に Amazon ECS Exec という機能が公開されました。この機能を使うと、Fargate タスクのコンテナにログインしてコマンドを実行することができるようになります。docker exec コマンドのようなイメージです。踏み台サーバも SSH の鍵の管理も不要です。個人的には神アップデートでした。 目次 前提条件を確認する Session Manager プラグインをインストール ECS タスクロールを設定する ECS タスク定義のコンテナ定義で initProcessEnabled を設定 AWS CLI の ecs execute-command を実行 うまくいかないときは コンテナにアクセスできるアカウントを制限する 前提条件を確認する デバッグに Amazon ECS Exec を使用する - Amazon ECS に詳しく書かれています。要点をまとめ

雰囲気でAWSを使ってる人でもECS Execを使ってFargateコンテナにアクセスできるようになるためのチュートリアル FargateってEC2みたいに中入ってコマンド実行とかできないんでしょ？ デバッグの時辛いよねー。 そんな時代はもう終わりました。そう、つい先日リリースされたECS Execによって！ みんなが待ち望んでいたこの機能、早速試してみたいと思った方は数多くいらっしゃるはず。 しかし残念なことに現時点ではAWS CLIでしか動かすことができません。 まぁこれはちょっとめんどくさいですね(そもそもECSの環境を1から作ること自体...)。 「試すにしてもマネジメントコンソール対応後で」 そんな方も結構いらっしゃるでしょう。 いやしかし待ってください！逆に今こそやるべきではないでしょうか？ 周囲に軽くドヤれるかもしれませんし(?) もしくは今まで目を背けてきたAWS CLIに

Infra Study Meetup #6でのLT登壇資料になります。

はじめに 先日、Infra Study Meetup#6にお邪魔させていただき、「Bastion ~ AWS Fargateで実現するサーバーレスな踏み台設計」というタイトルでLTしてきました。 speakerdeck.com 運営の皆様、改めて素晴らしいイベントの企画ありがとうございました。 登壇後、Twitterタイムラインやはてなブックマーク上で思ったより大きな反響を頂いたので、鮮度が高いうちに続編として少し踏み込んだ内容をご紹介できればと思い、ブログに書き起こしてみました。 もし、これをきっかけにサーバーレスBastionホストにチャレンジしてみようという方の一助になれれば嬉しいです。 登壇内容の振り返り BastionホストをFargateでサーバーレス化する背景は登壇スライドに譲るとして、達成したい構成は以下でした。 ただ、具体的に実現しようとすると、いくつか考慮すべき点があり

AWS Fargate の Amazon Elastic Container Service (Amazon ECS) タスクに静的 IP アドレスまたは Elastic IP アドレスを使用したいと考えています。 簡単な説明 静的 IP アドレスまたは Elastic IP アドレスを Fargate タスクに直接追加することはできません。Fargate タスクで静的 IP アドレスまたは Elastic IP アドレスを使用するには、まず Network Load Balancer で Fargate サービスを作成する必要があります。次に、ロードバランサーの静的 IP アドレスをタスクの固定エントリポイントとして使用します。 解決策 アウトバウンドトラフィック用の Fargate タスクの静的 IP アドレスを作成するには、NAT ゲートウェイを作成します。ダウンストリームのコンシュ

やりたいこと Amazon ECS+Fargate を構築し、Public IP アドレスを割り当てています Internet Gateway へのルートを持つ Public Subnet にこれを配置してます 遊びでやってるので、Public にしてます （Private だと AWS 料金が増えるからです） この Public IP アドレスがデプロイ時に ECS タスクを作り変えるたびに変わってしまうので、これを固定させたいと考えています 調べると 2 通りのやり方がありそう Network Load Balancer（NLB）を使う NLB に Elastic IP を割り当てる ちなみに Fargate に直接 Elastic IP を割り当てることは現状できない（ECS の起動タイプが EC2 ならいける） Fargate と同じ Subnet 内に NLB を配置する NAT

概要 AWS Fargate で起動したコンテナからあるサーバへの接続をIPアドレスで制限をかけたいが、普通にFargateを設定したコンテナでは、割り当てられるグローバルIPアドレスはコロコロ変わり固定ではない。 AWS Fargate で VPC 内に作成されたコンテナからインターネットへ出るときに AWS NATゲートウェイを経由させることで、NATゲートウェイに割り当てたEIPがコンテナの接続元IPアドレスとして固定することができる。接続先のサーバではそのEIPを設定することでアクセス制限を行うことができるようになる。 構成概要 構成内容 Amazon ECR Dockerイメージレジストリ ECR リポジトリの作成は、AWS CLI で行う Amazon Fargate コンテナ実行環境 ECR からイメージを pull する VPC Internetゲートウェイをアタッチする

本日のアップデートで AWS Batch で AWS Fargate の利用が可能になりました！ Serverless Batch Scheduling with AWS Batch and AWS Fargate AWS Batch for AWS Fargate AWS Batch はジョブをキューイングすると、定義された内容に従い自動的にコンピューティングリソースを起動し、計算処理を実行するバッチコンピューティングのサービスです。バックグラウンドでは Amazon ECS が動いているのですが、ユーザーは ECS を意識することがないようにラッピングされています。 従来はいわゆる ECS on EC2 がサポートされていましたので、ラッピングされてるとはいえ EC2 ホストの存在は少なからずとも意識する必要がありました。加えてゼロキャパシティからスケールする際は、キューイングしてから

■できるようになる事 AWS-ConsoleからECS-Fargate使って特定処理を定期実行出来る(=GUI) Rubyのaws-sdkのgemを使ってコードからECSのスケジュールタスクを作成出来る(=CUI) ■経緯 実機端末上でcron使って実行していたRubyのバッチ処理をAWS上で定期実行出来るようにしたかった。 ■前提知識とか ECS(=ElasticContainerService)って？ 公式: Amazon Elastic Container Service 公式: Amazon Elastic Container Service とは ○とりあえずコンテナ管理系 EKSってのもあったりしますが... 私はk8sとか触ってないのでその辺は他の人の記事を参考にして下さい。 参考: EKSは本当にECSより難しいのか？ ○概念とか仕組みとか Qiita: Amazon EC