Fargate

こんにちは。弁護士ドットコム クラウドサイン事業本部で SRE をしています、大内と申します。 クラウドサイン事業本部の SRE ではサービスの可用性、信頼性の向上や開発の高速化、省力化を目指した開発を日々行っています。 クラウドサインは 2024 年 10 月で 10 年目のサービスとなりました。 裏ではさまざまなアプリケーション（定期実行バッチ、常駐バッチ、内部 API サーバーなど）が稼働し、相互に連携してサービスを提供しているのですが、中には非常に古くから稼働しているものも存在します。 今回お話する nginx もその 1 つです。 クラウドサインの裏で稼働するアプリケーションのほとん…

概要 前回に引き続きAWS関連の投稿になります。 miistin.hatenablog.com 前回はAppRunner (+Java + Micronaut) + CloudWatchの連携をしましたが、今回はECSのFargateタスクの連携を行います。 そんなわけで 今回の内容は以下にpushしてます。 github.com 今回も、Java側の内容は特には触れません。 ただMicronautはサーバーもバッチ処理も同じ感じで作れるので便利ですね。 ECS 側の設定 今回は、ECSのFargateを使ってのタスク処理を想定してるので、その設定を行います。 ソースコード resource …

まえがき 学習したもののアプトプットとしてクラウドからアプリケーションまで ワンストップで開発したいと思っていたところ、とっかかりとして生成AIが昨今とても流行ってたため 生成AIの学習もかねて、RAGを活用した基本的なWebチャットシステムを開発してみました。 今回も出来る限りスコープを絞り、作りきることを目的にして最小限の機能で リリースできるものとしています。 目次 まえがき 目次 概要 工夫したところ 使用技術 実装機能一覧 まとめ 概要 フロントエンド側はNginxへReact、TypeScript、Viteをコンテナにて 構成してます。SPA構成のシンプルな仕組みをとっているため …

はじめに 最近AWS Fargateのバックグラウンドの仕組みが気になったので、これまでに読んだ書籍やAWS公式ドキュメント、個人ブログなどの情報を一旦まとめておこうと思いました。ここに記載する内容は、同じ情報収集を再度やりたくないために書き留めるもので、何かしらの結論があるような内容でもありません。あらかじめご了承ください。 AWS Fargate 言わずと知れたAWSのマネージドなコンテナ向けサーバーレスコンピューティングのサービスです。具体的には、コンテナオーケストレーションのマネージドサービスであるAmazon ECSもしくはAmazon EKSのワーカーノード（データプレーンとも呼ぶ…

この記事は、2024年3月7日に開催された「CyberAgent Game Conference 2024（CAGC 2024）」のセッション内容をAIによる自動文字起こしをベースに加筆修正したものになります。 セッション概要 TVアニメ『呪術廻戦』初のスマホゲーム『呪術廻戦 ファントムパレード（ファンパレ）』は、多くのユーザーに遊ばれ大量のアクセスが来ることが予想されていました。 本セッションでは、高負荷が予想される中、どのようにインフラを構築し負荷対策を行ったのか、実際のインフラ構成図をお見せしながらお話しします。 また、アプリリリース前に行った負荷試験の流れや、リリース後の負荷状況につい…

ECS on Fargate 構築時のエラー一覧と対応方法です。 約半年ぐらい前に構築した内容で自分への振り返りとして纏めました。 初めてECSを業務で利用したので振り返ると初歩的なエラーばかりです。 一部環境ですが、以下構成イメージです。（CI/CD含む） １、AWSServiceRoleForECSが存在しないエラー エラーメッセージ CloudFormationでECS Cluster作成時にエラーが発生 Resource handler returned message: "Invalid request provided: CreateService error: Unable to…

SREチームの橋本です。SRE連載の3月号となります。 Amazon ECSのコスト最適化においてはFargate Spotが有効な手段となりますが、いつ中断されるか分からない性質上、その監視も併せて実施していく必要があります。今回はそのFargate Spotを本番環境で運用しているプロジェクトにおける取り組みを紹介します。 背景 Fargate (Amazon ECS on AWS Fargate) を用いると負荷に合わせた容易なスケーリングが可能になる一方、このときCPU使用率の安全マージンや予測のブレなどにより、リソースがやや過剰になってしまうこともあります。 Fargate Spot…

こんにちは。 カスタマーサクセス部の山本です。😺 Re:Invent のセッション動画を、少しずつ観ています。 感想や内容をブログ記事に書くことで、誰かの役に立てればと思います。 業務で ECS (Elastic Container Service) を使ったワークロードを扱うことが多いので、２回目の今回も ECS のセッションです。 １回目： blog.serverworks.co.jp セッション名：AWS re:Invent 2024 - Securing Amazon ECS workloads with AWS Signer and Amazon GuardDuty (SVS342)…

STORES 予約 エンジニアの水野です。STORES 予約 ではこれまでにEC2で稼働していたシステムのECS移行を進めてきました。このECS移行については過去に前編と後編でブログにしておりますので興味のある方はぜひこちらもお読みいただけると幸いです。 product.st.inc product.st.inc ECS移行はほぼ完了していますが唯一定期実行バッチだけその多くがEC2で動き続けていました。これらバッチの実行環境もECSに移行すると完全にEC2を撤廃することが可能となります。そしてEC2に伴う以下のデメリットも解消することができます。 バッチが要求する最大のCPU/Memoryの…

こんにちは。 カスタマーサクセス部の山本です。😺 Re:Invent のセッション動画を、少しずつ観ています。 感想や内容をブログ記事に書くことで、誰かの役に立てればと思います。 業務で ECS (Elastic Container Service) を使ったワークロードを扱うことが多いので、一回目の今回は ECS のセッションです。 セッション名：AWS re:Invent 2024 - Unleashing the power of Amazon ECS for platform teams (SVS330) 概要 登壇者 セッションの内容 導入 Let's start with abst…

本記事はBASEアドベントカレンダー2024の13日目の記事です。 はじめに Pay IDのテックリードの大木(@roothybrid7)です。 9/30に、PAY株式会社(以下PAY社)が保有していた「Pay ID」のシステム移管を行い、リニューアルしました。 カートやショップ管理画面、Pay IDアプリとは別の独立したシステムとなっており、アプリケーションの技術選定やアプリケーションアーキテクチャの設計に携わりましたので、その辺の話をしたいと思います。 移管の背景 2021年に購入者向けショッピングサービスとして「Pay ID」の提供を開始しましたが、サービスの運用は引き継いだ一方で、決済…

こんにちはこんにちは。技術基盤グループの Shia です。開発の妨げになるものを排除していく仕事をしています。 入社してからいろんなことをしてきてますが、本日は年末ということで STORES ネットショップの ECS 移行時で作ったバッチ基盤の話とともに当時の技術決定を振り返ってみようと思います。読み手のみなさんにとっては ECS 環境でこういう感じのバッチ基盤もあるんだな〜とか、 Step Functions 便利そうだな〜とか感じてもらえれば幸いです。 STORES Advent Calendar 2024 9日目の記事です。 入る前に: この記事でのバッチは定期的にスケジュールされて実行…

KADOKAWA デジタル戦略局 グループデータマネジメント部（出向）の中野 (takamoto) です。 足掛け2年半の ADR 活用事例紹介 〜 ADR から始める設計ドキュメント改善 - KADOKAWA Connected Engineering Blog などの過去記事から所属は変化していますが、変わらずデータプラットフォーム上のデータパイプラインの開発・運用を主に担当しています。 私の所属しているチームでは データプラットフォーム統合プロジェクトの紹介 - KADOKAWA Connected Engineering Blog で紹介している Snowflake 環境上に構築された…

インフラ面に技術領域を広げていきたいと思い、AWSの学習を始めることにした。 基本的には資格取得をマイルストーンとしながら進めていく予定。 とりあえずは、CLF, SAA, SOA, DVAあたりのレベル感に到達するためのメモとする。 学習の方針を立てるために AWS 初学者向けの勉強方法 6 ステップ！2024 年版！ AWS認定全冠したので勉強方法などをまとめた - Zenn AWS認定試験を受けるときのコツ - AWSブログ 【初心者向け】AWS資格取得のロードマップと勉強方法- CTC CLF 学習リソース AWS 認定クラウドプラクティショナー※これに記載の試験準備に沿って対応する …

SREのクラシマです。 トラーナの全リポジトリでGitHub Actionsを使用しており、さらにコスト削減のためにBuildJetを導入しています。 が、GitHub Actionsには無償枠があり、これは使い切ったほうがお得です。 ということで、無償枠を使い切ったら単価のやすいBuildJetに切り替え、無償枠が復活したらGitHubに戻す、ということをしたいわけです。 しばらくは手動でやっていたのですが、自動化できたのでご紹介。 事前準備 GitHub OrganizationのvariablesにRUNNER_AMDとRUNNER_ARMを作成します。 ubuntu-latestしかr…

こんにちは、今年の4月に新卒入社でABEJAに入社しました島倉と申します。 現在はプロジェクトマネージャーとして働いています。 これはABEJAアドベントカレンダー2024の9日目の記事です。 なぜFirecrackerが開発されたのか 従来の仮想化技術の課題 Firecrackerの設計要件 Firecrackerとは何か Firecrackerのアーキテクチャ Firecrackerのコード解説とその仕組み microVMの仕組み MicroVMはなぜ軽量なのか 1. 起動プロセスでカーネルを直接ロード 2. mmap による効率的なメモリ管理 3. KVMを利用したvCPU管理 4. S…

〇AWSにおけるコンピューティングサービス コンピューティングサービスとは、アプリケーションを実行するための、インフラストラクチャーを提供するサービスである。 AWSにてコンピューティングサービスにあたるものは、大きく以下の３種類になります。 Amazon Elastic Compute Cloud（Amazon EC2） 仮想サーバを提供するサービス Amazon Elastic Container Service（Amazon ECS） Dockerコンテナ※1の実行環境を提供するサービス 続々とコンテナサービスの種類が増えている（AWS Fragate、AWS ESK） Amazon L…

はじめに こんにちは。アドベントカレンダー８日目担当の田中と申します。 パーソルキャリア株式会社で doda マイクロサービスグループに所属し、マイクロサービスシステムのインフラ領域の管理をしています。 クラウドサービスは柔軟性が高い一方で、誤操作によるリスクを伴います。特に削除に関連するヒューマンエラーは、サービス全体に影響を及ぼしかねません。 本記事では、私たちの業務で感じたリスクと、その具体的な対策について紹介します。 マイクロサービス環境の概要 まずは、私たちが運用しているマイクロサービス環境について簡単にご説明します。 このシステムでは、以下の構成で運用しています。 ゲートウェイサー…

bedrock-agent-runtime: プロンプト最適化機能を追加し、性能向上をサポート ecs: アベイラビリティゾーン再バランス機能をサポート controltower: 子アカウントごとの有効なベースラインステータス確認をサポート mediaconvert: 既存キューの同時ジョブ設定変更とカスタムキュー作成をサポート protocol: AWS Queryプロトコル移行のためのヘッダーサポートを追加 omics: タスクの再利用を可能にするコールキャッシュ機能を追加 discovery: データインポート時のファイル操作不要化をサポート lambda: Node.js 22.x …