Amazon Web Services ブログ ロードバランサーキャパシティユニット（LCU）予約を活用したトラフィック急増への備え 本記事は 2025年1月28日に公開された Using Load Balancer Capacity Unit Reservation to prepare for sharp increases in traffic を翻訳したものです。 はじめに このポストでは、Application Load Balancer と Network Load Balancer ( ALB と NLB )の新機能である、ロードバランサーキャパシティユニット予約( LCU 予約)について説明します。この機能により、新製品のローンチ、セール、トラフィックの移行など、計画されたイベントによるトラフィックの急増に備えることができます。 Elastic Load Balancers

はじめに カミナシでID管理・認証基盤を開発しているmanaty（@manaty0226）です。 カミナシではAmazon Web Services（AWS）上で認証基盤を構築して動かしています。特にOpenID Providerのコア機能含めて内製しており、さまざまなOAuth拡張仕様を駆使してお客様の要求やプロダクト機能の実現に寄与しています。今回は、相互TLS（mTLS: mutual Transport Layer Security）と呼ばれる、クライアントとサーバーがともに証明書を提示して安全に接続する技術に立脚したRFC 8705 OAuth 2.0 Mutual-TLS Client Authentication and Certificate-Bound Access Tokens（以下、OAuth mTLSと呼びます）を実現するために検討した内容を書きます。 仕様自体の話

AWSのALB(Application Load Balancer)のログはS3に置かれるが、この中身をサクッと調べたいとき、Athenaを使う方法が標準的で、下記で案内されているようにパーティション射影(Partition Projection)でテーブルを作ってAthenaからクエリする。 パーティション射影を使用して Athena で ALB アクセスログ用テーブルを作成する - Amazon Athena 私も従来はその方法を使っていたが、Athenaはブラウザから使うと動作がもっさりしているし、決まったクエリを1回きり実行して結果を取得したいだけのときならまだしも、探索的にクエリを何発も実行したいときには使い勝手が悪い。 最近他のプロジェクトでDuckDBを使うようになって、使い勝手の良さに感動していたが、DuckDBはALBのログを探索的に調べたいときにもめっちゃ使えると思った

はじめに こんにちは、Techouse の人材プラットフォーム事業部でサーバーサイドエンジニアを担当している imayayoh と申します。 Techouse では各事業部でエンジニアがインフラの監視として、AWS・外部サービス等のグラフモニタリングを実施しています。モニタリングでは下記に重点を置いており、インフラ構成の見直しや障害対応の場として活用しています。 サービス運用に十分なスペックでインフラが構成されているか 最適なコストでサービスが運用されているか インフラ・外部サービスで重大な問題が発生していないか 本日はモニタリングの実施で即時対応できたトラブルの一例として、Application Load Balancer (ALB) への謎の大量アクセス攻撃を紹介します。 コストモニタリング 弊社のサービスではインフラに AWS を使用しており、モニタリングでは AWS Billing

2024年5月、Application Load Balancer (ALB)のアップデートにより、 アクセスログと接続ログのフィールドとして「traceability_id」が追加されました。 アップデート後のALBのアクセスログ、接続ログを調査し、 新しく追加された「traceability_id」が、 アクセスログ、接続ログの突き合わせに利用できる事を確かめる機会がありましたので、紹介させていただきます。 ELB設定 ELBの設定画面 「属性を編集」を利用して、アクセスログ、接続ログをS3に出力する設定としました。 ※ログ出力先のS3バケット、バケットポリシーは事前にELBアクセスログ許可済みのものを利用しました。 ステップ 2: S3 バケットにポリシーをアタッチする ログ確認 アクセスログ、接続ログ、それぞれの最終フィールドに、「TID_」で始まる、 traceability_i

いわさです。 今朝のアップデートで Application Load Balancer がリソースマップをサポートしたというアナウンスがありました。 使ってみたところとても便利だったので紹介します。 リソースマップとは リソースマップは VPC で実装されていた、関連リソースを可視化することが出来るサービスです。 VPC であれば次のように、VPC の中にどういうサブネットがあって、それぞれルートテーブルとどう紐づいていて、などを視覚的に、俯瞰して確認することが出来ました。 このリソースマップが登場する前は VPC でフィルタリングして関連リソースを洗い出して...などが必要だったのですが、全体をサッと把握出来るようになりました。 Application Load Balancer に特化したリソースマップが登場 今回のアップデートでは、この VPC のリソースマップに ALB が表示され

2023.12.15 技術記事 ALB TargetGroup を切り替えて S3 上の静的ページを表示する(HaMaMo! ハマスタモバイルオーダーの事例）[DeNA インフラ SRE] by yuto.ota #ydb #hamamo #aws #infrastructure はじめに こんにちは，IT 本部 IT 基盤部第一グループの大田です． IT 基盤部では，DeNA のグループ子会社等も含めて横断的に複数のサービスのインフラ運用を行っています． 今回は，横浜DeNAベイスターズ（以下，YDB）の HaMaMo! というサービスについて，IT 基盤部が関わっているインフラ部分の構成について一部ご紹介します． HaMaMo! とは HaMaMo!（ハマスタモバイルオーダー）は、 ハマスタオリジナルフードを、スマホでオーダーして、完成通知を受信後に、 受け取りに行くだけの便利なオーダ

※2024年11月25日更新 困っていた内容 ALB（Application Load Balancer）への急激なアクセス増加により処理が遅延し、一時的にサーバーエラーとなる事象が発生しました。ボトルネックが ALB 側か、もしくはバックエンドサーバー側かを切り分けたいのですが、ALB の性能限界に達していたか確認する方法を教えてください。 どう対応すればいいの？ ALB は負荷状況に応じて内部的にスケーリングが行われるため、最大接続数などの情報は非公開となっています。 そのため ALB の性能限界を明確に確認することはできませんが、以下 (1) ～ (3) の指標を確認することで、ALB もしくはバックエンドのどちらがボトルネックになっていたかを推測できます。 (1) 当該時刻に ALB のスケーリングが行われていたかを確認する ALB への接続数が物理ノードの限界に達すると自動的にス

こんにちはSREの黒田です。 これは第2回 Nature Engineering Blog 祭9日目のエントリです。 昨日はCorporate ITのマロニーによる GASを使って社内のSaaSアカウントを可視化しよう - Nature Engineering Blog でした。 昨日に続いて今日のお話も、話題の新製品Remo nanoやMatterとは関係ありません。 TL;DR WebSocketで大量に永続接続されているALBのSSL証明書を更新すると、接続がばっこんばっこん切られて大変なので、ALBを二台用意して緩やかに接続を移行するようにしたら、大変平和になって僕もみんなもハッピーになった。 背景 そもそもNatureではどこに何のためにWebSocketを使ってるの？って話から始めると長いので、詳しくはこちらを見ていただければと思います (結構前の資料なので今とは違う部分も色々

前提と状況の説明 EC2を建てて、RDSに接続できている状態です。（今回RDSはあんま関係ないです） この時点で、IPアドレスで検索すればアプリケーションが表示されていました。 ここで、ALBを設置して、ALB経由でEC2へアクセスするように試みました。 （パスでターゲットグループへ振り分けをしようとしたのですが、ここではあまり関係ないので割愛） すると・・・・ ん？ たま〜に、表示されない・・・訳ではないけど、表示されるまでにめちゃくちゃ時間がかかるぞ・・・ 結論：原因は何だったのか ALBを配置する時に指定するサブネットに、private subnetが含まれていたことでした。 ALBを配置する際は2つ以上の異なるアベイラビリティゾーンからサブネットを指定する必要があります。ここで指定するサブネットは基本的にはpublic subnetです！（多分） ここに気付くのにそこそこ時間がかか

ども、大瀧です。 昨年re:Invent 2022での発表後Private PreviewだったVPC Latticeが一般利用可能(GA: General Availability)になり、全てのアカウントで利用できるようになりました。 VPC Latticeとは VPC Lattice(日本語では"格子")はVPC向けのリバースプロキシサービスで、現時点ではHTTPとHTTPSをサポートします。リバースプロキシサービスというとELBがありますが、ELBがインターネット向けの様々な機能を持つのに対してVPC LatticeはVPC向けのシンプルな機能に絞りつつ、異なるVPC向けにELBではVPCエンドポイントやVPCピア接続を追加構成するのに対して、VPC LatticeはVPCをまたぐ仕組みを内包しているのが特徴です。あともう一つ、ELBではHTTPS通信のために必要だったTLS証明書

この記事ははてなエンジニア Advent Calendar 2022の27日目のエントリです。 問題 社内で運用している Fargate サービス (Perl の plack アプリケーションが動いている) において、以下のような問題が発生していました。 リクエストごとの処理の重さ (計算リソースの使用量や所要時間) に違いがあり、特定の task に重いリクエストの割り振りが偏ることがある Fargate task は表向きのコア数は同じでも、割り当たるハードウェアの世代によって処理能力が異なるケースがある (いわゆるインスタンスガチャ) このような偏りのある状態でアクセス増など全体の負荷が増加し、一部 task のワーカプロセスが全て busy な状態が一定時間続くと ALB のヘルスチェックに落ちて殺される 各リクエストを1つのプロセスが処理する、いわゆる prefork アーキテク

AWS Load Balancer Controller v2.3.0 から導入された Optimized SG rules についてAWSkubernetesALB AWS Load Balancer Controller v2.3.0 から導入された optimized security group rules という機能について記載します。 直訳すると、最適化されたセキュリティグループルール です。 なにコレ？という感じですが、 ALBに独自で作成したセキュリティグループを割り当てた際は、これまではクラスタのセキュリティグループにALBからのインバウンドトラフィックの許可を別で管理する必要がありました。 しかし、この機能の導入によりコントローラが自動で管理してくれるようになります。 TL;DR 結論を先に書くと以下のとおりです。 前提 v2.3.0+ Kubernetes 1.16+

Application Load Balancer で "ELB 5XXs" が出ていた時の調査方法を、サポートデスクの実例からご紹介します。 最終更新：　2024年1月4日（概念図を追加しました） こんにちは、テクニカルサポートのShimizuです。 サポートデスクにおいて、Application Load Balancer（ALB）をご利用中のお客様から、よく以下のようなお問い合わせをいただきます。 「ALB の 502 エラー（もしくは 504 エラー）の原因調査で、メトリクスの画面に "ELB 5XXs" が出ていますが、"HTTP 5XXs" は出ていません。これはロードバランサー側（AWS基盤側）に問題があったと判断してよいでしょうか？」 結論から言いますと「いいえ」です。 必ずしもロードバランサー側の問題とは限りません。 筆者のサポートデスクでの経験上、多くの場合バックエンド

本記事は AWS LambdaとServerless Advent Calendar 2021 の4日目です。 たまたま空きがあることに気付いたため、せっかくでしたらと急遽参加させていただきます！ よろしくお願いいたします 🙇 こんにちは。Togetter を運営しているトゥギャッター株式会社でエンジニアをしている @MintoAoyama です。 Togetter はツイートを始めとした様々な情報を組み合わせてコンテンツを作り出すキュレーションサービスです。 2009年に誕生してから今年で13年目に突入し、現在も月間PV約1億、月間UU約1500万という規模感で成長を続けています。 そんなトゥギャッター社もコロナ禍に入り、全従業員がフルリモートワーク体制に移行しました。 もっとも、以前からリモートワークは実施されていました。オフィスは東京ですが地方からフルリモートで出勤されているメンバ

はじめに どうも、iselegant です。 前回、執筆した商業誌について本ブログで紹介させていただいたところ、大変多くの反響がありました。 コメントをくれた方、書籍に関心を持っていただいた方、本当にありがとうございます🙇 AWSコンテナ設計・構築[本格]入門 | 株式会社野村総合研究所, 新井雅也, 馬勝淳史, NRIネットコム株式会社, 佐々木拓郎 |本 | 通販 | Amazon 本日から少しの間、分量調整と締め切りの都合上、商業誌では執筆しきれなかった AWS 設計に関するサイドトピックについて、本ブログ上でご紹介したいと思います。 今日はALB (Application Load Balancer) と NLB (Network Load Balancer) の Blue/Green デプロイメントに関する設計がテーマです。 AWS で Web アプリケーションの可用性とパフォ

こんにちは、計測プラットフォーム本部バックエンド部の髙木（@TAKAyuki_atkwsk）です。普段はZOZOMATやZOZOGLASSなどの計測技術に関する開発・運用に携わっています。ちなみにZOZOGLASSを使って肌の色を計測したところ、私のパーソナルカラーはブルーベース・冬と診断されました。 さて、本記事ではZOZOMATシステムで利用されていたNetwork Load BalancerをApplication Load Balancerに移行した事例をご紹介します。 ZOZOMATのシステム構成（2020年当時）に関しては、こちらの記事で詳しく説明されていますので合わせてご覧ください。 techblog.zozo.com 移行の背景 ZOZOTOWNアプリやZOZOTOWNシステムからZOZOMATシステムに対するリクエストの負荷分散のためにNetwork Load Balan

2020/2/18追記 サポートに問い合わせたところ、ALBの不具合はロールバック済みで、cookie名を縮める対応は不要、とのことでした。試してみたところ、たしかにcookie名の指定をやめても問題なく認証できました。 AWSのApplication Load Balancerの認証機能を使って、スタッフからのアクセスのみ許可する社内向けウェブサービスを運用しているのだけど、昨日くらいからGoogle Chromeで認証が通らなないという声を聞くようになった。 現象としてはリダイレクトループが発生していて、コンソールを見るとSet-Cookie headerが長すぎるというエラーが出ていた。 Set-Cookie header is ignored in response from url: https://****/oauth2/idpresponse?code=e51b4cf0-8b

発生原因 ap-northeast-1a(ID:apne1-az4) に設置されたELBのノードが、5XXのエラー応答を戻していました。 暫定対処 ELB(ALB) で利用していたAWS WAFの保護設定を一時的に解除、ELB_5XXエラーが抑制された事を確認しました。 対応経緯 14:20 チャットの通知より、DevloppersIOのブログ基盤から HTTP 5XX の発生している事を確認 14:30 ElasticBeanstalkのダッシュボードの「WARN」イベントより、HTTP 5xx の発生状況を確認 CloudWatchの ALB ダッシュボードより、HTTP 5XX の発生状況を確認 ALBのCloudWatchメトリックより、ELBに起因する「ELB_5XX」エラーである事と、 AZ別のメトリックより ap-northeast-1a(ID:apne1-az4)、アベイア

概要 ALBのユーザー認証はOIDC準拠のIdProviderを設定でき、Authorization Code Grantをサポートしています。しかしAuthorization Codeでの認証の場合、Login Formを介してユーザーがログインを行う必要があります。今回はCLIのコマンドのみでなんとかできないかを模索します。基本的にブラウザでできることならばできないことはない（はず Authorization Code Grantのおさらい Developers.IOを読んでる方ならば理解していると思うので、特に不要かと思いますが、自分は物覚えがあまりよろしくないため、ALB+OIDCの認証処理フローシーケンスを図解しておきます。 認証情報はどうやって持ってるか ALBとIdP間は、AuthCodeで引き換えたIdTokenを利用しているようです。ではALBに接続するクライアントは何を