はじめに 現在はAWSで構築されたシステムの運用保守業務に携わっており、その一環として障害調査を行うことが多々あります。 少しは経験値が上がったため、障害が発生した際に初動で確認する事項をまとめてみました。 インフラ基盤観点で障害調査を行うさいの参考になれば幸いです。 前提条件 当システムの構成は以下となっているため、それに即した調査項目となっています。 ALB/NLB・ECS・RDSを利用している ECSはEC2上で実行している（Fargateでは利用していない） ECSクラスター（以下クラスター）の自動スケーリング設定をしている ECS サービス（以下サービス）の自動スケーリング設定をしている RDSはAuroraを利用している また、障害は予期せぬコンテナの停止を想定しています。 NLB/ALBの調査事項 メトリクス 初めにロードバランサーのメトリクスからターゲットの状態を確認します

Amazon Athena で Application Load Balancer (ALB) のアクセスログを検索するときにタイムスタンプ time のタイムゾーンは UTC になっている💡検索するときに JST に変換したい❗️と思う場面があって，最近クエリを作っていたため，今後すぐに再利用できるようにクエリサンプルをメモしておこうと思う ＼( 'ω')／ サンプル: SELECT 単純に time を JST で表示するなら parse_datetime 関数と AT TIME ZONE オペレータを組み合わせる👌 SELECT parse_datetime(time, 'yyyy-MM-dd''T''HH:mm:ss.SSSSSS''Z') AT TIME ZONE 'Asia/Tokyo' AS time, request_verb, request_url, elb_sta

こんにちは、テクニカルサポートの Shimizu です。 弊社ヘルプデスクへ「Application Load Balancer（ALB）の 502 エラーの原因調査が難しい」というお問い合わせをよくいただきます。 実際サポート側においても「原因箇所が ALB 側か、またはバックエンド EC2 サーバー側か」の切り分けは確認するべき点が多く、毎回時間がかかります。 そこで「もっと簡単に原因を切り分ける方法がないか」と考えた結果、Yes/No 形式のトラブルシューティングを作ろうと思いつきました。 それでは始めてみましょう！ 質問 [質問1] 該当時刻の ALB のメトリクスを確認しましょう。「HTTP 5XXs」は出ていますか？ YES（出ている） バックエンドサーバーの内部から 500 系のエラーレスポンスが返されており、バックエンド側の問題を明確に示しています。 → [結果A] へ N

2. もてき たかひろ • 株式会社CyberZ • ビッグデータエンジニア • 以前はオープンソースのリアルタイムkernelと か開発 リアルタイムkernelコンテキストスイッチングの実装 モノリシック/マイクロ/ハイブリッドkernelアーキの設計/実装 • 得意な技術:エンジニアのための超自炊 https://www.facebook.com/takahiro.moteki.31

SREチームの藤原です。KAYAC Advent Calendar 2021 4日目の記事です。 早速ですが Amazon ECS をお使いの皆様、何か新しく起動したい ECS タスクがあって、タスク定義を書き起こして(もしくはマネージメントコンソールで定義して)、一発で起動に成功できますか？？ ……なかなかこれが難しいんですよね。 ということで、とある ECS タスクに関連するイベントとログを全部時系列で出力するツールを書きました。どうぞご利用ください。 github.com 以下はそこに至るまでの背景です。 ECS タスクが立たない。なぜだ！ 自分は Amazon ECS を業務で使い始めて早4年になります。新規プロダクトはもちろん、かつて EC2 で動いていたワークロードもほぼ全て ECS に移行しました。 ECS デプロイツール ecspresso の開発者でもあるため、日々機能ア

たいした諸事情なわけでもないですが、だいぶ更新を空けてしまいましたので、ささやかなことからコツコツと書いていこうかと思います。 今回は、ALB(Application Load Balancer)の運用で得られた豆知識の記録です。 暖機運転の豆知識 申請の必要性 ALBはトラフィックが増加しても自動的に拡張して対応してくれますが、急激に増加すると拡張が間に合わずにキャパシティオーバーとなって、ALBがエラーを返してしまう可能性があります。そのため、事前にこのくらい跳ね上がりますので暖めて馴染ませておいてください。ってのが暖機運転（Pre-warming）です。 基本的には事前に申請して扱う仕組みですが、想定よりトラフィックが多くなり、エラーが多発し、数十分・数時間も解決しない場合もこの申請をすることがあります。この場合、ALBが自動拡張してくれない ＝ 何か他に問題がある 可能性が高いので

はじめに 今まではログの調査の際にはS3にあるELBのログをローカルに落としてgrepしたりしてましが、 Athenaを使ってログを解析してみましたので今回は調査のときに使ったSQLをご紹介します。 ご紹介するSQLを使えばあとは少し変えるだけでいろいろな調査が可能かと思います。 Athenaデータベース、テーブルの準備 Athenaを使用する際の手順は以下ブログを参考にしてください。 Amazon AthenaでELBログをSQLで解析する #reinvent 調査に使用したSQL ELB毎のリクエスト数を調べる SELECT elb_name, count(*) AS request_count FROM elb_logs GROUP BY elb_name ORDER BY request_count DESC; 特定の時間内でのリクエスト数を調べる SELECT elb_name,

はじめに AWSにはEC2やRDS、RedshiftなどVPCに対応したサービスが数多くあります。 これらのサービスを利用する場合、まずはVPCやサブネットを作成します。 VPCの作成ではIPアドレス(=CIDR)に何を指定するか迷う方が多いのではないでしょうか。 私がVPCとサブネットのCIDRを決める際に考慮しているポイントは、ざっと以下の通りです。 プライベートIPアドレス範囲から指定する VPNやDirect Connect利用時はオンプレミスとの重複に注意する VPCピア利用時はVPC間で重複できない 将来の拡張に対応可能なCIDRを選択する 最低でも/28以上が必要 CIDRブロックのうち、5IPは利用できない ELBを配置するサブネットは/27以上のCIDRかつ、少なくとも8個の空きIPを用意する それぞれの詳細をご紹介し、最後に優先順位をまとめます。 プライベートIPアドレ

東京でウェブオペレーションエンジニアをしている id:dekokun です。 本記事ではAWSでELBを使用してHTTP/2 or SPDYを運用する上で直面する問題としてのクライアントのIPアドレスが分からなくなる問題の紹介を行い、その後に解決策としてのPROXY protocolの紹介・PROXY protocolの設定方法について記載します。 この記事は先日公開しましたAWS EC2でのHTTP/2 or SPDY導入方法 - Hatena Developer Blog (以下、"前回の記事"と呼びます) の続編となります。 ELBのTCPモードにおける問題点 解決策としてのPROXY protocol PROXY protocolが必要となる技術的背景及びPROXY protocolの動作 ELB + nginx構成でのPROXY protocolの設定方法 ELBの設定 ngin

##検証を思いついた経緯 appサーバ側のforward設定で複数の<server>タグを管理したくない td-agentのconfigに影響されず、AWSメンテナンスやインスタンス障害の対応を行いたい アプリケーションが乗るappサーバと違い、td-agentクラスタは純粋に負荷を見極めやすいため、AutoScalingに適している fluentdのコミュニティで「TCPロードバランシングはユーザ側で試して欲しい」という状況で更新が止まっていた https://groups.google.com/forum/#!topic/fluentd/3ZuG_1dPovE ##td-agentクラスタ環境準備 ###1.環境構成 今回、VPC,SecutityGroup,AMIの作成方法は割愛。 以下の環境を準備する。 ###2.appインスタンスのtd-agent設定 <source> type

0. 背景 無料のSSL証明書ということで話題のLet's Encryptですが、実際の利用のためには 90日ごと に証明書を更新しないといけないという制約から、なかなか本番利用するには腰が重くなってしまいます。 （もちろん本家では、全自動で更新することを推奨しています。） ましてや、AWS ELBなどのロードバランサーを利用し、配下に複数のWebサーバがいると、ACMEプロトコルを通過させるだけで一苦労です。 そこで、nginxのリバースプロキシを使うことで、既存のアプリケーションに影響をあたえること無く、Let's Encryptの更新を済ませる方法を試しました。 1. 前提 今回は、以下の様な環境を想定します。 www.example.com で受けるELBの配下に複数のWebサーバがある stg.example.com で受けるELBの配下にWebサーバがある www.exampl

2016 - 03 - 15 Amazon ECSでHAProxyのDockerコンテナを各Taskに配置するのがなかなか良い件 Docker HAProxy AWS ECS どうも、コンテナ芸人です。久しぶり？に Amazon ECSを使ったネタをお届けします。 今のプロジェクトではDBに MySQL を利用していますが、コスト低減のためにMaster(Multi-AZ)だけRDSでSlaveはEC2で構築しています。で、SlaveにはELB経由で参照していましたが、最近この仕組みをHAProxyコンテナに置き換えてみたらなかなか良かったぞという話です。 旧構成 これがつい先日までの構成。 ECS Task *1 は Nginx+Node(React)+ API (Go)+td-agent で1セット Nginxは API コンテナや、 SSR でHTMLを返却するNodeコンテナへPr

Eureka EngineeringLearn about Eureka’s engineering efforts, product developments and more.

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?

〜 大晦日に秒間 1 万ユーザを捌くためにやったこと (ロードバランサー編) 〜今回、ロードバランサーは全面的に AWS の Elastic Load Balancing (ELB) を使用しました。 Web API を提供するシステムにはもともと ELB を使う予定だったのですが、静的ファイルの配信などは ClouldFront + S3 という構成でいこうと思っていました。 が、最終的には静的ファイルを配信するシステムも ELB + EC2 という構成になりました。 そのへんの経緯とか、AWS を使うときのシステムのフロント周りの負荷分散にはどういう選択肢があるのかとか、軽くまとめてみようと思います。 静的ファイルの配信には CloudFront を使ったほうがいいのかCloudFront は S3 と併用することで、静的なファイルの配信のことはほとんど考えなくていい、というくらい簡単

こんばんは、三井田です。 今回は、Elastic Load Balancing (ELB)とRoute 53のヘルスチェックの仕様の違いについて簡単にまとめてみたいと思います。 ELBのヘルスチェックはご存知のとおり、ロードバランサがどのバックエンドインスタンスにトラフィックをルーティングするかを判断するために用いられます。 一方、Route 53のヘルスチェックは、重み付けラウンドロビンやDNSフェールオーバーで、どのIPアドレスを回答に含めるかを判断するために用いられます。 ヘルスチェック仕様早見表 まずは、以下の表にご覧下さい。 サービス ELB Route 53 ヘルスチェック元 （Health Checker）

珍しく(初めて?)AWSネタです。 仕事でAWSのVPCを構築しているのですが、画像を取り扱うサーバが欲しいとの要望がありました。 画像を表示するだけならCloudFront+S3だけで強力な画像(CDN)サーバを構築することができるのですが、今回は画像サイズもリアルタイムで変換して表示してほしいとのことでした。 幸いにも社内で以前、nginxのhttp_image_filter_moduleを使って画像変換している実例(実サーバ)があるのでそれを参考に構築してみました。 構成図 簡単な図です。 今回やりたかったこと ユーザが独自ドメインとマッピングされたCloudFrontにアクセスすると、CloudFrontに画像がキャッシュされていればその画像を返します もし画像がキャッシュされていなければELB・EC2インスタンス経由でS3にある画像を取得します EC2インスタンスにhttp_im