こんにちは。はてなで SRE をしている id:nabeop です。最近の趣味は、AWS CDK で TypeScript と戯れることです。 今回は、社内の開発合宿で AWS と GCP を VPN で接続して、実運用に載せた場合の課題や構成を検討したので、その内容について書いてみます。 VPN で AWS と GCP をつなげたい背景 どんな構成の VPN を開発合宿で試したか VPN の見え方が AWS と GCP で異なる構成 手軽に VGW で試してみたけど TGW でも大丈夫 VPN エンドポイントにおける IP アドレスの扱い GCP VPC を構成してみて浮上した課題 複数のサービスが VPN を共有する構成 VPC ピアリングで接続するサブネットが作成される おわりに VPN で AWS と GCP をつなげたい背景 はてなでは、クラウド環境として長らく AWS がデファ

2019年8月2日、インフラストラクチャエンジニアやネットワークエンジニア向けの勉強会「インフラ・ネットワークエンジニア勉強会」がアイスタイル株式会社で開催されました。同会では、AWSに関するインフラ・ネットワーク視点の話や、オンプレ環境の話など、過去の事例を共有。6人のエンジニアが成功・失敗談をシェアしました。「ネットワークしくじり先生」に登壇したのは、kaga氏。講演資料はこちら ネットワークしくじり先生 kaga氏：それでは、「ネットワーク設計アンチパターン」という話をさせていただきます……と思ったんですけれども、ちょっとタイトルが堅いので「ネットワークしくじり先生」に、ちょっとやさしい雰囲気に変えたので、肩の力を抜いて聞いていただければなと思います。よろしくお願いします。 （会場拍手） 自己紹介です。kagaといいます。もともとQAを5年やって、サーバサイドを3年やって、今はインフ

by Bethany Drouin 日本では2019年8月23日(金)、Amazonが提供するクラウドサービス「アマゾン・ウェブ・サービス(AWS)」に大規模な障害が発生し、多数のサービスやウェブサイトなどが影響を受けました。これに引き続き、アメリカでも8月31日(土)に同様の障害が発生し、顧客のデータが損失するという事態が発生していることが分かりました。 AWS celebrates Labor Day weekend by roasting customer data in US-East-1 BBQ • The Register https://www.theregister.co.uk/2019/09/04/aws_power_outage_data_loss/ 2019年8月23日にAWSの東京リージョンで発生した障害についてAmazonは、「空調設備の管理システム障害が原因」だ

発生原因 ap-northeast-1a(ID:apne1-az4) に設置されたELBのノードが、5XXのエラー応答を戻していました。 暫定対処 ELB(ALB) で利用していたAWS WAFの保護設定を一時的に解除、ELB_5XXエラーが抑制された事を確認しました。 対応経緯 14:20 チャットの通知より、DevloppersIOのブログ基盤から HTTP 5XX の発生している事を確認 14:30 ElasticBeanstalkのダッシュボードの「WARN」イベントより、HTTP 5xx の発生状況を確認 CloudWatchの ALB ダッシュボードより、HTTP 5XX の発生状況を確認 ALBのCloudWatchメトリックより、ELBに起因する「ELB_5XX」エラーである事と、 AZ別のメトリックより ap-northeast-1a(ID:apne1-az4)、アベイア

8月23日午後1時ごろに発生した、米Amazon Web Servicesのクラウドサービス「AWS」の東京リージョンでの障害について、同社は午後8時18分、クラウドサーバの復旧がほぼ完了したことを明らかにした。制御システムの障害により、サーバの温度が上がりすぎたことが原因だったという。 同社によると問題が起きたのは、「Amazon Elastic Compute Cloud」（EC2）の東京リージョンを構成する4つのデータセンター（アベイラビリティーゾーン、AZ）の内の1カ所。AZ内の制御システムに問題が発生し、複数の冗長化冷却システムに障害が起きたという。結果として、AZ内の少数のEC2サーバが過熱状態となり、障害として表面化したとしている。 冷却システムは午後3時21分に復旧。午後6時30分までに、ほぼ全てのストレージ（EBSボリューム）とインスタンスが復旧したという。 同社は、障害

このブログ記事で 「MultiAZ」にしていたら何事も全て大丈夫という認識を変えられると嬉しいです （当該の時点で障害起こした人はちゃんとMultiAZにしてなかったんでしょ？という人の認識も変えられると嬉しいです）。 MultiAZにしておくことは基本 です。 その上でも、 安心しきらずに監視は必要 という話をしています。 MultiAZ構成にしておきましょう そのうえで監視、検知、トレーサビリティを大切にしましょう MultiAZ要らないという見当外れの解釈はしないでください （一部、間違えた解釈をしてるコメントも見受けられましたが、大いに違います）。 前提 2019-08-23、AWSで大規模な障害が起こりました。 障害の一般的な内容は以下のとおりです。 まとめのブログ https://piyolog.hatenadiary.jp/entry/2019/08/23/174801 AW

The sustainable tiny home trend at CES 2025 revived my dream of building a compoundAmid the chaos of CES we got to retreat to the well-appointed calm of sustainable pods, electric trailers and EV RVs.

Lambdaで動くアプリやフレームワークの事例はよく見るのですが、LambdaのCIやCDにしやすさに主眼をおいた紹介はあんまり見ないので現時点での自分のベストプラクティスのメモです tl;dr; このエントリで書いていること Lambdaをデプロイするのに肝になること デプロイしやすさに着眼したフレームワーク紹介 論外 コンソールからアップロードする できなくはないがかなり厳しい Terraform Apex 8/12 17:20追記 実用レベル Serverless Framework AWS SAM native extension問題と戦う Amazon LinuxのEC2インスタンス内でビルドする Amazon Linux互換のDockerイメージを使う Serverless Frameworkのプラグインを使う ライブラリをインストールするジョブとデプロイするジョブを分ける 【

awswakaran.tokyo #1 で用いたスライドを一部修正したものになります。 間違えたことを言ってたら私を殴ってください。 PDF 化の影響で若干画像がズレてますがご愛嬌でよろしくおねがいします。

AWSチームのすずきです。 2019/06/24に予告されていた Amazon S3の 署名バージョン2 (SigV2) の廃止スケジュールについて、 AWSブログでスケジュール変更の告知がありましたので、紹介させていただきます。 Amazon S3 Update – SigV2 Deprecation Period Extended & Modified 参考 【超重要】対応しないと使えなくなるかも？！今、全S3ユーザがチェックすべき署名バージョン２の廃止について 変更内容 変更前 2019年6月24日、全てのS3 で 署名バージョン2 (SigV2) 利用できなくなる予定でした。 変更後 2020年6月24日以降に新規に作成された S3バケットが、署名バージョン2 (SigV2) 利用がサポート外となる事になりました。 既存のS3バケットについては、2020年6月以降も署名バージョン2

はじめに Railsアプリケーションを中心とするシステムをAWSからGCPに移行しました。本記事ではその過程をできるだけ赤裸々に公開します。 本プロジェクトではインフラ移行と同時にアーキテクチャも刷新しました。AWSがレガシーでGCPがイケイケという意味ではなく、移行対象システムのアーキテクチャがレガシーからイケイケになったという意味です。 技術的な内容については詳細は省いて概要の説明にとどめています。AWS、GCP、Docker、Kubernetesあたりの知識があるとスッと読めると思います。 書きたいこと書いたので長い記事になってますがぜひお付き合いください。 レガシーシステムとイケイケシステム まず、移行前のレガシーシステムと移行後のイケイケシステムについて軽く説明します。 タイトルをキャッチーにするためこうしましたが、特別レガシーでもイケイケでもないのでご了承ください。ちょっと前と

現在開催されているKubeCon + CloudNativeCon Europe 2019 - Linux Foundation Eventsにおいて、Kubernetes環境のコンテナ環境のメトリクスを取得する「CloudWatch Container Insights」が発表されました！ コンテナワークロードのためのメトリクス・ログモニタリングサービス、CloudWatch Container Insights の Public Preview を発表しました！！ #KubeCon 続) pic.twitter.com/pRCZtHexcp — ポジティブな Tori (@toricls) May 20, 2019 従来、EKSにおいてPodの状態を監視したり各種ログを取得するには、サードパーティーのOSSや監視用のSaaSなどが実質的にほぼ必須だったんですが、これによりAWSのマネー

インフラ管理が不要 Amazon QuickSight は AWS により管理されており、追加のインフラストラクチャやプロビジョニングの必要がなく、数名から数万人へのスケール時にも自動的に拡張されます。また、ソフトウェアのインストール、アップグレードなどのソフトウェアメンテナンスは不要です。 高いコスト効果 支払いは実際に使用した分のみとなります。 Author / Reader の 2 種類のユーザタイプを用意しており、ユーザ毎に月単位で利用可能となりますが、年契約によりさらに低価格で利用可能です。また Reader 向けに提供される従量課金のセッション課金は、ユーザーがダッシュボードやレポートにアクセスした場合にのみ、そのセッション数（ 1 セッション:ログイン後 30 分間）に応じた課金となります。前払い料金、年間契約に加え、インアクティブ（一度もアクセスしない）なユーザーへの課金が

はじめに このエントリは全9回を予定する18卒新人ブログリレーの第6回です。 はじめまして。今年の4月にリクルートテクノロジーズに新卒入社した小松凌也です。 約3ヶ月に渡る新人研修を終え、7月にサービスオペレーションエンジニアリング部プロジェクト基盤グループに配属されました。現在はインフラエンジニアとして、新規プロダクトの基盤構築や既存プロダクトのインフラ運用フロー改善などに取り組んでいます。 今回この記事で紹介するのは、Amazon Web Services (AWS) 上に構築済みの既存サービスの開発環境を別のAWSアカウントに分離し、Terraformというツールを用いてソースコードでインフラの構成を管理できるようにした事例です。 事例の紹介に加えて、Terraformを使用する上での実践的なテクニックについても随所で解説します。 前提 アカウント分離とTerraform化の背景 こ

こんにちは。インフラエンジニアの永井(shnagai)です。 今回は、Fargateを本番投入し1ヶ月強が過ぎたので、運用する中で気付いた点について書こうと思います。 以前書いた、Fargateに関する調査のまとめ記事はこちら。 tech.connehito.com 内容はざっくり下記3項目です。 いきなりFargateはハードルが高め 良かった点 コンテナのリソースキャパシティを簡単に変更出来る オートスケーリングもシンプルに組める 安定運用 つらい点 タスクの起動速度がEC2バックエンドと比べるとやはり遅い 料金面 いきなりFargateはハードルが高め Fargate導入を通して一番感じたのは、新規にコンテナ化するアプリケーションをECSで動かす場合、EC2バックエンドで試験をパス出来る状態まで持っていった後に、最後にFargateで動かすパターンがよさそうということです。 今回のF

マイクロサービスが話題を集め、コンポーネントの急速な API 化が進んでいます。 認証や認可は、主にエンドユーザとシステムの間の問題だと認識されますが、今やコンポーネント間のサービス呼び出しにおいても重要な役割を担っています。 複雑に入り組んだマイクロサービス間の認証と認可について、実際に開発している API プラットフォームの実例を元に、実践的な知見をお伝えします。Read less

「コンテナ導入ってどこからやったらいいんやろう…」 Amazon ECSがリリースされてから、早4年。Docker自体の進歩が目覚ましく、周辺のオーケストレーションツールや関連するOSSなども目を見張るような勢いで進化しています。以前は開発環境での利用が主流だったコンテナも、今では本番環境での採用事例も増えてきました。さらに、Fargateの東京リージョンリリースやEKSの一般公開など、話題には事欠きません。 アプリケーションのコンテナ化には様々なメリットがありますが、実際に本番環境に導入するには従来のアプリケーションの考え方とは違う部分もあり、簡単にはいきません。その辛さを乗り越えて「もっと多くの人にコンテナを活用してもらいたい」という想いを、このセッションに込めました。 AWSは利用しているがアプリケーションをコンテナ化するメリットがあまり感じられない人や、コンテナに関する情報量が多く

本連載では、株式会社ビズリーチのエンジニアが、急成長を続ける事業の中で得られた実践的なノウハウをつづります。第3回となる今回は、6月に始めたエンジニアブログ「BizReach Tech Blog」で反響が大きかった記事を加筆修正して掲載します。テーマは「AWSネットワーク構成図の手動更新がつらい？ よろしい、ならばCloudMapperだ」です。CloudMapperの紹介と、全自動でネットワーク構成図を作成するための方法をご紹介します。 BizReach Tech Blog はじめに 株式会社ビズリーチで、SREエンジニアとして勤務しているmassです。2017年4月に入社してから、HRMOS（ハーモス）採用管理というサービスのAWSのインフラを管理したり、アーキテクチャの設計・構築をしたりしています。 今回は、入社してから半年経ったら、いつのまにかサービスのネットワーク管理者になってい

AWS Fargateが東京リージョンに対応！ Dockerコンテナを直接起動できるサービスであるAWS Fargateが東京リージョンに対応しました！ 東京リージョンでも、EC2インスタンスを意識する必要なくDockerコンテナを起動することができるようになりました。 AWS Summitで7月に対応することがアナウンスされていましたが、第一週での対応となりました。 【日本のコンテナファン熱望】AWS Fargateの東京リージョン対応予定がアナウンスされました！#AWSSummit 東京で起動させてみた 簡単ですが試してみました。AWS Fargateはチュートリアルに沿って簡単に構築できます。 今回はチュートリアルのうち、nginxで試しました。下図をみて分かる通り、東京リージョンでFargateが選択できています。 適当にALB（Application Load Balancer）