この記事ははてなエンジニア Advent Calendar 2022の26日目のエントリです。 こんにちは id:cohalz です。はてなブログでは2022年7月にインフラをAmazon EC2からAWS ECS(AWS Fargate)に移行するプロジェクトが完了しました。 プロジェクトは2021年9月から始まったので約10ヶ月間という大きなプロジェクトでした。 プロジェクト完了までに行ってきたことのうち、特に面白かったところなどをこの記事で実施した順に振り返ってみます。 はてなブログのインフラのこれまで アプリケーションを動かせるようにする ALBを追加する 検証環境を用意だけしておく プロキシの設定埋め込み 証明書の配信 アクセスログを配送できるようにする アクセスログの形式を新しくする EC2でもFirehoseを経由するように タイムゾーンをUTCに統一 FirehoseのLa

AWS環境でTerraform使用の前提となる下記リソースをCloudFormationで作成する際のテンプレート。 S3バケット DynamoDBテーブル AWSTemplateFormatVersion: 2010-09-09 Description: S3 and DynamoDB for Terraform Parameters: S3BucketName: Default: 'terraform-s3-bucket' Description: Type of this BucketName. Type: String TableName: Default: 'terraform-state-lock-table' Description: DynamoDB Table Name Type: String Resources: TerraformS3Bucket: Type: 'A

はじめに AWS上で仮想ネットワークを構築できるAmazon VPCは、多くのAWSサービスが動作する基盤となる、非常に重要かつ多機能なサービスです。 多機能ゆえに公式ドキュメントやネット上の記事も断片的な機能の解説が多く、全体像を把握することが難しいサービスとも言えます。 そこで本記事はVPCの全体像を理解できるよう、各機能のつながりや動作原理を丁寧に解説し、 「VPC界の百科事典」 (あくまで例えですが…笑) となるような記事を目指したいと思います。 【追記】 実践編の記事を追加しました VPCの実画面での構築方法は、以下の別記事にまとめました。「VPCを実際に触ってみたい！」という方は、こちらもご一読いただけると嬉しいです。 VPCとは 「Virtual Private Cloud」の略で、クラウド上に仮想的なネットワークを構築するためのサービスです。 例えば、オンプレ環境でWebア

NewsPicksの高山です。 今回は、AWSのコストを我々がどのように定点観測しているかを書いていきます。 あわよくば他社さんも事例を広く共有してもらえて業界全体の共有知が増えることに繋がってほしい狙いがあります。 NewsPicksでは過去2年ぐらいかけて地道にコストモニタリングのオペレーションを作ってきました。手法としては、毎週コストモニタリング担当のメンバーで定例ミーティングをして、以下の手順をやりながら議事録にまとめていきます。 毎週のオペレーション コスト異常検出 Savings Plansの購入 DynamoDBのReserved Capacityの購入 毎月のオペレーション 請求書CSVの取り込み Cost & Usage ReportとQuickSight たまにやるオペレーション Reserved Instanceの購入 規模の適正化に関する推奨事項 Trusted A

tl; dr aws-sso-util を使うとコマンド一発で ~/.aws/config が生成できたりして便利なので使うべし。 AWS SSO とは 皆さん、AWS Single Sign-On (AWS SSO) というサービスを利用されていますか。 AWS SSO は 公式ページ によると下記のような記載がありますが、もっぱら前者の複数の AWS アカウントのアクセスに利用している方が多いでしょう。 複数の AWS アカウントとビジネスアプリケーションへのアクセスの一元的な管理を容易にし、割り当てられたアカウントとアプリケーションのすべてに対する 1 か所からのシングルサインオンアクセスをユーザーに提供できるようにする AWS のサービスです。 また、AWS CLI v2 からは ~/.aws/config に下記のような設定することで、CLI 作業でも AWS SSO による認証

AWS Systems Manager パラメータストア で階層構造で登録したパラメータをEC2で利用する方法のメモです 前提 EC2インスタンスのtagにName=MyApp, Env=Devが設定されている roleにパラメータストアの権限が付与されている roleにEC2のreadonly権限が付与されている aws cli設定済み jqがインストール済み パラメータストアに登録 aws ssm put-parameter --name "/MyApp/Dev/S3_BUCKET_NAME" --value "MyAppBucket" --type String aws ssm put-parameter --name "/MyApp/Dev/AWS_ACCESS_KEY_ID" --value "dummy_s3_access_key" --type String aws ssm

分割の基準を2つに絞っても、9パターンもありました。各構成を1つずつ見ていきましょう。 1. 単一のAWSアカウントを使う この構成パターンは、一見単純です。しかし、すべてのシステムを1つのAWSアカウントの中に構築するため、アカウント内の環境はかなり複雑になります。 1-1. 単一のAWSアカウント、単一のVPC default VPC以外のVPCを1つ明示的に作り、その中に複数のシステム、複数の環境を混在させる構成です 1-2. システムの種類と環境の用途でVPCを分割 システムの種類でVPCを分け、さらに本番用と開発用など環境の用途によってもVPCを分ける構成です 1-3. システムの種類でVPCを分割 システムの種類によってVPCを分けますが、開発環境や本番環境を1つのVPC内に構築する構成です 1-4. 環境の用途でVPCを分割 環境の用途によってVPCを分けますが、複数の異なる

はじめに 中山（順）です 4年ほど前にこの記事のタイトルと同じテーマで資料を作成したことがあるのですが、古い内容があったり新しいサービスのことが含まれていなかったりするので改めてまとめてみました。令和だし！ その時の資料はこちらです（クラスメソッドにジョインするくらい2年前です）。 AWSアカウントを作ったら最初にやるべきこと サインアップ （業務利用の場合）非個人メールアドレスでサインアップ サポートプランの確認 ID管理 / 権限管理 CloudTrailの有効化 ルートアカウントのMFA設定 IAM User / IAM Groupの作成 パスワードポリシーの設定 GuardDutyの有効化 Security Hubの有効化 請求 IAM Userによる請求情報へのアクセス許可 支払通貨の変更 Budgetの設定 Cost Explorerの有効化 Cost Usage Report

多くの場合、すべてのアプリケーションまたはマイクロサービスから電子メールを送信するための一般的なアプローチを実装するという要件に直面する可能性があります。この投稿では、Amazon WebService内のAPIエンドポイントを介してメールを送信するメカニズムを提供する可能性のあるサーバーレスアーキテクチャについて説明します。 アプリケーション要件 サーバーレス。 フォールトトレランス。 アタッチメントをサポートします。 Lambda関数へのエントリポイントとしてAWSAPI Gatewayを使用することは、サーバーレスアプリケーションではおそらく一般的なパターンであり、Lambda関数を使用してロジックを処理し、AWSまたはサードパーティサービス内の他のリソースと通信します。ここでは、Lambda関数コード内のエラー処理と再試行ロジックを担当します。 ストレージの最初のパターン しかし、

こんにちは。SRE部MA基盤チームの川津です。 私たちのチームでは今年サービスを終了した「IQON」の10TBを超える大規模データをBigQueryからS3へ移行しました。本記事ではデータ移行を行った際に検討したこと、実際にどのようにデータ移行を行ったかを紹介します。 データ移行の経緯 IQONは2020年4月6日をもってサービスを終了しました。そのIQONではデータ分析にBigQueryを利用していましたが、Amazon Web Services(AWS)上にもIQONに関するリソースが存在します。そのため、IQONはGCPとAWSの2つのクラウドで運用していました。 しかし、サービス終了に伴いGCP・AWSどちらかにリソースを統一する必要が出てきました。統一する意図としては、終了したサービスが利用する取引先を減らし、請求対応などの事務的なコストを減らしたい意図がありました。そのためGC

大規模なメールインフラストラクチャはありませんが、大量の同報メールを素早く送信する必要があります。Amazon Simple Email Service (SES) と AWS Lambda を使って、大量の同報メールを送信するにはどうすればいいですか。 従来、大量の同報メールを送信するのに必要なハードウェア費用、ソフトウェアのライセンスコスト、および技術的専門知識は、コストが膨大にかかりました。アマゾン ウェブ サービステクノロジを使用すれば、社内メールインフラストラクチャを構築して維持管理をしていくのに必要な投資のほんの一部の投資をするだけで、大量の同報メールを素早く送信することができるようになります。 Amazon SES と AWS Lambda を Amazon Simple Storage Service (S3) と組み合わせて使用することによって、HTML またはテキストベ

さてさて、「AWSへの出遅れ感」を取り戻すために主要サービスを体験しているのですが、今回はユーザー登録が必要なサイトに有効な機能をお届けします。 それは・・・・・・ メールの一括送信機能 📪 です。 つまり、オンラインショップで言うと「メルマガ」の送信ということになりますが、実はシンプルに見えていろいろ難しかったりします。 なぜなら、ユーザー全員にメール送信しないといけませんし、戦略的にメルマガを使う場合、各メールで内容を変えないといけない（例：名前やクリック率を知るために個別IDを含める）からです。 もちろん、１件ずつループして送信してもいいのですが、途中で止まってしまったり、キューを使うにしてもいろいろと設定をしないといけません。 そこで登場するのが、「Amazon Simple Email Service（Amazon SES）」です。 Amazon SESを使うとメールの一括送信

2019年3月6日、Serverless Community(JP)が主催するイベント「Serverless Meetup Tokyo #11」が開催されました。世界各地で運営されているServerless Architectureやその周辺技術について情報を共有する本コミュニティ。今回は、株式会社Speeeのオフィスにて、6人のエンジニアがLTを行いました。プレゼンテーション「サーバーレス失敗談 - DynamoDB編 」に登壇したのは、HiCustomer株式会社の肥前洋佑氏。講演資料はこちら サーバーレス失敗談 肥前洋佑氏：それでは始めさせていただきます。HiCustomerの肥前と申します。 休みの日はこんな格好で山を走っています。 実は今日、次のスピーカーの方とネタが完全にかぶっているということがございまして……。 （会場笑） 司会者：知り合いじゃないんでしょ？ 肥前：知り合いで