クォーラムシステムは、いくつか優れた特性があります。(例えば、リブートのために発生するような)一時的な障害やクォーラム内の1つのノードの遅延に対処するのと同じくらい簡単に、ノードの長期的な障害に対処できます。 The Aurora quorum Aurora では、3 つの AZ にわたって、6 つのデータコピーを利用し、4 つの書き込みクォーラム、3 つの読み込みクォーラムを持っています。書き込みは 全 6つのデータコピーに対して発行され、6 つのコピーのうち4つから ACK が返ってきた時点で書き込みを完全に認めます。もし、そのうちの1つに遅延が発生していたとしても問題ありません。その他のノードが素早く返答し、遅れているノードは、可能な時に追いつきます。もし、ノードのうちの1つが少しの間、利用不能になった場合でも問題ありません。書き込み、読み込み能力が失われることはなく、そのノードも回

はじめに まずはおさらいです。 cloud-initでシェルスクリプトとcloud-configを同時に使うで書いた通り、User-Dataにはシェルスクリプトとcloud-init形式(cloud-config)が併記できます。 またAmazon Linuxのcloud-initの動きについて調べてみたに書いた通り、EC2がLaunchする時のcloud-init起動スクリプトの実行順序は以下のようになります。 cloud-init-local cloud-init cloud-config 各種サービスの起動 cloud-final で、じゃあ各起動スクリプトで読み込まれているcloud-initのモジュールは実際にはどういう順番で実行しているのか、確認してみました。 確認してみる User-Dataの内容は以下。シェルスクリプト、per-once、per-boot、per-insta

AWS Compute Blog Query for the latest Amazon Linux AMI IDs using AWS Systems Manager Parameter Store This post is courtesy of Arend Castelein, Software Development Engineer – AWS Want a simpler way to query for the latest Amazon Linux AMI? AWS Systems Manager Parameter Store already allows for querying the latest Windows AMI. Now, support has been expanded to include the latest Amazon Linux AMI. E

はじめにこんにちは、Finatextでエンジニアをしている @s_tajima です。 Finatextでは、現在約40個のAWSアカウントを管理しています。 それぞれのAWSアカウントは、あるサービス専用になっていたり、いくつかのサービスが同居していたり、本番環境用だったり、開発環境用だったりと用途は様々です。 この中には、 証券ビジネスプラットフォームのBaaS を提供しているAWSアカウントも含まれます。 このBaaSに限らずとも、金融ドメインで広くサービスを提供しているFinatextでは、その基盤となっているAWSのセキュリティの管理が非常に重要になってきます。 今回は、弊社がAWSのセキュリティを担保するためにどんな運用をしているかというお話です。 既に複数のAWSアカウントを管理している方、特に管理はしているもののいまいち適切な状態になっていないと感じている方に読んでいただけ

弊社クラスメソッド株式会社主催のイベント「Developers.IO 2019 TOKYO」での登壇資料です。 セキュリティ対策メガ盛りマックス ブログ: https://dev.classmethod.jp/cloud/aws/developers-io-2019-tokyo-all-securi…

CEL(Common Expression Language)で書いた条件にマッチしたIAM Policyを見つける / iam-policy-finder

それぞれの無料利用枠については、次から詳しく解説していきます。 12ヶ月無料枠 冒頭で軽くお話しした、AWSアカウントを 新規作成した日から1年間 有効な無料枠です。 例えば、EC2インスタンスを 750時間/月 無料で利用できるといったものがあります。 ただし、使用できるリソースについては制限がある事があり、EC2インスタンスの場合ですと インスタンスタイプは t2.micro OSは Amazon Linux 1,2、Windows Server、Red Hat Enterprise Linux、SUSE Linux、Ubuntu Server を指定する必要があります。 ▲ コンソール上で対象のAMIを確認できます 「月に750時間」と言われると、「そもそも1ヶ月は何時間存在するんだ」という疑問が湧くので調べてみます。 1ヶ月が28日(最短): 24時間/日 × 28日 = 672時

こんにちは。 はてなインターン2019 システム基盤開発コースでやったことをお話していきます。 今年のシステム基盤開発コースでは、コードネームphoenixと題して、「毎日生まれ変わるセキュアな踏み台サーバ」の作成に取り組みました。 なぜつくったのか 踏み台サーバ なぜ毎日生まれ変わるのか なぜコンテナを使ったのか 踏み台サーバを更新する仕組み SSMセッションを用いたログイン CloudFormationによる自動デプロイ（未完） Terraformによる自動デプロイ 感想など なぜつくったのか まずはじめに、なぜこのような踏み台サーバの構築を行うことになったのかについて説明します。 多くの現場でもそうであると想像されるように、現状のはてなでは様々な社内サービスや、稼働中のサーバー・データベースにアクセスするために踏み台サーバを経由する必要があります。はてなには種々のサービスが存在してい

分割の基準を2つに絞っても、9パターンもありました。各構成を1つずつ見ていきましょう。 1. 単一のAWSアカウントを使う この構成パターンは、一見単純です。しかし、すべてのシステムを1つのAWSアカウントの中に構築するため、アカウント内の環境はかなり複雑になります。 1-1. 単一のAWSアカウント、単一のVPC default VPC以外のVPCを1つ明示的に作り、その中に複数のシステム、複数の環境を混在させる構成です 1-2. システムの種類と環境の用途でVPCを分割 システムの種類でVPCを分け、さらに本番用と開発用など環境の用途によってもVPCを分ける構成です 1-3. システムの種類でVPCを分割 システムの種類によってVPCを分けますが、開発環境や本番環境を1つのVPC内に構築する構成です 1-4. 環境の用途でVPCを分割 環境の用途によってVPCを分けますが、複数の異なる

こんにちは、臼田です。 皆さん、セキュリティ意識してますか？(挨拶 今回はお客様宛にAWSのセキュリティベストプラクティスについて補足・解説したものを汎用化して共有します。 公式のドキュメントだと少し硬くて読みづらいみたいなイメージもあるかと思いますので、こちらの記事を参考に感覚を掴んでいただければと思います。なお、いろいろ簡潔にしたりするためにすべてのことについて説明していませんのでご了承ください。 熟読いただきたい資料 AWSのセキュリティベストプラクティスの資料は本当は熟読していただきたいです。しかしながら、最初はとっつき辛いと思うのでこの先の内容を見ていただいて、余力があればこちらのセキュリティベストプラクティスを見ていってください。 https://d1.awsstatic.com/whitepapers/ja_JP/Security/AWS_Security_Best_Prac

EC2やECS、RDSなどといったサービス利用時にAmazon VPC（以下よりVPC）が合わせて必要になります。 VPCの設計はCIDRとテナンシーの選択のみとシンプルですが、案外迷ってしまいます。 私が設計時に気をつけている5点をまとめてみました。 RFC1918準拠のIPアドレス範囲から指定する IPアドレスの範囲はrfc1918に準拠した範囲を指定することを推奨します。 少し難しく聞こえますが、下記のIPアドレス範囲から指定するということです。 10.0.0.0 - 10.255.255.255 (10/8 プレフィックス) 172.16.0.0 - 172.31.255.255 (172.16/12 プレフィックス) 192.168.0.0 - 192.168.255.255 (192.168/16 プレフィックス) よく見るプライベートIPアドレス範囲ですね。 16ビット以上で

大栗です。 先程EC2のドキュメントのDocument Historyを眺めていたらAutomate snapshot lifecycleというFeatureが有りました。何やら新機能みたいなので調べていたら、EBSスナップショットの世代管理などをやってくれるサービスが登場した模様です！早速レポートします。 Automating the Amazon EBS Snapshot Lifecycle Amazon DLM Amazon Data Lifecycle Manager (Amazon DLM)を使用するとEBSのバックアップであるスナップショットの作成、保存、削除を自動化できます。 定時バックアップをスケジュールして貴重なデータを保護します。 監査人または社内のコンプライアンスが要求する期間バックアップを保持できます。 古いバックアップを削除してストレージコストを削減します。 Am

AWS Systems Manager セッションマネージャーに待望の機能（のひとつ）がやってきました！ Session Manager launches tunneling support for SSH and SCP サーバーにSSHしたり、ローカル・リモート間での SCP 越しのファイルの送受信も可能になりました。 更には SSH セッション越しにポート転送もできます。 ということで、さっそく試してみましょう！ リモートの準備 SSM エージェントをインストール SSH先サーバーに 2.3.672.0 以上の SSM エージェントがインストールされている必要があります。 古いエージェントがインストールされている場合、アップデートしてください。 Manually Install SSM Agent on Amazon EC2 Linux Instances - AWS Systems

おまけ 今回調査に使ったシェルスクリプト載せておきます。 権限毎にバケット何個も作って、オブジェクトも作って、アクセスしてみて、終わったら削除してという感じのものです。 #!/bin/bash UNIQ=$(date +'%Y%m%d%I%M%S') alias aws='aws --region ap-northeast-1' BUCKET_PREFIX=akeri-acl-test-$UNIQ- TARGET_PRINCIPAL="arn:aws:iam::123456789012:user/s3acltest" TARGET_MAIL="[email protected]" # create Bucket Policy Document UPLOADFILE=akeridayo.txt IAM_USERNAME=s3acltest echo "akeridayo" > $UPLO

フィードバックを送信 AWS サービスや Azure サービスと Google Cloud を比較する コレクションでコンテンツを整理 必要に応じて、コンテンツの保存と分類を行います。 最終更新: 2024 年 5 月 24 日 次の表に、一般提供の Google Cloud サービスと、それに対応するアマゾン ウェブ サービス（AWS）または Microsoft Azure のサービスを示します。この表は、サービスタイプ、機能、サービス名などのキーワードでフィルタできます。今後も最新の情報をお届けするために、フィードバックをお寄せください。 Sign in to your Google Cloud account. If you're new to Google Cloud, create an account to evaluate how our products perform i

[速報！] オンプレミスからプライベートネットワークでのアクセスが可能に！PrivateLink に Amazon S3 が追加されました アップデートによって、Private Link for S3がインターフェイス型をサポートされたことによって、この記事のアーキテクチャは陳腐化しました。大変喜ばしいです!! S3にアクセスする際は極力S3のAPIを使い、追加でAWS Transfer for SFTPのコストを払ってでもSFTPしか使えない場合はAWS Transfer for SFTPを使いましょう。 はじめに おはようございます､加藤です｡AWS S3を利用したいが､セキュリティポリシーや送信元のハードウェア・ソフトウェアの都合でパブリックネットワークを使用できない・使用すると脆弱な場合にはプライベートネットワーク経由でS3にアクセスする必要があります｡ 今回は､この要件を実現する