こんにちは佐々木です。以前、『AWSのグローバルIPの空間はインターネットなのか？』と題して、AWSのパブリックIP同士の通信が何故AWSのプライベートネットワークの通信になるのかという話をしました。その中で、PrivateLinkの必要性はどう考えるべきなのかという事に、少しだけ言及しました。今回は、そこをもう少しだけ深ぼって見てみましょう。ユースケースとしても多いであろう、EC2からS3の通信の例でみてみます。 tech.nri-net.com EC2からS3へアクセスする４つのルート EC2からS3へアクセスするルートとしては次の４つがあります Internet Gateway NAT Gateway VPC Endpoint（Gatewayタイプ） PrivateLink（Interfaceタイプ） それぞれの構成と利用に関わる費用をみてみましょう。なお、今回ご紹介するコストは、S

AWS Lambda の効果は劇的でした。今まで数時間かかっていた画像処理がわずか 10 数秒で完了しました。コストに関しても、同じ処理をオンプレミスで行う場合と比べ 20 分の 1 程度にまで削減することができました。 AWS Lambda にはそもそもリソースが足りなくなるという発想がありません。これはオンプレミスでは真似のできないものです。 「最高の『物語』を提供することで、世界中の人々の幸福に貢献する」を企業理念に掲げる株式会社スクウェア・エニックスは、主にゲームを中心とする「デジタルエンタテインメント事業」、アミューズメント施設運営や業務用ゲーム機器の開発を行う「アミューズメント事業」などを展開しており、ゲーム、エンタテインメント分野において創造的で革新的なコンテンツ、サービスを生み続けています。ゲームの代表作には「ドラゴンクエスト」「ファイナルファンタジー」「トゥームレイダー」

Amazon S3 レプリケーション時間制御 (S3 RTC) は、S3 レプリケーションの新機能で、サービスレベルアグリーメント (SLA) に裏付けられた予測可能なレプリケーション時間を提供します。S3 RTC は、顧客がデータレプリケーションのコンプライアンスまたはビジネス要件を満たすのに役立ち、新しい Amazon CloudWatch メトリックでレプリケーションプロセスの可視性を提供します。 お客様は S3 レプリケーションを使用して、バケット間で同じリージョンまたは異なるリージョンに数十億のオブジェクトを複製します。S3 レプリケーション時間制御は、アップロード後 15 分以内にオブジェクトの 99.99% を複製するように設計されています。これらの新しいオブジェクトの大部分は数秒で複製されます。S3 RTC は、請求月の 15 分以内にオブジェクトの 99.9% を複製する

Amazon Web Services ブログ Amazon S3 インベントリ、Amazon EMR、および Amazon Athena を使用して既存のオブジェクトのクロスリージョンレプリケーションをトリガーする Amazon Simple Storage Service (Amazon S3) では、クロスリージョンレプリケーション (CRR) を使用して、異なる AWS リージョン内のバケット間でオブジェクトを自動的かつ非同期にコピーできます。CRR はバケットレベルの設定であり、データのコピーを異なるリージョンに保存することで、コンプライアンス要件を満たし、レイテンシーを最小限に抑えるのに役立ちます。CRR は、プレフィックスとタグによって制御されるソースバケット内のすべてのオブジェクト、またはオプションでサブセットを複製します。 CRR を有効にする前に存在していたオブジェクト

AWS Lambda は、非同期呼び出しを処理する方法に関する追加の制御を開発者に提供する 2 つの新機能をサポートするようになりました。最大イベント経過時間と最大再試行回数です。関数を非同期で呼び出すと、Lambda がイベントをキューに送信します。個別のプロセスがキューからイベントを読み取り、ご自分の関数を実行してくれます。これらの 2 つの新機能は、イベントの再試行方法とキューに保持される期間を制御する方法を提供します。 最大イベント経過時間 関数が実行前にエラーを返すと、Lambda はイベントをキューに返し、デフォルトで最大 6 時間関数を再実行しようとします。最大イベント経過時間を使用すると、キュー内のイベントのライフタイムを 60 秒から 6 時間に設定できます。これにより、イベントの経過時間に基づいて、不要なイベントを削除できます。 最大再試行回数 関数が実行後にエラーを返

Amazon Web Services ブログ AWS Step Functions と AWS Glue を使用して Amazon DynamoDB テーブルを Amazon S3 にエクスポートする方法 従来の AWS のやり方で、AWS Glue チームが DynamoDB テーブルからネイティブに読み取る AWS Glue クローラおよび AWS Glue ETL ジョブの機能をリリースしたときは、AWS ビッグデータブログで Goodreads はどのように Amazon DynamoDB テーブルを Amazon S3 にオフロードし、Amazon Athena を使用してクエリを実行するのかを公開してから一週間も経っていませんでした。おかげで私はかなりわくわくしていました。コードがより少ないということは、バグもより少ないことを意味します。元のアーキテクチャは少なくとも 18

Amazon S3 に新機能が追加されました。新たにアップロードされた S3 オブジェクトを、同じ AWS リージョン内のコピー先バケットに自動的かつ非同期的にレプリケートできるようになります。Amazon S3 には、異なる AWS リージョン間でデータをレプリケートする S3 クロスリージョンレプリケーション (CRR) が実装されていますが、Amazon S3 セイムリージョンレプリケーション (SRR) の実装により、Amazon S3 に新しいレプリケートオプションが追加されることになります。Amazon S3 のレプリケーションは SRR と CRR の 2 つで構成されます。これらの機能により、オブジェクトが誤って削除された場合に備えるクロスアカウントレプリケーション、またはバックアップや長期的なアーカイブを作成する際に使用する S3 Glacier や S3 Glacier

Amazon Web Services ブログ Amazon S3 path-style 廃止予定 – それから先の話 – 先週(4/30)、私たちは非常に静かな（実際には静かすぎる）発表を行いました。S3 バケット内のオブジェクトのアドレスを指定するために使用される、パスベースのアクセスモデルについて、ゆっくりとそして慎重に廃止するという計画です。私はこのブログ記事を書くために、状況をよりよく理解すべく、S3チームと話し合うことに時間を費やしました。私が学んだことは以下です… S3 は、2006年の始めにサービスが開始されました。S3 における Jeff Bezosの考える元々の仕様は、非常に簡素なものでした。彼はインターネットにおける malloc （C言語プログラムにおけるキーメモリ割り当て関数）に相当するようなものを望んでいました。その出発点から、S3 は何兆ものオブジェクトを格納

Amazon Web Services ブログ 新しい Amazon S3 ストレージクラス – Glacier Deep Archive AWS のお客様の多くは、大量 (大抵の場合ペタバイト以上) の重要データを収集して保存しますが、そのデータにアクセスすることはほとんどありません。raw データを収集してからすぐに処理し、その後万が一さらに処理または分析する必要が生じたときのために数年または数十年にわたって保存しておく場合もあれば、データをコンプライアンスまたは監査目的のために保持する場合もあります。このパターンに当てはまる業界とユースケースには以下のようなものがあります。 金融 – 取引アーカイブ、活動 & 監査ログ、および通信ログ。 ヘルスケア/ライフサイエンス – 電子医療カルテ、医療画像 (レントゲン、MRI、または CT)、遺伝子配列、製剤開発の記録。 メディア & エンタ

Amazon S3 オブジェクトロックは、お客様が指定した保持期間中、オブジェクトバージョンが削除されないようにする S3 の新機能です。データ保護を一層強化するために、または規制コンプライアンスを遵守するために、ファイル保持ポリシーを強制的に適用できます。ワークロードを既存の Write Once Read Many (WORM) システムから Amazon S3 に移行し、S3 オブジェクトロックをオブジェクトレベルおよびバケットレベルで設定することで、事前定義されたリテンション期日またはリーガルホールド期日以前のオブジェクトバージョンの削除を防止できます。S3 オブジェクトロックによる保護は、オブジェクトが格納されているストレージクラスに関係なく維持され、ストレージクラス間での S3 ライフサイクル移行が発生しても維持されます。 オブジェクトの上書きを防ぐ S3 バージョニングと併用

AWS CodePipeline は完全マネージド型の継続的デリバリー (CD) サービスで、ソフトウェアのリリースプロセスを自動化して、素早く確実性のあるアップデートを実現します。CodePipeline を使用して、静的ウェブサイトのコンテンツやアーティファクトなどのファイルを構築プロセスから Amazon S3 にデプロイできるようになりました。 AWS CodePipeline を使用した Amazon S3 のデプロイについて、詳細はドキュメントをご覧ください。この機能は、CodePipeline を利用できるすべてのリージョンで利用可能です。CodePipeline の利用が可能な AWS リージョンの全リストについては、リージョン表をご覧ください。

データ保護を強化し、コンプライアンスを簡素化する多くの新しい機能が Amazon S3 に追加されました。 クロスリージョンレプリケーション (CRR) では、AWS Key Management Service (SSE-KMS) によって暗号化されたストレージを AWS リージョン間でレプリケートできるようになり、低レイテンシーのデータアクセス、法規制への準拠、および業務効率のアップを実現できます。 また、CRR は、悪意のある削除や過失による削除に対する対策として、異なる所有者スタックの別のアカウントに初期データのコピーを維持します。さらに、CRR で所有権の上書きがサポートされるようになったため、異なる送信先バケット所有者にアクセス権を付与し、送信元バケット所有者からレプリケートされたオブジェクトに対するアクセス許可を取り消すことができます。これにより、複数のアカウント全体に CR

S3 One Zone-Infrequent Access (S3 One Zone-IA; Z-IA) is a new storage class designed for customers who want a lower-cost option for infrequently accessed data, but do not require the multiple Availability Zone data resilience model of the S3 Standard and S3 Standard-Infrequent Access (S3 Standard-IA; S-IA) storage classes. S3 One Zone-IA is intended for use cases with infrequently accessed data th

Amazon Web Services ブログ 新機能- Intelligent TieringによるAmazon S3の自動的なコスト最適化 Amazon Simple Storage Service（S3）は12年と半月以上にわたり使用されており、数兆ものオブジェクトを格納し、毎秒数百万件のリクエストを処理します。お客様は、バックアップ＆リカバリ、データアーカイブ、データレイク、ビッグデータ分析、ハイブリッドクラウドストレージ、クラウドネイティブストレージ、災害対策のニーズにおいて、S3を活用しています。初期の頃の、汎用的なStandard (標準)ストレージクラスに始まり、その後ストレージクラスを追加して、よりよくお客様にサービスしてきました。現在では、4つのストレージクラスを選択することができ、それぞれのクラスはある特定のユースケース向けに設計されています。現在のオプションは以下の

Amazon S3 ブロックパブリックアクセスの導入により、S3 のデータ保護はこれまでになく簡単になっています。S3 マネジメントコンソールでの数回のクリックで、S3 ブロックパブリックアクセスをアカウント内のあらゆるバケット (既存のバケットと今後作成する新しいバケットの両方) に対して適用でき、オブジェクトにパブリックアクセスが発生しないよう設定できます。新規 S3 バケットのデフォルトの設定ではパブリックアクセスは許可されませんが、ユーザーが、ポリシーやオブジェクトレベルのアクセス許可を使用してこれらの設定を修正し、パブリックアクセスを許可することができます。Amazon S3 ブロックパブリックアクセスを設定すると、パブリックアクセスを許可する S3 のアクセス許可が上書きされるため、アカウントの管理者は、オブジェクトの追加方法やバケットの作成方法を問わず、一元管理の設定を容易に