本日のアップデートでインターフェース型の S3 VPC エンドポイント（PrivateLink）が GA になりました！ Amazon S3 now supports AWS PrivateLink S3 の PrivateLink については re:Invent 2020 まもなくリリース予定とアナウンスされていましたが遂に来ましたね！ PrivateLink for S3 インターフェース型とゲートウェイ型 今回のアップデートで S3 VPC エンドポイントは唯一、ゲートウェイ型とインターフェース型、両方の VPC エンドポイントを持つサービスとなりました。簡単に各タイプの特徴を説明すると、以下のとおりです。 ゲートウェイ型 エンドポイント料金は無料 対応しているサービスは S3 と DynamoDB のみ エンドポイントへの名前解決はグローバル IP のまま（ルートテーブルにより、V

はじめに 清水です。「MediaStoreって動画用のストレージらしいから使う機会なさそうだよな…」などと思っていませんか？ MediaStoreは「メディア向けに最適化されたAWSストレージサービス」ですが、S3よりも強いデータ整合性モデルを提供しつつ、S3と同様のセキュリティおよび耐久性を持つオブジェクトストレージサービスとも捉えることができます。そのため整合性の観点でS3の使用が難しい場合、MediaStoreを候補に検討することができるのではないかと考えます。本エントリではそんなAWS Elemental MediaStoreとAmazon S3をデータ整合性モデルの面で比較してみたいと思います。 Amazon S3のデータ整合性モデル まずはAmazon S3のデータ整合性モデルです。 新しいオブジェクトのPUTは書き込み後の読み込み整合性(read-after-write co

Amazon Web Services ブログ 新しい Amazon S3 暗号化 & セキュリティ機能 S3 を発表した 2006 年に、私は「さらに、各ブロックは ACL (アクセスコントロールリスト) によって保護されているため、開発者はデータを非公開にしたり、共有したり、読み書きしたりすることができます。」と書きました｡ 最初のモデルから､プライベートバケットと ACL を使用してアクセスを許可することで、バケットポリシー､サーバーアクセスロギング､バージョニング､API ロギング､クロスリージョンレプリケーション､複数のクライアント側およびサーバー側の暗号化オプションのサポートが追加されました。これらはすべて､データを安全に保つために必要なツールを提供し、必要に応じてお客様やパートナーと共有できるようにすることを目的としています。私たちはまた､大規模なコンテンツの検索、分類、保護

Amazon S3って？ 追記: 以下の記事で紹介したS3互換環境を使って，サムネイルサーバーを作ってみました！！ サーバーレスの入門に！自宅サーバーレス+自宅S3環境で作るサーバーレス・サムネイルサーバー！ ざっくりというとAmazonが提供している"ファイルサーバーのようなもの"です． 公式ドキュメントによると Amazon Simple Storage Service はインターネット用のストレージサービスです。また、ウェブスケールのコンピューティングを開発者が簡単に利用できるよう設計されています。 引用：Amazon S3 とは何ですか？ 厳密にはAmazon S3はオブジェクトストレージの一種で， オブジェクトストレージはデータをファイル単位やブロック単位ではなく、オブジェクトという単位で扱います。オブジェクトにはストレージシステムのなかで固有のID（URI）が付与され、データと

Subject: Securing Amazon S3 Buckets [AWS Account: ******] Hello, We’re writing to remind you that one or more of your Amazon S3 bucket access control lists (ACLs) are currently configured to allow access from any user on the Internet. The list of buckets with this configuration is below. By default, S3 bucket ACLs allow only the account owner to read contents from the bucket; however, these ACLs c

サーバ監視サービスMackerelにおいて開発中の、高解像度・長期間のサーバメトリック収集を実現するための新しい時系列データベースDiamondを紹介します。具体的には、Amazon ElastiCache、Amazon DynamoDB、Amazon S3を組み合わせ、Amazon Kinesis StreamsとAWS Lambdaによりコンポーネント間を接続した、階層構造のデータストアアーキテクチャの設計と実装を解説します。 2018/06/05 追記: この記事の内容をWSA研#2でより一般的なアーキテクチャレベルでの貢献として書き直しました。 サーバレス時代におけるヘテロジニアス時系列データベースアーキテクチャ - ゆううきブログ はじめに 先日開催されたAWS Summit Tokyo 2017にて、「時系列データベースという概念をクラウドの技で再構築する」というタイトルで登壇

［速報］「Amazon Redshift Spectrum」発表。Amazon S3にデータを保存したまま複雑なクエリを高速で実行可能に。AWS Summit 2017 San Francisco Amazon Web Servicesは、サンフランシスコでイベント「AWS Summit 2017 San Francisco」を開催。データウェアハウスの新サービス「Amazon Redshift Spectrum」を発表しました。 Amazon S3にデータを保存したままデータウェアハウスで分析可能 Amazon.com CTOのWerner Vogels氏。 多くの顧客で、ペタバイトから多い場合にはエクサバイトクラスの生データがAmazon S3に保存されており、これをAmazon Redshiftへ取り込むのは時間やコストの制約で難しいと考えられていると。 そこで「Amazon Red

Amazon Web Services ブログ Amazon Athena のパフォーマンスチューニング Tips トップ 10 2024 年 2 月に更新された原文を日本語版として 9 月に反映しました： この記事は、コストベースの最適化とクエリ結果の再利用を含む Amazon Athena エンジンバージョン 3 の変更を反映するために確認および更新されました。 Amazon Athena は、オープンソースのフレームワークに基づいた対話型分析サービスで、標準の SQL を使って Amazon Simple Storage Service (Amazon S3) に格納されたオープンテーブルおよびファイル形式のデータを簡単に分析できます。Athena はサーバーレスなので、インフラストラクチャの管理は不要で、実行したクエリに対してのみ料金を支払います。Athena は使いやすく、Ama

Amazon Web Services ブログ Amazon Athena – Amazon S3上のデータに対話的にSQLクエリを 私達が扱わなければいけないデータの量は日々増え続けています(私は、未だに1,2枚のフロッピーディスクを持っていて、1.44MBというのが当時はとても大きいストレージだったことを思い出せるようにしています)。今日、多くの人々が構造化されたもしくは準構造化されたペタバイト規模のファイル群を、日常的に処理してクエリしています。彼らはこれを高速に実行したいと思いつつ、前処理やスキャン、ロード、もしくはインデックスを貼ることに多くの時間を使いたいとは思っていません。そうではなくて、彼らはすぐ使いたいのです: データを特定し、しばしばアドホックに調査クエリを実行して、結果を得て、そして結果に従って行動したいと思っていて、それらを数分の内に行いたいのです。 Amazon

クラウドストレージサービスの「Dropbox」はデータのストレージに自社ではなく、Amazonが提供している「Amazon S3(Amazon Simple Storage Service)」を利用していますが、ついにストレージ・インフラストラクチャを構築し全データの90％を自社で管理することを発表しました。これにより、Dropboxはサービス開始当初から使い続けてきたAmazonのクラウドサービスからの脱却を果たすことになります。 Scaling to exabytes and beyond | | Dropbox Tech Blog https://blogs.dropbox.com/tech/2016/03/magic-pocket-infrastructure/ Dropboxは2008年のサービス開始から約8年が経過した2016年にユーザー数5億人を達成し、保存データが500ペタ

はじめに 既にお気づきでしょうが、私たち2lemetryはAmazonの最新AWS製品であるLambdaに興奮を抑えきれません。LambdaがMQTTプロトコル（訳者注：pub/subモデルに基づく軽量なメッセージプロト […]はじめに 既にお気づきでしょうが、私たち2lemetryはAmazonの最新AWS製品であるLambdaに興奮を抑えきれません。LambdaがMQTTプロトコル（訳者注：pub/subモデルに基づく軽量なメッセージプロトコル）やThingFabric（訳者注：2lementry社のIoTプラットフォーム）と共にどのように稼働するかを我が社の数名のエンジニアが検証しました。私も、IoT（モノのインターネット）においてLambda内でニューラルネットワークがどのように機能するのかを確かめるため、実際に使用してちょっとした実験を行ってみることにしました。私たちのCEOであ

Amazon S3のバケット(Bucket)に、アクセス元IPアドレスによるアクセスコントロールをかけられる、ってご存知でしたか？ この記事では、AWSやS3のリクエスト認証の概要と、それを踏まえた「アクセス元IPアドレスによるバケットへのアクセスコントロール」の方法、その応用例を紹介します。 バケットに入れるオブジェクトの機密性によっては、デフォルトの 「認証情報をつける」以外の方法でアクセスコントロールができると便利です。 例えば、機密でもなんでもないファイルや静的サイトを、ロケーション的に同じオフィスにいる人にゆるく共有したい、 くらいの用途であれば、アクセス元IPアドレスが使えることがあります。 実際、弊社でも、このエンジニアブログを公開前にテスト・レビューするために、 アクセス元IPによる読み取り制限をかけたバケットにデプロイしています。 なお、情報セキュリティに関わることなので

cloudpack の 磯辺(@muramasa64)です。 あるバケットに、別のアカウントから読み書きできるようにバケットポリシーを定義したい。普通に考えると、下記のような感じになるだろう。 { "Version": "2012-10-17", "Id": "Policy1406782030997", "Statement": [ { "Sid": "Stmt1406782027567", "Action": [ "s3:PutObject", "s3:GetObject", "s3:DeleteObject", "s3:ListBucket", ], "Effect": "Allow", "Resource": [ "arn:aws:s3:::s3-acl-test", "arn:aws:s3:::s3-acl-test/*" ], "Principal": { "AWS": [ "0

今回はAmazon Elastic MapReduce（EMR）について解説します。Amazon EMRは、Amazonクラウド内でHadoopフレームワークを利用可能にする機能です。Hadoopフレームワークとは、分散処理を実現するミドルウエアの一つで、例えば大量のログやトランザクションデータの集計などのバッチ処理を、複数のサーバーで並列処理するアプリケーションを開発できます。 Amazon EMRの用途は、ログ分析、ウェブインデックス作成、データウエアハウス、機械学習、財務分析、科学シミュレーション、バイオインフォマティクスなど多岐にわたります。2009年にサービスを開始して以来、550万以上の Amazon EMR クラスターが利用者によって起動されています。 例えば、何万人分ものゲノム情報の収集や解析、医療情報のグローバル共有など、医療や科学の発展を目的とした国際プロジェクトで、A