データアナリティクス事業本部のueharaです。 今回は、S3間で容量の大きいファイルをBoto3を使ってコピーする際はmultipart_chunksizeに注意しましょうという話をしたいと思います。 はじめに Boto3を利用してS3間でファイルコピーをするというのはよくあるケースだと思います。 中でも、大きめの容量のファイルをコピーする際は以下のブログでも紹介されているように S3.Client.copy() メソッドを利用するかと思います。 ただ、この関数をデフォルトのまま使用するとファイルコピーの速度といったパフォーマンス面で課題が生じるケースがあります。 ファイルコピーを行う際の設定値について S3.Client.copy()メソッドは Config という引数を持っており、こちらは boto3.s3.transfer.TransferConfigを受け取ります。 ここで、デフ

はじめに こんにちは。カミナシでソフトウェアエンジニアをしている佐藤です。 みなさんは、アプリケーションのフロントエンドから、Amazon S3 にファイルをアップロードするときに、どのような方法を用いているでしょうか？ 「バックエンドのサーバーにファイルを送信し、バックエンドのサーバー経由で S3 にアップロードしている」「Presigned URL を払い出して、フロントエンドから直接 PUT している」など、いくつかの方法があると思います。 弊社で提供しているサービス「カミナシレポート」でも、用途に応じて上記の方法を使い分けて S3 へのファイルのアップロードを行っています。 特に、Presigned URL は、手軽に利用できる上に、バックエンドのサーバーの負荷やレイテンシーの削減といったメリットも大きく、重宝しています。 一方で、その手軽さの反面、アップロードに際して様々な制約を

はじめに こんにちは。クラウド事業部の野本です。 業務でモックサーバを作る際に、静的なファイルをふつうに URL でアクセスしてダウンロードできるようにする必要がありました。この用途に AWS の S3 を使いたいものの、バケットの設定を間違えると全世界に公開されてしまいそうで、公式ドキュメントを調べながら恐る恐る設定しました。 調べた結果、バケットポリシーで適切なアクセス制限を掛けるならパブリックアクセスブロック機能は有効のままでもいいことがわかりました。その設定方法や考え方について纏めます。 設定方法 S3 のオブジェクトを URL 直アクセスでダウンロードできるようにするには、 REST API GetObject を全員に許可するようにバケットポリシーを設定します。 リクエスト元を制限する際にポリシーが「非パブリック」と判定されるよう設定すれば、パブリックアクセスブロック機能はオン

Amazon S3 のパフォーマンスについて 設計パターンのベストプラクティス: Amazon S3 のパフォーマンスの最適化 のページには Amazon S3 は、高いリクエストレートに自動的にスケールされます。例えば、アプリケーションは、パーティショニングされた Amazon S3 プレフィックスごとに毎秒 3,500 回以上の PUT/COPY/POST/DELETE リクエストまたは 5,500 回以上の GET/HEAD リクエストを達成できます。 との記載があります。 これを読んで、S3 のプレフィックスとは何か、スケーリングはどのように行われるのかが気になったので調べてみました。 2018年7月以前はどうだったのか 現在の仕組みについて見る前に、S3 のパフォーマンスについて大幅なアップデートが行われた 2018年7月以前の仕様について参考として見てみましょう。 アップデート

Amazon S3 バケットにサイズの大きなファイルをアップロードするソリューション aws-samples/amazon-s3-multipart-upload-transfer-acceleration を試した❗️このソリューションは Amazon S3 の機能「マルチパートアップロード」と「署名付き URL」と「Transfer Acceleration」を組み合わせて実現されている💡ちょうど似たようなアーキテクチャを検討していて，参考になるサンプルを探しているときに発見した ＼( 'ω')／ ソリューションのサンプル実装は GitHub に公開されている． github.com またソリューションの解説記事は AWS Compute Blog に公開されている． aws.amazon.com アーキテクチャ ブログ記事に載っているアーキテクチャ図を見るとわかる通り，Amazon

本記事は 【Advent Calendar 2023】 12日目の記事です。 🎄 11日目 ▶▶ 本記事 ▶▶ 13日目 🎅 今回のテーマについて AWSを使用するシステムで、S3を使わないことなんてない。と言い切れそうなくらいS3は使用されていますよね。低コストで大容量のオブジェクトを保存できるというメリットがまず思い浮かぶと思いますが、それ以外にもアクセス制限を細かくできるといったセキュリティ面の強みも大きな魅力です。 そのセキュリティ設定の1つとしてバケットポリシーがありますが、正しく理解できていますでしょうか？今回はよく遭遇するシナリオパターン5つを想定し、それに即したバケットポリシーの例を紹介していきたいと思います。 なお、バケットポリシーは同じシナリオであっても複数設定パターンが存在し、今回紹介させていただくものが正解というものではありませんので、あらかじめご了承ください。

風音屋では、データエンジニア、データアナリスト、データコンサルタントを募集しています。 書籍執筆者やOSSコントリビューターなど、業界を代表する20名以上のアドバイザーと一緒にベストプラクティスを追求できる環境です。 ぜひカジュアルトークをお申し込みください。 風音屋 兼業エンジニアの “宮地克弥”（@int_tt） です。 データ分析基盤を構築するのに必要な不可欠なものとしてデータレイクが挙げられます。AWS を利用して構築する際には Amazon S3 の利用が推奨されています。 【公式参照】AWS 上でのデータレイク - Amazon S3 データレイクでデータサイロを排し、大規模で簡単な分析を可能にする Amazon S3 はデータレイク以外にも静的コンテンツ置き場として幅広い用途で利用されています。 安価かつ簡単に利用することが出来る一方、設定を 1 つ間違えると情報流出に繋がる

こんにちは、シマです。 皆さんはS3を使っていますか？S3は他のストレージサービスと比較して可用性が高く安価で利用することができるため、よく使うサービスだと思います。しかし、安価でも大量に利用するときは当然コストが大きくなるため、コストを意識する必要があります。 今回は、一般的な利用で発生するコストと留意すべき点を改めてまとめました。 描いてみた S3の料金の詳細についてはAWS公式の以下ページに記載があります。 上記を基に、ザックリとした絵を描いてまとめてみました。 ※マルチリージョンアクセスポイントやTransfer Accelerationのような機能の利用に応じて発生するコストは含んでいません。 上図の黄色枠が発生するコストを示しています。ストレージクラスの差は考慮から除外していて、利用するストレージクラスによりコストが発生しない場合もあります。ストレージクラスの比較については以下

広告技術部のUTです。 最近はカービィディスカバリーをゆっくりやってます 概要 過去の失敗 どうやったか 仕組み 結果 まとめ 概要 昨今ではデータドリブンな意思決定を重視する企業がどんどん増えており、データを活用することにより事業成長へのインパクトを出そうとしています。 データを事業へと活用するためには、蓄積されるデータを分析するために保管しておく必要があります。 弊社も創業時からデータを蓄積し事業に活用することに力を入れてきた企業の一つであり、日々大量のログが収集されています。 またAWSアカウントを複数運用していますが、一番データ量の多い広告アカウントのS3にはペタバイトレベルのデータが保管されています。 普段何気なく使っているデータレイクとしてのS3ですが、少量であれば無視できるくらい小さいので、コストを気にせず使っておられる方も多いのではないでしょうか？ そのようなS3でも巨大な

※本ブログは2022/2に執筆されています。そのため、アップデートによって内容が現在と異なる可能性があります。 はじめに モバイル事業本部プロダクトエンジニアリングセクション マネージャーの安田です。 インフラっぽいことやクラウドっぽいことやデータエンジニアっぽいことをやってます。 今回、モバイル事業部で使うS3のコスト削減のため、ストレージクラスの移行等を行うライフサイクルの設定を行いましたのでご紹介します。 これからS3の管理を行っていく方、コスト削減に興味のある方の参考になれば幸いです。 実施の背景 モバイル事業本部ではドワンゴジェイピーやアニメロミックスなど音楽配信ビジネスを中心に展開しており、様々なレーベルからお預かりした楽曲データを管理しています。 また、ニコニコ事業本部ができる前からサービスを行っており、多大な量のシステムログやクラウドサービスのログデータなどが存在しています

こんにちは。DA事業本部の春田です。 年末の大掃除のように、たまに行いたいS3オブジェクトの棚卸し作業。AWS CLIを使って何も考えずにバケットの中身をチェックしてると、請求金額が結構お高くつきますよ、という注意書きです。 S3のLISTリクエスト バケットの中身を確認する時、AWS CLIのaws s3 lsというコマンドがよく使われますが、これの裏で動いているLISTリクエストの料金は、1,000リクエスト毎に0.0047USDかかります。1リクエストで取得できるオブジェクトの最大数は1,000件なので、0.0047USDで最大100万個のオブジェクトの情報を取得することができます。 大量のオブジェクトをLISTで取得するのは効率が悪いですし、何しろお金がもったいないです。データの棚卸しをしたい時は、S3インベントリがおすすめです。 S3インベントリ S3インベントリは、バケット内の

TIGの伊藤真彦です。 AWS S3を利用してファイルをアップロード、ダウンロードするフロントエンドアプリケーションの実装を行ったのですが、その際ハマったポイントがいくつかあったのでまとめます。 LocalStackでS3を利用するAWSの機能をローカル環境で模擬するツールでお馴染みのLocalStackですが、AWS S3の機能も模擬できるようになっています。 docker-compose.ymlに設定を記述して、バックエンドAPIなど諸々のコンテナ群と一緒に利用するのが今日では一般的でしょうか。 docker-compose.ymlversion: "3" services: localstack: image: localstack/localstack:0.11.3 container_name: localstack ports: - 4566:4566 - 8080:8080

はじめにこんにちは。TIG/DXユニット 2020年新卒の渡辺です。 Amazon S3を利用したファイル連携を行う際、アカウント内に閉じた利用であれば特段問題ない場合でも、システム間連携となるとクロスアカウントが発生し、目的とした操作をするためには然るべき設定が必要になることがあります。 今回は、自アカウント（アカウントA）のS3バケットに対して他アカウント（アカウントB）から書き込みを行い、アカウントAから当該ファイルを参照する際に注意する設定について紹介していきます。 必要な設定は以下の2つです。 バケットポリシーの設定 オブジェクト所有者の変更 バケットポリシーの設定クロスアカウントアクセスを許可する設定として公式では、それぞれバケットポリシー、ACL、AssumeRoleを用いた3つの方法が紹介されていいます。 今回はバケットポリシーを利用する方法を記載します。lambdaなどか

コスト面ではGlacierの方が高いが、検索時間面ではGlacier Deep Archiveよりも速いです。 保存すべきデータ期間が180日以上で、12時間以上の復旧時間RTO(Recovery Time Objective)を許可できれば、Glacier Deep Archiveを使用する方がより安くなります。 S3 Intelligent-Tieringとは? (re:Invent 2018) このストレージクラスは寿命が長く、アクセスパターンがわからなかったり、予測できないデータに理想的で、性能の影響または運用オーバーヘッドなしに最も費用効果的なアクセス階層にデータを自動で移動して費用を最適化するために設計されました。 S3 Intelligent-Tieringの特徴 主にわからなかったり、変化するアクセスの場合使用する。 2つのアクセス階層に保存して作動し、アクセスパターンの変

Amazon GlacierがAmazon S3の一部となりGlacierの機能が利用しやすくなりました！！ AWS Announces New Amazon S3 Features that Simplify the Use of the Amazon S3 Glacier Storage Class for Archival Workloads in All AWS Regions このアップデートにより以下が可能となりました。 S3APIを利用したGlacierへのファイルアップロード Glacierへのクロスリージョンレプリケーション Glacier復元通知の受け取り S3 Restore Speed Upgradeによるより速いリストア いくつかできるようになったことはありますが、利用頻度の高そうなS3APIを利用したGlacierへのファイルアップロードとGlacierへのクロ

Cloud Frontから特定のS3バケットにある画像にアクセスできるようにする（cache distributionパターン）AWSS3route53CloudFrontTerraform やりたかったこと s3にuploadした画像を cache distributionパターンで管理しアクセスできるようにしたい。 Infrastructure as Code100%を目指しているので、リソースの作成はterraformで！ ※ 独自ドメインでアクセスできるようにしたいのでroute53の設定もしますが、SSL証明書は発行してある前提です。Cloud Frontはus-eastで発行しないと作成できないので要注意です！（罠） 構成 作成手順 上の構成図の下から順に作っていこうと思います👍 全てのterraformコードを載せています。 S3の作成

You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert

普段何気なく利用しているS3ですが、気づかないうちに無駄な利用料金が発生しているかもしれません。このブログを見た事をきっかけに、自動で無駄を消去する設定をすることで安心して利用できるようにしましょう。 はじめに こんばんは、菅野です。 皆さんは Amazon S3 の利用料金って厳密な計算なんてしてないですよね？ もちろん私もしてませんし、今後も恐らくしません。 でも、自分では知らないうちに無駄な利用料金が発生してるかもしれないとしたらどうでしょう？ 今回のブログではその「無駄」を自動で削減してもらうための設定についてご紹介します。 マルチパートアップロードを知ってますか？ S3 は最大5TBまでのオブジェクト（ファイル）を保管できるのですが、保存のため一度に送信できるサイズは5GBという制限があります。 ではどうやって5TBのオブジェクトを保存するのか？というと aws cli や SD

[速報！] オンプレミスからプライベートネットワークでのアクセスが可能に！PrivateLink に Amazon S3 が追加されました アップデートによって、Private Link for S3がインターフェイス型をサポートされたことによって、この記事のアーキテクチャは陳腐化しました。大変喜ばしいです!! S3にアクセスする際は極力S3のAPIを使い、追加でAWS Transfer for SFTPのコストを払ってでもSFTPしか使えない場合はAWS Transfer for SFTPを使いましょう。 はじめに おはようございます､加藤です｡AWS S3を利用したいが､セキュリティポリシーや送信元のハードウェア・ソフトウェアの都合でパブリックネットワークを使用できない・使用すると脆弱な場合にはプライベートネットワーク経由でS3にアクセスする必要があります｡ 今回は､この要件を実現する