最近AWSのいろんなサービスを使ってます。AWSの中でも一番基本的なサービスのひとつ、S3についてのお話です。 S3に保存するファイル名（S3上でいうところのキー名）を決める際に、AWS開発者ガイドの「パフォーマンスに関する留意事項」を確認しました。 するとこんな記述が。 キー名を連続するパターンにすると、パフォーマンス上の問題が発生します。つまりタイムスタンプのようなファイル名（たとえば20180326151320.txt）はよろしくないらしい。 回避方法として紹介されていた例は2つ。 16 進のハッシュプレフィックスをキー名に追加する（例：a2be-20180326151320.txt）キー名の文字列を左右反転する（例：02315162308102.txt）ここではS3の仕様が解説されており、S3では先頭数文字によってオブジェクトを保存するパーティションを決めているため、先頭数文字が異

AWS News Blog Introducing Amazon S3 Object Lambda – Use Your Code to Process Data as It Is Being Retrieved from S3 March 15, 2023 – You can now use S3 Object Lambda with Amazon CloudFront to tailor content for end users. August 13, 2024 – Added a note clarifying that, when following the walkthrough, you should not mark the Specify Lambda function version option that was added after this post was p

コスト面ではGlacierの方が高いが、検索時間面ではGlacier Deep Archiveよりも速いです。 保存すべきデータ期間が180日以上で、12時間以上の復旧時間RTO(Recovery Time Objective)を許可できれば、Glacier Deep Archiveを使用する方がより安くなります。 S3 Intelligent-Tieringとは? (re:Invent 2018) このストレージクラスは寿命が長く、アクセスパターンがわからなかったり、予測できないデータに理想的で、性能の影響または運用オーバーヘッドなしに最も費用効果的なアクセス階層にデータを自動で移動して費用を最適化するために設計されました。 S3 Intelligent-Tieringの特徴 主にわからなかったり、変化するアクセスの場合使用する。 2つのアクセス階層に保存して作動し、アクセスパターンの変

Amazon Web Services ブログ Amazon S3 path-style 廃止予定 – それから先の話 – 先週(4/30)、私たちは非常に静かな（実際には静かすぎる）発表を行いました。S3 バケット内のオブジェクトのアドレスを指定するために使用される、パスベースのアクセスモデルについて、ゆっくりとそして慎重に廃止するという計画です。私はこのブログ記事を書くために、状況をよりよく理解すべく、S3チームと話し合うことに時間を費やしました。私が学んだことは以下です… S3 は、2006年の始めにサービスが開始されました。S3 における Jeff Bezosの考える元々の仕様は、非常に簡素なものでした。彼はインターネットにおける malloc （C言語プログラムにおけるキーメモリ割り当て関数）に相当するようなものを望んでいました。その出発点から、S3 は何兆ものオブジェクトを格納

AWS Summit 2018 New Yorkのキーノートセッションで発表された、S3の性能アップとはどのようなものなのか？　そして不要になった面倒なアレとは？ 皆さんこんばんは…。日本とほぼ半日時差のあるニューヨークでは、2018年7月15〜16日の日程で、AWS Summit 2018 New Yorkが開催されています。 ここで皆さんおなじみのAmazon S3に関する重大な発表が行われました！何が起きたのかを早速確認しましょう！ Amazon S3 Announces Increased Request Rate Performance | What's New with AWS 何が変わったのか？ 変更点を箇条書きでまとめます。 S3の書き込み/読み取りの性能が上がった PUT/POST/DELETE：3,500リクエスト/秒/プレフィックス GET：5,500リクエスト/秒/

こんにちは、藤本です。 先日、サイト、Webサーバを廃止する際に、別サイトとの関連で一部残ってしまう URL があり、それをリダイレクトでどうにかできないかという要件がありました。S3 のリダイレクト機能でどうにかできそうだったので改めて S3 のリダイレクト機能の情報をまとめてみました。 Amazon S3 におけるリダイレクト機能 Amazon S3 は静的ウェブホスティングで Web サーバのように静的コンテンツ（HTML、Javascript、画像／映像など）を HTTP でやり取りすることができます。静的コンテンツの配信だけではなく、Web サーバが持つインデックスドキュメント、カスタムエラードキュメント、リダイレクトといった機能も持ち合わせています。今回はリダイレクト機能についてまとめてみました。リダイレクト機能は S3 静的ウェブホスティングのリダイレクションルール、ウェブペ

Amazon Web Services ブログ Amazon Athena – Amazon S3上のデータに対話的にSQLクエリを 私達が扱わなければいけないデータの量は日々増え続けています(私は、未だに1,2枚のフロッピーディスクを持っていて、1.44MBというのが当時はとても大きいストレージだったことを思い出せるようにしています)。今日、多くの人々が構造化されたもしくは準構造化されたペタバイト規模のファイル群を、日常的に処理してクエリしています。彼らはこれを高速に実行したいと思いつつ、前処理やスキャン、ロード、もしくはインデックスを貼ることに多くの時間を使いたいとは思っていません。そうではなくて、彼らはすぐ使いたいのです: データを特定し、しばしばアドホックに調査クエリを実行して、結果を得て、そして結果に従って行動したいと思っていて、それらを数分の内に行いたいのです。 Amazon

こんにちは、@gorou_178です。 主にtenpu の開発を担当しています。 tenpuはAWSを利用して構築しており、特にS3をよく使うのでS3について書こうと思います。 ユーザにサービス側で指定したファイル名でファイルをダウンロードさせたい場合、 Content-Disposition ヘッダーでファイル名を指定します*1 しかし、Content-Dispositionのattachment指定はブラウザによって対応状況がバラバラで対応に苦しんだ方も多いかと思います。S3に対してファイル名指定ダウンロードさせるには、S3にContent-Dispositionを指定するのですが、エンコード方法によってはエラーになったりしたため、S3側の対応状況を調査してみました。 結論 最新のブラウザでは、 S3に対して Content-Dispositionのfilenameを RFC 5987

Standardに比べるとだいぶ安くなりますね。 条件 このようにコスト的にはだいぶ抑えられるStandard-IAですが、使用する時には注意することが数点あります。 取り出し料がかかる S3の価格のページを見るとStandard-IAの料金の中に「データ取り出し」という項目があります。英語にすると「Data Retrievals」。Standard-IAクラスのオブジェクトを取り出す際には$0.01 /GBの料金がかかります。 転送料がかかる 同じく料金ページには「ライフサイクル移行リクエスト」という項目があります。これはつまりStandardからStandard-IA、またはその逆を行うと1,000 リクエストあたり$0.01の料金がかかる、ということです。 最低128kb単位で計算される 課金の基準として128kb未満のオブジェクトは128kb分として計算されます。 課金について確認

よく訓練されたアップル信者、都元です。Amazon S3について細かい説明は不要かと思いますが、要するにファイルストレージです。HTTPベースでファイルをアップロードでき、そしてダウンロードできるサービスですね。 古くから、データはシリアライズされた形式でファイルという単位に格納し、管理されてきました。ローカルマシン内でファイルを管理する仕組みがファイルシステムで、その多くにはフォルダという階層構造を扱う仕組みが備わっています。 Amazon S3も、Management Consoleによってフォルダを作成し、その中にさらにフォルダを作成したり、ファイルを格納できたりします。しかし。 Amazon S3には実はフォルダという概念は無い のです。Amazon S3の基礎技術は、単純なKVS（Key-Value型データストア）でしかありません。例えば下記のようなフォルダ（と我々が認識している

Docker を用いた rpm / deb パッケージ作成の継続的インテグレーション - ゆううきブログ の続き。 前回は、rpm / deb パッケージを作るために、CentOS、Debianなど各種ディストリビューションを揃える手間をかけずに、Docker コンテナ上でパッケージングして、ついでに Jenkins で CI するみたいなことを書いた。 今回は、作成したパッケージを yum / apt リポジトリに登録して yum / apt コマンドでパッケージインストール/アップデートできるようになるまで継続的インテグレーションするという話。 問題点 yum / apt リポジトリ用の専用ホストを立てて、そこで apache とかで静的ファイルをホストするのはめんどくさい。 特に、mackerel-agent みたいなユーザにインストールしてもらうパッケージの場合、リポジトリを公開し

AWS News Blog Amazon S3 Lifecycle Management for Versioned Objects Today I would like to tell you about a powerful new AWS feature that bridges a pair of existing AWS services and makes another pair of existing features far more useful! Let’s start with a quick review. S3 & Versioned Objects I’m sure that you already know about Amazon S3. First launched in 2006, S3 now processes over a million req

こんにちは。望月です。 S3は非常に安いストレージとはいえ、保存する量が数百GB〜TBになると、課金額もそれなりに多くなっていきます。 ですが、Management Consoleからは、S3全体でどれだけの容量を使っているのかを確認することは出来ません。 *1 なので、現在の保存容量を確認するためのスクリプトを書いてみました。今は全バケットの合計を表示するだけしかできませんが、近いうちにバケットごとや特定のprefix以下の容量なども取得できるように対応したいと思います。 5/1追記 : バケット毎のサイズ出力をするようにしました。 5/16追記 : 処理を高速化しました #!/usr/bin/env ruby require 'aws-sdk' require 'optparse' begin require 'aws/profile_parser' rescue LoadError;

はじめまして。3月17日付でイタンジに入社しました、永嶋(@eiei19)と申します。 よろしくお願いします。 さて、一発目のネタとして何を書こうかと迷ったのですが、最近プライベートで新たにブログを作ったのでその構成について書きたいと思います。 もうすでにいろんなとこで書かれているネタではありますが、「wordpressをAmazon S3で運用する方法」です。 wordpressをAmazon S3で運用? wordpressをS3で運用といってもwordpress自体を動かすわけでなく、別サーバに構築したwordpressサイトを静的HTMLに変換して、S3のスタティックホスティング機能を利用して公開するという構成になります。 やっていることだけ見ると、それなんてmovabletype？という感じなのですが、慣れ親しんだwordpressを使いつつS3と静的サイトのメリットを享受できる

横田です。今週のはじめさくらのBASE Storageのβテストが開始しました。いわゆる「S3互換のクラウドストレージ」なので、S3やその他のS3互換のソフトウェアがそのまま利用できます。 S3互換ソフトウェアの中には、FTPのような画面でファイルをアップロード/ダウンロードができるツールがあります。「さくらのBASE Storage」はβ期間中は無料ですので、ファイル保管庫として利用する場合はS3互換クライアントを利用すると便利でしょう。 今回はさくらのBASE Storageで利用できる、S3互換のクライアントを紹介していきたいと思います。 《共通設定方法》 まずはさくらのBASE Storageに登録してください。登録が終わったら、それぞれS3互換クライアントをインストールします。 S3互換クライアントの設定方法は基本的には一緒です。 ○「Service EndPoint」や「Hos

S3 で公開しているバケットをバックエンドに nginx モジュール ngx_small_light を利用して画像をリサイズする方法をメモ http://d.hatena.ne.jp/akishin999/20130619/ にローカルの画像を対象にした画像変換手順が書かれているので、そこに S3 バックエンドを追記しただけとも言える。 ngx_small_light について github で公開 https://github.com/cubicdaiya/ngx_small_light pixiv の中の人が開発した nginx モジュール Apache 向け mod_small_light の nginx 移植 https://code.google.com/p/smalllight/ 画像変換エンジンは ImageMagick/Imlib2/GD から選択可能 構成 client

Gyazo、便利ですよね。大変便利なので、社内でプライベートなGyazoサーバを用意して使っている会社も多いと思います。 うちでもサーバのパフォーマンスは特に必要ないので社内に適当なVMを立てて運用していたのですが、数年単位で運用していると画像ファイルが増えていくためdiskをなんとかする必要に迫られました。 ここでどんどん増えるファイルはAmazon S3に逃がそう、という自然な発想に至るわけですが、Gyazoサーバアプリが投稿を受けたときにS3にアップロードするような改修をするのは年末の忙しい時期に面倒。楽したい。 ということで S3 と nginx を組み合わせていいかんじに運用できるようにしてみました。 Gyazoに限らず、 ローカルに書き込んだファイルをhttpで閲覧する 一度書き込まれたファイルには変更がない ファイルは消えないでどんどん増える ようなものには応用できると思いま