Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? どうも、iron千葉です。 S3について、ユーザガイドを見てポイントをまとめました。 ポイントだけ確認したい人、ざっと全体を見たい人におすすめです S3は奥が深い。 S3とは？ インターネットストレージ（平たく言うとgoogleドライブ、evernoteのようなwebブラウザから利用できるストレージ） S3はAPIまたはAWS CLIにてプログラムから操作（ファイルのアップロード、ダウンロード、削除）ができる 容量制限なし データはいつでもダウンロード可能 柔軟なアクセス制御ができる（IAM、アクセスコントロール、バケットポリシー） S

Amazon S3の利用料節約を考えてみる ~apache(mod_proxy,mod_cache設定編） Amazon S3の利用料節約を考えてみる（の結果） の続きの話しです。前回、構成については説明しましたが、具体的にapacheでどうやっているの？については触れていなかったので、今回apacheの設定に絞って説明したいと思います。 こんな構成 haproxy の話しは今回のリバースプロキシにはとりあえずあまり関係のない話しなので割愛しますね apache のインストール apache 最新版をyum でインストールする にまとめました。これを参考にと言いたいところですが、単にこれでインストールしましたと言いたかっただけなので無視してもらって結構です /etc/init.d/httpd.conf の編集 インストールが無事完了しましたら、httpd.confの編集をします 以下の箇所

はじめに とある案件のクロージングでS3のオブジェクトを消すのにちょっと苦労したので、その共有です。時間のない方はまとめだけよむとよいです。 マネジメントコンソールから消す 1日目 AWSマネジメントコンソールにログインして、S3に移動、バケットを選択して「delete」 次の日になったら消えるだろうということで、その日はそのまま帰りました。 マネジメントコンソールから消す 2日目、朝 朝、会社にくると、まったく消えていませんでした。STSをつかったログインだったので1時間程度で削除権限がなくなったようです。 IAMユーザーを作成して、そのユーザーで削除を実行しました。 その間、別の作業をすることにしました。 マネジメントコンソールから消す 2日目、夜 夜、朝の作業をおもいだし、実行結果を確認しようとしました。 ですが、削除処理を実行しているブラウザ画面がどこかにいってしまいました。たぶん

大量のファイルをgzipしたものをS3に配置したいニーズがあって、非力な手元のマシンで一旦gzipしてから転送するよりはLambdaにやらせたらいいのではないか？ということでやってみました。 以下のようなLambda functionを設置 大きなファイル(数十MB以上)を扱う場合はtimeoutをデフォルトの3秒から伸ばす。メモリも128MBでは足りないことがあるので512MBなど S3の読み書き権限があるIAM Roleを設定 S3のイベント通知でLambda functionをkick aws s3 sync で大量のファイルを同期してもアップロードが終わったファイルから順番に処理が走るので、同期が終わった数秒後にはgzipされたファイルが生成されている状態になります。 var aws = require('aws-sdk'); var zlib = require('zlib');

http://www.slideshare.net/lamanotrama/mogilefsprivate-s3 とワンセットの発表となりますRead less

MinIO AIStor is designed to allow enterprises to consolidate all of their data on a single, private cloud namespace. Architected using the same principles as the hyperscalers, AIStor delivers performance at scale at a fraction of the cost compared to the public cloud.

CloudFront+S3の画像配信システムに、サムネイルとかに使う画像のリサイズ機能を追加してみる。 要するにオリジナル画像がこのURLだとすると、 http://xxx.cloudfront.net/sample.jpg こういうURLで100×100にリサイズできるようにする。 http://xxx.cloudfront.net/resize/100x100/sample.jpg システム構成 元の構成はこういうのを想定。 画像はS3に保存され、アクセスは全てCloudFront経由。 これをパスが/resize/で始まる場合は、画像変換サーバを通してリサイズするようにする。 画像変換サーバはEC2で、ちゃんとELBを使って冗長化もする。 既にELB+EC2でAPPサーバを運用しているなら、流用して追加コスト0で実現できるかも。 画像変換サーバの設定 今回はnginxのimage_f

月曜からいきなりとほほな話ですが。Kuradoを全ホストに突っ込み監視体制ができた。 で、それの使い方等を説明して修行を終えたので、先日からHDE incでお世話になっております。修行期間は３ヶ月、プー期間は５日でした！自慢できませんね！ とりあえず「あ〜あ」は本人が一番思っていますので、とほほなブクマはいりません。もしあれでしたら砂でも送ってく… いや、やめて。あたたかい言葉かビールの一杯をよろしくお願いいたします。しかしまぁ、このブログを公開しようと思った瞬間に土下座して復職みたいなエントリが炎上しててタイミング悪いったらありゃしないですね。まぁ僕はいつでも自分のこの手の決断について後悔したことはありません。 ともあれ、自分の今後していくことは前のエントリで書いたのとほぼ一緒です。がんがん朝早く出勤してすごい早く帰宅して子育てしてるし、がんがんコード書くし（最近明らかにGoが業務コード

こんにちは、せーのです。今日はS3の画像をCloudfrontで配信する際のコツを自動化してしまおう、という試みです。 Cloudfrontキャッシュコントロールおさらい Cloudfrontは静的、動的関わらずキャッシュしてくれるとても便利なCDNサービスですが、Cloudfrontにてキャッシュしてくれる時間（TTL）は基本Cache-Control max-ageヘッダやExpiresにて制御します。更にCloudfront自体の設定にも[minimum TTL]というものがあり、これはヘッダで設定されたキャッシュ時間を強制的に上書きするためのものです。 ここで理解しておきたいのが「ヘッダとminimum TTLのキャッシュ時間の関係」です。詳しくはこちらの記事に書いてありますが、基本的には「キャッシュコントロールはヘッダありき。ヘッダの設定より長く強制的に上書きしたい時にminim

Amazon S3にファイルが入っていて、 Railsのrakeタスクかなんかで定期的に処理を走らせるみたいな。 そんな事あんまりないかもしれないけど、今回必要だったのでメモ。 例えばこんな状況 営業が .csv を Amazon S3 にアップロード 定期的にRakeタスクを実行してDBに取り込む S3はこんな構成になっているとする。 my_bucketの中身を読み込みたい。 other_bucket my_bucket data record-2015-02-09 01.csv 02.csv record-2015-02-10 01.csv 02.csv 他の誰かからS3に安全にアップロードしてもらう方法はこちら。 Developerではない人にはFTPクライアント使ってもらいます。 http://www.workabroad.jp/posts/2131 Gem aws/aws-sdk

あけおめころよろメリクリ!! 尾藤 a.k.a. BTOです。 今年も残すところ、あと357日となりましたが、みなさんいかがおすごしでしょうか。 今年の目標は、純白のメルセデス、プール付きのマンション、最高の女とベッドでドン・ペリニヨンの3つです。 さて、今回はS3上に置いたZipファイルをHTTPのRangeパラメータでバイナリアクセスして、料金を節約した話を書きます。 検索インデックスのデータ量が増大 メールアーカイバでは、検索インデックスを mongodb に格納していますが、データ量が増えるにしたがって性能的な問題が出てきました。なにしろ月間1億6000万通のメールを処理するので、検索インデックスのデータ量も大変なことになります。 amazon EBS 1TB制限 当時のEBSでは、最大で1TBのボリュームしか作れませんでした。 検索インデックスのデータ量の増え方は不規則なので、ど

You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert

日本のAWS関係者がre:Inventの発表で盛り上がっているなか、風邪ひいて寝込んでました。季節の変わり目には、気をつけましょう。 さて、そんな感じで全然追いつけていませんが、特に面白いなぁと思ったのが、S3 Event NotificationsとAWS Lambdaです。Lambdaについてはまだ触っていないので何ともいえない部分がありますが、発表内容を見る限りインフラの在り方を変えるような存在かもしれません。そして、S3のEvent Notifications。これ、めちゃくちゃ便利です。S3のイベント（現在は、putとpushとcopy）が発生したら、SNSやSQSに通知を送れるという機能です。何が便利かというと、ファイルのアップロードをトリガーに処理を書けるということです。頭に浮かんだユースケースを1つ書いてみます。 S3 Event Notificationsを使ったクローラ

QiitaとKobitoで画像アップロードができるようになりました。 その後ろ側をちょっぴり公開します。 件名からも分かるように、背後ではAWSのS3を画像ストレージに採用しています。 画像アップロード機能をリリースしました - The Official Qiita Blog Kobito v1.6.1リリース: ドラッグ&ドロップやスクリーンショット撮影で簡単に画像を添付できるようになりました! - The Official Qiita Blog 用語統一 サーバ はQiitaのサーバのことを指すことにします。（つまり、S3ではない、ということ） また クライアント は各ユーザのブラウザのことを指します。 要件 画像アップロード機能を実装するにあたっていくつかの要求がありました。 成りすましを防げる アップロードされたファイルを管理できる 自分達のサーバに負荷をかけたくない 変な画像のア

アプリケーションとサービス さくらのクラウドと併せて利用できる様々なアプリケーションやサービスです。

S3 で公開しているバケットをバックエンドに nginx モジュール ngx_small_light を利用して画像をリサイズする方法をメモ http://d.hatena.ne.jp/akishin999/20130619/ にローカルの画像を対象にした画像変換手順が書かれているので、そこに S3 バックエンドを追記しただけとも言える。 ngx_small_light について github で公開 https://github.com/cubicdaiya/ngx_small_light pixiv の中の人が開発した nginx モジュール Apache 向け mod_small_light の nginx 移植 https://code.google.com/p/smalllight/ 画像変換エンジンは ImageMagick/Imlib2/GD から選択可能 構成 client

おまけ 今回調査に使ったシェルスクリプト載せておきます。 権限毎にバケット何個も作って、オブジェクトも作って、アクセスしてみて、終わったら削除してという感じのものです。 #!/bin/bash UNIQ=$(date +'%Y%m%d%I%M%S') alias aws='aws --region ap-northeast-1' BUCKET_PREFIX=akeri-acl-test-$UNIQ- TARGET_PRINCIPAL="arn:aws:iam::123456789012:user/s3acltest" TARGET_MAIL="[email protected]" # create Bucket Policy Document UPLOADFILE=akeridayo.txt IAM_USERNAME=s3acltest echo "akeridayo" > $UPLO

1. 2013 / 3 / 15! JAWS DAYS LT! AWSはとんでもないものを盗んでいきました しみず @shimy_net!