Amazon Web Services ブログ 外部ユーザが安全かつ直接的に Amazon S3 へファイルをアップロードできるようにする方法 このブログは 2022 年 3 月 24 日に Anderson Hiraoka (Solutions Architect) と、Rafael Koike (Principal Solutions Architect) によって執筆された内容を日本語化した物です。原文はこちらを参照して下さい。 企業では、ファイルや画像などのデジタル資産をリポジトリに保存することが求められることが多くあります。多くの場合、これらのファイルのソースは、社内システムに接続されていないパートナーまたは個人であり、ファイルをアップロードするためには、企業の認証が必要となります。お客様は従来、ファイルのアップロードを処理するためにサーバーを使用していましたが、大量のネットワー

本記事は CyberAgent Advent Calendar 2022 23日目の記事です。 「節約は固定費から。」 こんにちは、しゅん（@MxShun）です。 今年11月に中途入社、AI事業本部オペレーションテクノロジーに仲間入りしました。 今回は、年間にして 1,200 万円削減 した Amazon S3 のコストカット全ステップ を紹介します。 目次 オペレーションテクノロジー AWSコストの見直し S3コスト対象 S3コスト分析 1. ストレージ容量の削減 2. ストレージクラスの見直し まとめ オペレーションテクノロジー 私がジョインしたオペレーションテクノロジーは、 サイバーエージェント 連結売上高の53%（2022年通期決算時点）を占めるインターネット広告事業売上を最大化する システム開発 大規模インターネット広告運用を可能にする 社内システム開発 の役割を担っています。

この記事は Tech KAYAC Advent Calendar 2022 の10日目の記事です。 サーバサイドエンジニアのkolukuです。 今回は、ディレクトリ検索するようにS3 Selectを実行する社内向けツールをOSSとして作った話です。 過去のこの人のアドベントカレンダーはこちら（折りたたみ） 2021年 techblog.kayac.com 2020年 techblog.kayac.com TL;DR ディレクトリ検索するようにS3 Selectを実行するOSSを書いた brew install koluku/tap/s3s ALBやCFのログに対しても便利なオプションを用意したため新規プロジェクトでスタートダッシュしやすくなった OSS書くことで今までの学びを活かすことも、新たに得ることもできた TOC TL;DR TOC S3 Selectとは 例: 管理画面 例: aw

広告技術部のUTです。 最近はカービィディスカバリーをゆっくりやってます 概要 過去の失敗 どうやったか 仕組み 結果 まとめ 概要 昨今ではデータドリブンな意思決定を重視する企業がどんどん増えており、データを活用することにより事業成長へのインパクトを出そうとしています。 データを事業へと活用するためには、蓄積されるデータを分析するために保管しておく必要があります。 弊社も創業時からデータを蓄積し事業に活用することに力を入れてきた企業の一つであり、日々大量のログが収集されています。 またAWSアカウントを複数運用していますが、一番データ量の多い広告アカウントのS3にはペタバイトレベルのデータが保管されています。 普段何気なく使っているデータレイクとしてのS3ですが、少量であれば無視できるくらい小さいので、コストを気にせず使っておられる方も多いのではないでしょうか？ そのようなS3でも巨大な

AWS CLIを使って S3バケットのバケットポリシーを取得するには、get-bucket-policy コマンドを使用します。 get-bucket-policy — AWS CLI 1.11.143 Command Reference でもこの場合、バケットポリシー自体はエスケープされた状態で出力されてしまいます。 例えばこんな感じに（backet-xxxxxxxxがバケット名）： $ aws s3api get-bucket-policy --bucket backet-xxxxxxxx { "Policy": "{\"Version\":\"2008-10-17\",\"Statement\":[{\"Sid\":\"\",\"Effect\":\"Allow\",\"Principal\":{\"AWS\":\"arn:aws:iam::1234nnnn5678:role/xxx

SREチームの長田です。 CloudFrontでstaticなファイルを配信しようとした時に少々ハマったのでそのメモです。 TL;DR CloudFront distributionのS3 Originは、Managed Policyの Managed-AllViewer を使うと機能しない。 何をしたのか statcなファイルを配信する要件があり、その対応としてCloudFront distributionのOriginにS3を設定しました。 CloudFrontのOrigin Access Identity(OAI)を作成し、S3 bucket policyにはこのOAIからのAPIリクエストのみを受け付けるよう設定しました。 docs.aws.amazon.com いざ配信用URLにHTTPリクエストすると以下のようなエラーになってしまいました。 <Error> <Code>Sign

Apple仕様のHTTP Live Streaming（HLS）をアダプティブ配信する環境をAWS（Amazon Elastic Transcoder→S3→CloudFront）で構築して、配信最適化できるか試してみた。 ※Akamaiでの配信方法は以下 動画配信技術 その1 - HTTP Live Streaming(HLS) - Akamai Japan Blog 動画配信技術 その3 - Universal Streaming(HDS/HLS) - Akamai Japan Blog HTTP Live Streamingとは、容量の大きい動画ファイルを10秒ごとに分割して、読み込みながらでも再生できる。特別なストリーミングサーバを必要とせず、通常のWEBサーバで配信ができるのも利点。iOS、Androidともに対応端末が幅広い。 Apple公式の資料 「特別なサーバソフトを使用し

みなさん、はじめまして。ギフトモールの@nori0620です。 ギフトモールはギフト領域にフォーカスしたベンチャー企業で、日本とシンガポールに拠点があります。 今まであまり情報を発信できていなかったのですが、今後積極的に情報を発信していく一環として、このブロクを開始しました。 会社の詳細については、↓のサイトをご覧ください！ https://careers.lucheholdings.com ※現在はサイトリニューアルしております。 ちなみに上記のサイトはS3,CloudFrontな構成でTerraformで構築 、 CircleCIで自動デプロイといった仕組みで管理しています。 本ブログの最初の記事として、このような構成の組み方を解説する記事にしたいと思います。 最近だと単純な静的サイトであればNetlity のようなホスティングサービスを使う選択肢もあると思いますが、弊社ではTerra

はじめに AWSを利用するシステムを開発するときに、まだリソースを用意してないけどちょっと動かしてみたいな、ということが稀によくありますよね。 最近S3を使う機能の開発でそういう状況になったので、S3互換オブジェクトストレージのminioを試してみました。 簡単に動かすことができたので今回は導入方法とaws-cliからの操作方法を紹介します。 検証環境 Docker: 18.06.0-ce minio: 2018-08-02T23:11:36Z aws-cli: 1.16.1 minioとは minioはプライベートクラウドでの利用を想定した分散オブジェクトストレージです。Go言語実装で、ソースはGitHubのリポジトリで確認できます。 GitHub - minio/minio: Minio is an open source object storage server compatibl

Spring BootによるAPIバックエンド構築実践ガイド 第2版 何千人もの開発者が、InfoQのミニブック「Practical Guide to Building an API Back End with Spring Boot」から、Spring Bootを使ったREST API構築の基礎を学んだ。この本では、出版時に新しくリリースされたバージョンである Spring Boot 2 を使用している。しかし、Spring Boot3が最近リリースされ、重要な変...

Lambda(Python3.6)からAthenaを実行する機会がありましたのでサンプルコードをご紹介します。 Overview Event発生時にキーとなる情報を受け取り AWS Lambda が実行される Amazon Athenaでクエリを実行し実行結果を取得する Athena実行時に作成されたS3オブジェクトは削除する s3 data s3 にあるデータは以下とします。 {"name":"user1","email":"[email protected]"} {"name":"user2","email":"[email protected]"} {"name":"user3","email":"[email protected]"} AWS Lambda Sample Code 呼び出されるときにnameの情報を取得しAthenaでクエリを実行してレスポンス情報を返します。 im

事の発端 社内から静的コンテンツをホストしてHTTPS使える環境が欲しいんだよねー。と要望を受けた。 私はAWSが得意なので考えた。 「静的コンテンツならs3か」 「s3でHTTPSならs3の前段にCloudFrontでSSL証明書入れるか（ちょっと面倒だな）」 「CloudFrontにSSL入れるなら無料のACMだな」 「ACM使うならメール認証だしSES要るな（面倒くせぇ）」 「SESでメール受信するならs3・・・・・・・・・・」 ガシャーン！（ちゃぶ台の音） 「俺がしたいのはこれじゃない感」 ということで 何か上の環境を一発で作れるツールあるかなぁ。と調べているとNetlifyというサービスが引っかかった。 Netlifyってなに？ どうも静的コンテンツをホストしてくれて、SSLが使えるとな。Githubと連携して？ ふむふむ。使ってみよう。 ということでGithubにリポジトリを作

Amazon S3って？ 追記: 以下の記事で紹介したS3互換環境を使って，サムネイルサーバーを作ってみました！！ サーバーレスの入門に！自宅サーバーレス+自宅S3環境で作るサーバーレス・サムネイルサーバー！ ざっくりというとAmazonが提供している"ファイルサーバーのようなもの"です． 公式ドキュメントによると Amazon Simple Storage Service はインターネット用のストレージサービスです。また、ウェブスケールのコンピューティングを開発者が簡単に利用できるよう設計されています。 引用：Amazon S3 とは何ですか？ 厳密にはAmazon S3はオブジェクトストレージの一種で， オブジェクトストレージはデータをファイル単位やブロック単位ではなく、オブジェクトという単位で扱います。オブジェクトにはストレージシステムのなかで固有のID（URI）が付与され、データと

個人的なプロジェクトも含め、いくつかの現場で Amazon Athena について触れる機会があったので、個人的に思うところについて記載します。 数時間で書いた雑な文章ですが、ご了承ください。 なお、先日リリースされた Amazon Athena API については以下の Qiita に first impression をまとめているので、 API 以外の話題について書きます。 Amazon Athena の API を使ってみた (2017/05) データの設計について Amazon Athena は managed な Presto 環境で、 事前に Presto サーバーの立ち上げなどリソース確保を行わなくても良い データについても、S3 にファイルをアップさえすれば、後付でいかようにでもデータの解析が出来る という手軽さを売りにされています。 これは利点としていっさい間違いではな

西澤です。AWS上にシステムを移行する上で、毎度のようにご相談を受けるのが、S3へのファイル転送をどうするか？という問題です。ビッグデータの元となる大量のファイル、RDBのダンプファイル、その他のバックアップファイル等を含め、安価で堅牢なS3にまずはデータを格納し、そこから自由に利用したいというユーザの希望を実現する為に、まずは何よりもS3にファイルを持っていかなければなりません。 今回は、過去のブログも遡りつつ、これまで試してみた各種転送方式をご紹介し、それぞれのユースケースを整理しておこうと思います。また、この記事は書きっぱなしにするのではなく、今後必要に応じてメンテナンスもすることで、再利用できるような記事に育てていきたいなと思っています（執筆時点での意気込みであり、何かを保証するものではありません）。 前提 Amazon Kinesis Streamsを利用するようなリアルタイム処

はじめに 今回はSESで受信したメールをS3に保存し、Lambdaでメールを振り分けてS3バケットの対象フォルダに移動(コピー)するというところまでの処理を先日サポートされた Python3.6でやってみました。 Announcement: AWS Lambda now supports Python 3.6 やりたいこと SESで受信したEC2のリタイアメントやメンテナンスのメールをS3のフォルダに振り分ける。 その他のメールは削除。 EC2のリタイアメント通知の件名 [Retirement Notification] Amazon EC2 Instance scheduled for retirement. EC2のメンテナンス通知の件名 Amazon EC2 Maintenance - Maintenance [AWS Account: 012345678910] 処理の流れ SES

EC2からNFS経由でS3オブジェクトを保管できるようになりました！[Storage Gateway] 神アップデートな予感がしてます、コンニチハ、千葉です。 2016年11月30日に、ご紹介しました[新機能]オンプレミスからNFS経由でS3オブジェクトを保管できるようになりました！[Storage Gateway]が、なんとEC2上で利用できるようになりました。 これで、EC2からもNFS経由でS３のオブジェクトを直接利用できるようになります。APIを利用してS3へアップロードする必要がなく、NFSにて利用できるのレガシーなシステムでは重宝するのではないでしょうか。 また、NFS(オンプレ/EC2) > Storage Gateway > S3 > Redshiftのような利用も考えられます。 注意点としては、Gatewayインスタンスは現状は冗長化できないという点です。ただ、種々バック

概要 aws s3コマンドの並列転送処理、マルチパートの処理を設定でコントロールできるようになった。 S3コマンドの自動並列処理 AWS CLIでは、aws s3から始まる高レベルのコマンドがあり、S3のオブジェクトの操作が便利になっています。 http://docs.aws.amazon.com/cli/latest/reference/s3/index.html この中では、ワイルドカードを指定する、もしくはsyncコマンドで、複数ファイル処理が行えます。 これらは並列で転送処理が行われるのですが、これ以外にも、アップロードする1つのファイルが大きい場合は、内部的にマルチパートに分割され、Multipart Uploadが行われています。 (--debugで動作を確認できます) 並列処理を行うことで、スループットを向上させることができる、またマルチパートの場合は、それに加えて、単一のフ