S3のコストを大幅に削減した話 - Gunosy Tech Blog

テクノロジーカテゴリーの変更を依頼記事元:

tech.gunosy.io

431 usersがブックマークコメント

コメント

40

記事へのコメント40件

注目コメント
新着コメント

オーナーコメントを固定しています

オーナー yuutookun かいた

2022/04/13 リンク

MonMonMon “gzipファイルは複数ファイルを結合しても読み込むことができます。” これは便利

aws

2022/04/13 リンク

tagomoris gzをmultipart uploadの各チャンクにすることでアップロード先で結合するの面白アイデアだな

2022/04/13 リンク

peketamin 貧乏プロジェクトでDBバックアップをgz圧縮+分割してGmailのゴミ箱へ投げてたの思い出した

2022/04/14 リンク

tyoro1210 昔カメラのrawファイルのバックアップ先探した時に、put のリクエスト下げる為に自動で一定期間ごとのデータ固めつつ、判別可能なレベルのサムネを結合したjpg吐いてそれだけ手元で管理するとかしてたな

s3
storage

2022/04/13 リンク

tkysktmt “実際にgzipファイルに対してcatしてみるとgzcatで読めることがわかります。 ” へぇー

2022/04/13 リンク

dkfj GlaicerのPUT APIのコスト考えると、ファイルまとめて圧縮するが正解。これをライフサイクルで指定できればいいんだけどなぁ。昔、AWSのSA陣と純正機能だけで、できるだけ楽に実現できないか議論させてもらったなぁ

2022/04/14 リンク

bonlife いいですね。ただ、取り出すときどうやるんだろ。Glacierも部分的に取り出せそうだけど、どの範囲を取得するかの情報を別途DynamoDBとかに保存しとかないと全部展開するしかなさそう？

2022/04/13 リンク

lesamoureuses なるほどー “単一のファイルを一つにまとめることができれば、GlacierへのPUTリクエストの回数を大きく削減することができます”

s3

2022/04/13 リンク

注目コメント算出アルゴリズムの一部にLINEヤフー株式会社の「建設的コメント順位付けモデルAPI」を使用しています

規約違反を報告

アプリのスクリーンショット

いまの話題をアプリでチェック！

バナー広告なし
ミュート機能あり
ダークモード搭載

アプリをダウンロード

関連記事

{{ total_bookmarks_with_user_postfix }}{{ root_title }}

S3のコストを大幅に削減した話 - Gunosy Tech Blog

広告技術部のUTです。最近はカービィディスカバリーをゆっくりやってます概要過去の失敗どうやった... 広告技術部のUTです。最近はカービィディスカバリーをゆっくりやってます概要過去の失敗どうやったか仕組み結果まとめ概要昨今ではデータドリブンな意思決定を重視する企業がどんどん増えており、データを活用することにより事業成長へのインパクトを出そうとしています。データを事業へと活用するためには、蓄積されるデータを分析するために保管しておく必要があります。弊社も創業時からデータを蓄積し事業に活用することに力を入れてきた企業の一つであり、日々大量のログが収集されています。またAWSアカウントを複数運用していますが、一番データ量の多い広告アカウントのS3にはペタバイトレベルのデータが保管されています。普段何気なく使っているデータレイクとしてのS3ですが、少量であれば無視できるくらい小さいので、コストを気にせず使っておられる方も多いのではないでしょうか？そのようなS3でも巨大な

ブックマークしたユーザー

knj29182024/05/07
azumakuniyuki2023/06/09
techtech05212023/02/09
rightgo092022/11/18
arktks002022/08/26
kamatamadai2022/05/14
dealforest2022/05/09
kwy2022/05/05
sato_shin2022/04/24
patorash2022/04/21
J1382022/04/19
kasahi2022/04/17
wushi2022/04/16
sora_h2022/04/15
f-suger2022/04/15
mjtai2022/04/15
nikuyoshi2022/04/15
songforu2022/04/15

同じサイトの新着

同じサイトの新着をもっと読む

いま人気の記事

いま人気の記事をもっと読む

いま人気の記事 - テクノロジー

いま人気の記事 - テクノロジーをもっと読む

新着記事 - テクノロジー

新着記事 - テクノロジーをもっと読む

設定を変更しましたx