4月16日、Cloudflareが「Artifacts: versioned storage that speaks Git」と題した記事を公開した。 AIエージェント時代の新たなインフラ需要 ChatGPTやGitHub Copilotの登場以降、AIによるコード生成は開発現場に急速に浸透している。しかし、Cloudflareは従来のソースコード管理プラットフォームが直面する根本的な課題を指摘している。今後5年間で人類のプログラミング史全体を上回るコードが生成されると予測される中、GitHubやGitLabなどの既存プラットフォームは人間の開発者向けに設計されており、24時間稼働し複数のタスクを同時処理するAIエージェントによる大量リクエストへの対応に限界がある。 この市場機会を捉え、CloudflareはAIエージェント向けに特化設計されたGit互換の分散バージョン管理ストレージサービ

3秒まとめ QNAP TS-431P に不満が溜まり、mergerfs + SnapRAID で DIY NAS を構築した 異なる容量の HDD（4TB×1 + 2TB×2）を無駄なくプールしつつ、パリティで冗長性を確保 3-2-1 バックアップの考え方に基づいて、クラウドへの定期バックアップも組み合わせた どんな人向けの記事？ NAS アプライアンス（QNAP、Synology）に不満を感じている人 RAID の仕組みに不安があり、もっとシンプルなストレージ構成を探している人 異なる容量の HDD を無駄なく活用したい人 自宅サーバーで写真やメディアファイルを長期保管したい人 はじめに @matsubokkuri です。 自宅のストレージ環境を QNAP NAS から mergerfs + SnapRAID に移行しました。この記事では、移行の背景から実際の設定ファイルまでをまとめます

Sponsored · SiteGround - Reliable hosting with speed, security, and support you can count on. →

この記事は hacomono Advent Calendar 2025 の12日目の記事です。 基盤本部で今後のhacomonoのアーキテクチャ設計をしている @bootjp と申します。 今年はマイクロサービス化に向けての社内共通のイベントバスの設計や基盤周りの設計/実装を行っていました。 以前にはこのような記事を書き、分散システムや分散データベース、分散ストレージなどが大好きです。 「Goで作って理解するRaftベースRedis互換KVS」という同人誌も書いています。 もし興味のある方はお手にとってみてください。 はじめに 今回は「クラウドネイティブデータベース」と言われる、昨今のデータベースにおけるコンピューティングとストレージの分離について、どのような動機でこの構成になったのか、利用者としてどのようなメリットがあるのか、そしてトレードオフは何かということについて記事を書かせていただ

PlanetScale Postgres is the fastest way to run Postgres in the cloud. Plans start at just $5 per month. Learn more By Ben Dicken | March 13, 2025 Non-volatile storage is a cornerstone of modern computer systems. Every modern photo, email, bank balance, medical record, and other critical pieces of data are kept on digital storage devices, often replicated many times over for added durability. Non-v

Mountpoint for Amazon S3 now lets you automatically mount your S3 buckets using fstab Mountpoint for Amazon S3 now lets you automatically mount an S3 bucket when your Amazon EC2 instance starts up. This simplifies how you define a consistent mounting configuration that automatically applies when your instance starts up and persists the mount when the instance reboots. Previously, to use Mountpoint

はじめに こんにちは、一史です。 暖かくなりベランダに出している金木犀が新芽を出してきました、春ですね。 さて、ストレージサービス間でファイル転送を実現するサービス、AWS Transfer Familyの新機能として、web appsというものがあります。 aws.amazon.com この機能を使うことで、S3のWebUIをノーコードで作成することができるようになりました。 今回はこの新機能を用いて実際にWebUIを作成し、ユーザー単位のアクセス制御が行えるかを試していきます。 はじめに AWS Transfer Family web apps とは AWS Transfer Family web appsを用いてS3 WebUI作成する WebUIの完成像 WebUIの作成 ユーザーの作成・割り当て ユーザーのファイルへのアクセス権限の設定 作成したS3 WebUIの操作 ユーザーご

Continuous reinvention: A brief history of block storage at AWSAugust 22, 2024 • 4802 words Marc Olson has been part of the team shaping Elastic Block Store (EBS) for over a decade. In that time, he’s helped to drive the dramatic evolution of EBS from a simple block storage service relying on shared drives to a massive network storage system that delivers over 140 trillion daily operations. In thi

クラウドストレージサービスを提供するBackblazeは、自社データセンター内で30万台以上のドライブを運用しており、定期的にメーカーやモデルごとのストレージデバイスの故障率を公開しています。2025年2月11日に公開されたレポートでは、29万8054台のドライブに関する年間故障率(AFR)などの年間統計が報告されました。 Backblaze Drive Stats for 2024 https://www.backblaze.com/blog/backblaze-drive-stats-for-2024/ 2024年にBackblazeが運用したHDDは全27モデルで、運用台数が4万185台と最多だったのは東芝の「MG08ACA16TA」です。2024年における全モデルの平均AFRは1.57％で、総故障発生数は4372件でした。なお、故障発生件数が0のモデルはありませんでしたが、Seag

例えば、Content-Typeメタデータの値を細工したオブジェクトを取得させることでXSSを発生させたり、Content-Dispositionメタデータを細工してRFD (Reflected File Download) を引き起こしたり、 x-amz-storage-classメタデータを操作して意図せぬストレージクラスを使用させEDoS (Economical Deninal of Sustainability)を発生させたり、といった攻撃が成立する可能性があります。 中でもContent-Typeを悪用したXSSは、S3の仕様や使用方法だけでなく、ブラウザの挙動にも注意を払う必要があり、アプリ開発者は攻撃の原理と対処を理解しておく必要があります。 9/21にAzaraさんとSecurity-JAWSのコラボで、この問題にフォーカスしたCTFイベント「とある海豹とSecurity-

いや、お前データを守る側ちゃうんか。 なんでお前に大事なデータ消されなきゃならんのよ。 調べてみたらひどいクソ仕様だったので、同じ轍ふまないように知見共有します。 なお、消えてしまったデータは息子の卒業式の動画データ。復元不能。 ダメージでかすぎで立ち直れないかもしれない。 リテラシーの話にしたくないので、一応くわしい状況を説明。 興味ない人は読み飛ばしOK ストレージは壊れるものという前提は理解しているつもりなので、状況ごとにいくつかのバックアップ体制は取ってある。 なのでデスクトップは基本的に一時的なデータしか置かない。 そのため、今回の被害は本当に息子の卒業式の動画データだけ。 安くなったとは言えすべてのストレージをSSD化するには至っていない。 そのため、OSやソフトウェアなんかはSSDにインストール、写真や動画などのサイズがでかいデータはRaid HDDでミラーリングして格納する

まだどのOCIレジストリも対応していないのですが、新しく仕様が策定されたOCI Referrers APIを試してみた記事です。SBOMなどが話題になる一方で活用方法が不明なまま数年が経過しましたが、この新仕様によってその辺りが多少改善されると思っています。 背景 OCI Reference Types 提案 1: OCI Artifact Manifest 提案 2: OCI Image Manifestへのsubjectの追加 提案 3: Custom Tag 採用された案 検証 Custom Tag OCIレジストリのセットアップ イメージのコピー Referrerの保存 Referrerの表示 Referrers API OCIレジストリのセットアップ イメージのコピー Referrerの表示 Referrers API OCI Artifact Manifestについて その他

Amazon Web Services ブログ AWS ファイルストレージサービスの選び方 オフィス文書や画像データなどの様々な非構造化ファイルを、ファイル共有サーバや NAS（Network Attached Storage） などに格納して共有で利用されている方も多いと思います。AWS のファイルストレージサービスを利用することで、ファイル共有ストレージを簡単にクラウド上へ構築できます。また、AWS が提供するフルマネージドサービスのため、パッチ適用やストレージのディスク増設などの運用負荷を軽減できるメリットがあります。初期費用が不要の従量課金のため手軽に利用でき、調達が不要なのですぐに利用を開始することができます。また、ストレージのバックアップ機能が備わっているため、手間のかかるバックアップの設計や運用負荷も軽減できます。 AWS のファイルストレージサービスは、Amazon Ela

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? 概要 AWS で人気のサービス DynamoDB についての論文が公表され巷で噂になっていたと思う。 今回は、その論文を読み込んでいき、ざっくりまとめていくという記事になります。 完全趣味な記事なので、興味ある人がいれば幸いです笑 Abstract まず論文のタイトルですが、「Amazon DynamoDB: A Scalable, Predictably Performant, and Fully Managed NoSQL Database Service」と題したものとなっています。 Amazon DynamoDB は、NoSQL

2022/9/9に開催されたSNIA日本支部主催「2022年度ストレージトレンドセミナー（第一回）」で発表したスライドです

こんにちは。サービス部の武田です。Amazon S3 イベント通知は、以前は「稀に失われる」と書かれていましたが現在は「少なくとも1回配信」となっています。ドキュメントの更新履歴を追ってみました。 こんにちは。サービス部の武田です。 AWSではサービスのアップデートなどによって、それまでの常識やベストプラクティスは日々変化します。Amazon S3には イベント通知 という機能があり、オブジェクト作成や削除などをトリガーとして、Lambda関数などを実行できます。 さてこのイベント通知ですが、「たまに抜けることがある」という仕様上の注意がかつて存在しており、頭を抱えた開発者も多いのではないでしょうか。とはいえそれが常識でした。「かつて」と書いたように、実は現在の仕様ではその部分は削除され、代わりに At least once（少なくとも1回配信） となっています。 最近まで知らなかったので

はじめに こんにちは、ストレージチームの大神です。ストレージチームでは様々なOSSを用いて新しいストレージインフラの開発・運用を行っています。OSSを使っていく上でいつどんな機能追加やバグ修正を取り込むかを決める「アップグレード戦略」を立てる事は重要です。サイボウズでは基本的にリリースごとにリリースノートの内容から変更点をチェックし、緊急のものがあれば即座にバージョンアップし、そうでなければ月一程度の頻度でバージョンアップしています。ここまでは比較的一般的なやり方ではないでしょうか。ストレージインフラに使用しているCephとRookについては、さらに一歩踏み込んだアップグレード戦略を行っており、本記事ではCephのアップグレード戦略について紹介します。 アップグレード戦略の概要 OSSは基本的にGitHubやメーリングリスト等で開発や議論が進むため、これらを定期的にチェックする事により最新

プログラミング指南 - Code Knowledge ゲーム制作に関するプログラミング等を主に書き溜めていきます。ただ、どちらかと言えば日記的な書き方が続くと思いますが、そこは温かい目で見て頂ければ。あと、ちょっとしたサンプルやツールのダウンロードも出来るようにしておきます。 レトロPCは最初は安価なカセットテープを記憶媒体として使っていました。その後に登場したのがフロッピーディスク（以下FDと略す）です。カセットテープが何分もロードに必要なところを数秒から数十秒で完了し、かつ、ランダムアクセスが可能なFDは、当時は高価な周辺機器だったにもかかわらず、あっという間に一般に浸透していきました。また、ドライブの価格も一気に値下がりしていったのを覚えています。 ところが、この便利なFDは便利であるが故の問題を抱えていました。それが不正コピーです。ゲームソフトハウスが発売した製品も、簡単に複製でき

概要 S3 互換オブジェクトストレージの サービス を自分のためにまとめている。サービスとして提供されているのが前提で、 自前運用は範囲外 。 目的 以下の内容に絞って調べている。 日本リージョンの有無 egress の費用 容量の費用 追加調査予定 PutObject 対応 PresignedGetObject 対応 S3 互換 S3 互換の条件は s3cmd や aws sdk s3 がそのまま利用できる事。細かい互換性は気にしない。 比較用の AWS S3 https://aws.amazon.com/jp/s3/pricing/ 最小プラン Tokyo / Osaka リージョンあり 1 GiB 追加の egress 転送量は 0.114 ドル 1 GiB の追加容量は 0.025 ドル TODO SLA 書いてるのと書いてないのがあって拾いにくい 対象外 Azure は S3 互