2022/9/9に開催されたSNIA日本支部主催「2022年度ストレージトレンドセミナー（第一回）」で発表したスライドです

どういうわけか、Googleドライブがいつもあふれそうになっている…。あなたのその問題の原因は、大量の「みなしご」ファイルがストレージ容量をひそかに奪っているからかもしれません。 みなしごファイルが生まれるのは、親ディレクトリーが削除されたのに、ファイルそのものが削除されていない場合です。 たとえば、あなたがあるドキュメントを友人のGoogleドライブフォルダにアップロードしたとします。そしてその後、あなたの友人がそのフォルダを削除し、あなたがアップしたファイルに直接アクセスできなくなっていても、あなたのストレージ内に残り、データ上限に不利に働きます。 これは稀な現象ですが、Google Play Musicの終了により、サービス終了前にきちんと削除されなかった音楽やポッドキャストなどのファイルが「みなしご」になる確率が劇的に上がってしまいました。このことは、こちらのredditスレッドで

こんにちは。「Rookと仲間たち、クラウドネイティブなストレージの Advent Calendar 2020」6日目は、タイトルの通り、ストレージ初心者だった筆者がCephのベンチマークを計測した際に学んだストレージシステムの性能指標とCephに代表されるような分散ストレージを計測する上での特徴や注意点について簡単にまとめます。 Rookではなくてもクラウドネイティブなストレージに関する投稿であればヨシという参加条件でしたので、Rookでもよく利用されているCephをこよなく愛する筆者としては、のりと勢いだけで応募しました。ろくに熟考もせず記載しているため間違いがあれば優しくご指摘ください！ はじめに さて、本記事は上記の通り、ストレージ素人だった筆者がCephのベンチマーク等を担当したときに、事前にこんな知識を知っておきたかったと感じた事柄について、記載したいと考えております。 また断り

ヤフー株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。LINEヤフー Tech Blog ゼットラボ(※1)の坂下とヤフーの飯田です。コンテナオーケストレーション Kubernetesの国内イベントとして開催されたKubeFest Tokyo 2020(2020/6/13)で発表した「ヤフー/ゼットラボのステートフルアプリケーションへの挑戦」について紹介します。 ※1ゼットラボはヤフーの子会社 はじめに これまで、コンテナはステート(データ)を持つアプリケーション(ステートフルアプリケーション)が苦手と言われてきました。しかし、Kubernetesなどコンテナ関連技術の進歩により、ステートフルアプリケーションも扱えるようになってきました。そこで、ヤフーとゼットラボにて取り組んでいるKubernetes as a Ser

ストレージを知らない人/苦手な人向けに実施した勉強会の資料です。

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? はじめに 前回の記事では、2019年末に報じられた「個人情報が保存された自治体のHDDが、廃棄処理委託先業者の従業員によって、データ復元可能な状態のまま転売された」という事件を題材に、ストレージを安全に廃棄するために行うべき対策としてストレージのロックと難読化を挙げ、SATAおよびNVMeストレージのロックの具体的な方法をまとめました。 同じく前回の記事で指摘した通り、「データ流出」に対する根本的な対策は「難読化」です。そこで今回の記事では、この難読化についてまとめます。 難読化には、「物理的破壊」、「記憶媒体を消去状態にする」、「複数

こんにちは、Red Hatでストレージを中心にクラウドインフラを生業にしている宇都宮です。 今回から、Kubernetes(k8s)におけるストレージという狭ーいちょびっと深ーい話を連続で紹介します。 ご存知の方も多いと思いますが、k8sにはPersistent Volume(PV)という無敵に素敵なストレージ抽象化の仕組みがあります。だからアプリケーションからボリュームを使えるようにする辺りの処理に関してはほとんど考えなくて大丈夫。 じゃあバックエンドのストレージ自身はどうあるべきか？みたいな話って、あんまりされないんじゃないかなって思ってます。それは、k8sには多くの外部ストレージに対応したvolume driverやpluginがあって、既存の外部ストレージをそのままPVとして使えるから。実際には外部ストレージによってできる事できない事は色々ありますが、「今あるストレージが使えるんな

先にまとめると ディスクI/Oに高い負荷をかけるシステムでNVMeデバイスを使うときweekly cron jobでfstrimが走る状況になってたら停止しろ じゃないとfstrimが走った瞬間にI/Oパフォーマンスが刺さって死ぬ fstrimを停止するならdiscard mount optionを有効化しろ、ただしその状態でのI/O性能で問題ないかどうか測っておけ discard mount optionを有効化しても大きいファイルの削除には気をつけろ、プチfstrimみたいになるぞ 追記されるばかりで大きくなるファイル(そして削除されるファイル)はNVMeじゃないデバイスに置いとけ 高I/Oスループットを期待するシステムでのNVMeとfstrim 社内で小さめのインスタンスを多く並べてトラフィックを捌いてたのを色々要件があって大きめのインスタンスにまとめるようなシステムアップデートをや

出力例 $ iostat -x 30 avg-cpu: %user %nice %system %iowait %steal %idle 0.87 0.01 2.53 0.49 0.00 96.11 Device: rrqm/s wrqm/s r/s w/s rsec/s wsec/s avgrq-sz avgqu-sz await svctm %util sda 0.05 16.03 0.36 13.74 5.77 238.22 17.31 0.15 10.39 0.98 1.38 sda1 0.00 0.00 0.00 0.00 0.00 0.00 15.53 0.00 12.81 11.47 0.00 sda2 0.05 16.03 0.36 13.74 5.77 238.22 17.31 0.15 10.39 0.98 1.38 avg-cpu: %user %nice %syst

4. 4  下記はiostat -x のログのサンプル iostat -x 1 ： avg-cpu: %user %nice %system %iowait %steal %idle 0.76 0.00 0.51 1.52 0.00 97.22 Device: rrqm/s … rsec/s wsec/s avgrq-sz avgqu-sz await svctm %util sda 0.00 … 2000.00 88.00 208.80 0.14 13.70 8.00 8.00 sdb 0.00 … 0.00 24.00 8.00 0.09 31.33 21.67 6.50 avg-cpu: %user %nice %system %iowait %steal %idle 0.76 0.00 0.51 0.25 0.00 98.48 Device: rrqm/s … rsec/s ws

こんにちは、菊池です。 追記：予告通り、日本時間の7月12日に東京リージョンでの提供が開始されました。 ついにきた！EFS（Elastic File System）が東京リージョンで利用可能になりました！ いよいよ、ついに、この日がきました！現在開催されている、AWS Summit 2018 Tokyoのキーノートにて、EFS（Elastic File System）が2018年7月に東京リージョンで提供開始されることがアナウンスされました！ Amazon Elastic File System (EFS)の東京リージョン対応がアナウンスされました EFSとは EFSは、複数のサーバでNFSマウント可能な共有ストレージサービスです。 2015年4月に発表、2016年6月に正式サービスリリースされたものの、東京リージョン（ap-northeast-1）での提供がされていませんでした。最初の発

ストレージの性能を調査するベンチマークツール 続いて、ストレージの性能を調査するためのベンチマークツールについて紹介しよう。ストレージ性能の評価基準としては、まず読み書き速度が挙げられる。ただ、ネットワークの場合とは異なり、多くのストレージではアクセスのしかたによってそのパフォーマンスが異なる。一般的にもっともパフォーマンスが高いのが、「シーケンシャルアクセス」という、連続したデータを一気に書き込むようなアクセスだ。いっぽう、小さいデータをさまざまな個所に書き込むような「ランダムアクセス」はシーケンシャルアクセスよりもパフォーマンスが落ちることが多い。ベンチマークツールにはシーケンシャルアクセスのみの性能測定しかできないものもあるので、目的に応じて使用するベンチマークツールを選択する必要がある。 ベンチマークツールとしてよく知られているものとしては、表1が挙げられる。 表1 ストレージ向け

本稿は2017年4月7日「Containers and Storage: Why We Aren’t There Yet」を和訳したものです。 IBMのコンテナ技術の専門家、James Bottomley氏の 先日ボストンで開催されたLinux Foundation Vault storage カンファレンスでの発表の内容によると、コンテナのオーケストレーション系の技術が多く登場しているが、定常的ストレージの問題が解決されなければ、本格的な普及は難しい、と述べている。 根本的な問題：ステートフルストレージ（恒常的ストレージ）はLinux系のアーキテクチャにおいては、外部ストレージシステムのファイルシステム自体のユーザID (fsuid) と コンテナ内で生成されるユーザID (uids) との連携を維持する事が出来ない事。 Linuxカーネル側は、superblock user names

For customersCustomer supportSubscription managementSupport casesRed Hat Ecosystem CatalogFind a partnerFor partnersPartner portalPartner supportBecome a partner Try, buy, & sellRed Hat MarketplaceRed Hat StoreContact salesStart a trialLearning resourcesDocumentationTraining and certification Hybrid cloud learning hubInteractive labsLearning communityRed Hat TVOpen source communitiesAnsibleGlobal

This document describes WalB, a Linux kernel device driver that provides efficient backup and replication of storage using block-level write-ahead logging (WAL). It has negligible performance overhead and avoids issues like fragmentation. WalB works by wrapping a block device and writing redo logs to a separate log device. It then extracts diffs for backup/replication. The document discusses WalB'

さくらインターネットは2013年秋に、分散ストレージサービスを開始する。同社の田中邦裕社長が、インテルが2013年5月22日に開催した記者説明会に登壇して明らかにした（写真1）。分散ストレージソフトにはインテルが出資する米アンプリデータの「Amplidata」を、ハードウエアにはインテルのCPUを搭載したPCサーバーを使用する。サービスはさくらインターネットの「石狩データセンター」から提供する。 さくらインターネットの田中社長は、同社の分散ストレージサービスについて「『Amazon S3』に相当するもの」と述べ、「さくらのクラウド」で仮想マシンを利用するユーザーが、データのアーカイブや仮想マシンのバックアップに使用するものになると説明した。 また分散ストレージは、さくらインターネット自身も使用する。「当社では現在、サーバーログが1日で1テラバイト増えている。そのためサーバーログは、半年で消