前提: プライベート＋αくらいでの利用がスコープの話題です 個人的な結論 ゴニョゴニョ 俺はこうしている NAS よくわかんないって方に対する一般的なアドバイス 追記 (安めの) オブジェクトストレージの併用 UPSいるのか問題 データの秘匿、暗号化 ほか 個人的な結論 相反する存在というよりは、相互に補完しあえる存在であると思うので、使い分けたり両方使ったりしたらいい ゴニョゴニョ クラウドストレージにはアカウントBANのリスクがあるという話 特にGoogle Driveのようにストレージ以外のサービスとアカウントが一体なサービスの場合、ストレージの使い方と関係ないところでのペナルティでBANされてしまうかもしれない 厳密にはクラウドストレージであってもプロバイダーの過失によるデータロストのリスクはありはするのだが、大抵のクラウドプロバイダーのそれはウルトラ低いを通り越してアルティメット

You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert

kumoha683 @kumoha683 あー😩 「本来であればメインのハードディスクが故障した場合、自動で予備ディスクにデータが移る構成となっておりましたが、予備ディスクへのデータを移行中に、その予備ディスクも故障」 システム障害に伴う行政サービスの復旧について（湖南市） city.shiga-konan.lg.jp/information/37… 2025-03-31 12:27:50 リンク www.city.shiga-konan.lg.jp システム障害に伴う行政サービスの復旧について|湖南市 令和7年3月27日（木曜日）16 時 15 分頃から住民情報システムの不具合により、同システムを利用した業務が停止しておりましたが、令和7年3月30日（日曜日）13時時点において復旧いたしました。 市民の皆様には大変ご迷惑をおかけしたことを深くお詫び申し上げます。なお、令和7年3月31日

You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert

前提 DuckDB が使える環境 Docker Compose が使える環境 まとめ DuckDB から S3 互換オブジェクトストレージを利用する際、MinIO を使う事で、ローカルに気軽に S3 互換オブジェクトストレージ環境を用意できる。 DuckDB とは こちらをどうぞ。 DuckDB雑紹介(1.1対応版)@DuckDB座談会 - Speaker Deck MinIO とは MinIO はオープンソースの S3 互換オブジェクトストレージです。 DuckDB は S3 API 機能を持っており、S3 互換オブジェクトストレージとの相性がとても良いです。 ローカルで試したい時などに Docker Compose で MinIO を用意して利用すると、とても便利です。 Docker Compose ローカルということでセキュリティは一切考慮していません MinIO のイメージを pu

インフラストリーミングチームの近藤 (@udzura) です。今回は、ミラティブで内製しているオブジェクトストレージサーバ「b3」の紹介記事を書きたいと思います。 今回の記事は、6月にGopher Talkというイベントで発表した「Go製ミドルウェアを実践投入するにあたりやったこと」をベースに、内容を詳細にしたり直近の開発状況に合わせて更新したものです。一部内容はこの発表と重複していますがご了承ください。 オブジェクトストレージサーバを内製した背景 1. 大量オブジェクトの操作や増え続ける転送量に対応したい 2. 一定期間しかファイルの保持をしない 3. オンメモリ/SSD/HDDを組み合わせたチューニングがしたい オブジェクトストレージb3の特徴 S3 互換の基本的なAPIを実装 LSM-Tree index＋WALなDB/マージ操作に対応 I/O 帯域を制限可能 非同期レプリケーション

概要 S3 互換オブジェクトストレージの サービス を自分のためにまとめている。サービスとして提供されているのが前提で、 自前運用は範囲外 。 目的 以下の内容に絞って調べている。 日本リージョンの有無 egress の費用 容量の費用 追加調査予定 PutObject 対応 PresignedGetObject 対応 S3 互換 S3 互換の条件は s3cmd や aws sdk s3 がそのまま利用できる事。細かい互換性は気にしない。 比較用の AWS S3 https://aws.amazon.com/jp/s3/pricing/ 最小プラン Tokyo / Osaka リージョンあり 1 GiB 追加の egress 転送量は 0.114 ドル 1 GiB の追加容量は 0.025 ドル TODO SLA 書いてるのと書いてないのがあって拾いにくい 対象外 Azure は S3 互

Grafana Pyroscope is an open source software project for aggregating continuous profiling data. Continuous profiling is an observability signal that allows you to understand your workload’s resources usage down to the source code line number. Grafana Pyroscope is fully integrated with Grafana allowing you to correlate with other observability signals, like metrics, logs, and traces. OverviewGrafan

関連キーワード データ | ストレージ ホログラフィー（立体像を記録する技術）によってデータを記録する「ホログラフィックデータストレージ」（HDS）は、かつては光学ストレージの次世代候補に名を連ねていた。青紫色レーザーを使った光ディスクである「Blu-ray Disc」を上回る記録密度と、データへのアクセス速度が期待されていた。 さまざまな研究チームがHDSの開発に挑んできたが、プロトタイプはできてもそれ以上の芳しい成果につながることはなかった。ただし、その努力は無駄ではない。Microsoftの研究プロジェクト「Project HSD: Holographic Storage Device for the Cloud」は、クラウドサービスでの実用化を目指し、HDSに新たな息吹を注ぎ込んでいる。この研究開発は、Microsoftの研究部隊であるMicrosoft Researchとクラウド

はじめに LTO ドライブは新品ではなかなか手が届かない価格なので，個人だと中古しか選択肢がありませんが，中古だとその状態が気になります．特に磁気ヘッドは磁気テープと接触して摩耗するにも関わらず，外観からは状態がわかりません． 気になって調べて見たところ，HP 製のドライブには状態を調査する手段が用意されていることが分かりました． 準備 HPE Library & Tape Tools を導入します． HPE Library & Tape Tools https://support.hpe.com/connect/s/softwaredetails?language=ja&collectionId=MTX-6d5d29b8407d4250 手元の環境は Ubuntu なので，例によって deb に変換してからインストールします． wget https://downloads.hpe.com

この記事は PostgreSQL Advent Calendar 2021 12日目のエントリです。 はじめに クラウドネイティブなストレージが注目を集める中、PostgreSQLなどのデータベースでも安定かつ高性能で利用できるストレージとしてローカルストレージが注目されています。 今回は分散ストレージとしても盤石な地位を築いているOpenEBSのローカルストレージを利用して、データベースのワークロードでのベンチマーク(pgbench)をしてみたいと思います。 分散ストレージとローカルストレージの違い 今回は詳しい説明を割愛しますが、分散ストレージとローカルストレージのアーキテクチャの違いは、OpenEBSアーキテクチャのドキュメントでざっくり理解できると思います。 分散ストレージはローカルストレージと比べて、可用性の面で圧倒的に有利なのですが、データ同期のための遅延など、性能面のデメリッ

以下イベントの発表資料です https://kernelvm.connpass.com/event/209105/

Duplicacy is a new generation cross-platform cloud backup tool based on the idea of Lock-Free Deduplication. Our paper explaining the inner workings of Duplicacy has been accepted by IEEE Transactions on Cloud Computing and will appear in a future issue this year. The final draft version is available here for those who don't have IEEE subscriptions. This repository hosts source code, design docume

「RAID」はデータを冗長化する技術として広く利用されており、最も冗長性を確保できるRAID 6では、最大2つのディスク故障までデータを保護することが可能ですが、ディスク故障から即座に復旧するためのホットスペアについては、単体のディスクを用いるしかありませんでした。「dRAID」を用いると、そんなホットスペアも各ディスクに分散させることができます。 dRAID, Finally! | Klara Inc. https://klarasystems.com/articles/openzfs-draid-finally/ dRAID — OpenZFS documentation https://openzfs.github.io/openzfs-docs/Basic%20Concepts/dRAID%20Howto.html RAIDの歴史はデータ分散による冗長化の歴史と捉えることもできます

ストレージを知らない人/苦手な人向けに実施した勉強会の資料です。

はじめに Necoプロジェクトのsatです。 cybozu.comの次世代インフラ基盤Necoにおいてはストレージデバイスが紛失や盗難にあったときでもお客様のデータの漏洩を防ぐために、ストレージデバイスの暗号化をしています*1。ストレージデバイスの暗号化にはLinuxのdm-cryptを使っています。本記事では、この機能を使うにあたって、どの暗号スイートを使うかを処理速度という観点で決めた際の評価結果、それをもとにした判断基準、および評価の流れについて説明します。 dm-cryptに使える暗号スイートはたくさんありますが、まずは以下の要件を満たすものを選びました。 世間でよく使われている Necoで使用するにあたって十分な強度を持つ 暗号化/復号においてCPUに専用命令がある この観点に絞ったところ、下記4つが候補に残りました。 AES-128-CBC-ESSIV:SHA256 AES-2

いまどきのツンデレSSDにデレてもらうためにはどうすれば良いかを解説します これは2018年9月22日に行われた カーネル/VM探検隊@関西 9回目 での発表資料です サンプルコード: https://github.com/Fadis/spdk_sample

こんにちは、アプリケーション基盤チームの池添（@zoetro）です。 サイボウズでは、cybozu.comのアーキテクチャ刷新プロジェクト（Necoプロジェクト）を実施しています。 アーキテクチャ刷新プロジェクト「Neco」の紹介 運用本部長を退任して Neco プロジェクトに専念します Necoプロジェクトでは、現在以下のようなテーマに取り組んでいます。 ハードウェアプロビジョニングの容易化・自動化 障害に強く、スケールするネットワークアーキテクチャの検討 Kubernetesクラスタの構築 高耐久性・高可用性ストレージアーキテクチャの調査 今回は、Kubernetesで利用可能な分散ストレージのOpenEBSを調査したので、その結果を報告したいと思います。 TL; DR OpenEBSのアーキテクチャを解説 設計がシンプルで使い勝手はよさそうだが、耐久性を担保するための機能がやや不足