AWS、スケーラブルなNFS「Amazon EFS」で、長期保存データ用の「Amazon EFS Archive」提供開始 Amazon Web Servicesは、Amazon EFSの新機能として長期保存データ用の「Amazon EFS Archiveストレージクラス」の提供を開始したと発表しました。 また、既存のAmazon EFS Infrequent Access（IA）ストレージクラスのストレージ価格が36%引き下げられたことも同時に発表されました。これによりAmazon EFSはデータの長期保存において、従来よりもさらに低コストなソリューションとなりました。 Slim down #CloudStorage costs while keeping cold data easily accessible with #AWS. From ML training & predicti

Amazon Web Services（AWS）は、オブジェクトストレージサービスとして提供しているAmazon S3のバケットをLinuxからマウントし、ローカルのファイルシステムと同様にさまざまな操作を可能にする「Mountpoint for Amazon S3」を正式に公開しました。 基本的にAmazon S3の操作はS3専用のAPIを呼び出すことによって行いますが、今回公開されたMountpoint for Amazon S3はそうした操作を不要にし、いくつかの制限はあるものの、Amazon S3のバケットをまるでローカルのファイルシステムのように扱えるようになります。 これにより、例えばAmazon EC2のインスタンスからAmazon S3のバケットへの大規模なデータの保存や参照などが容易に可能になります。 下記はAWSが公開した動画から、実際にMountpoint for A

Amazon Web Services（AWS）は、8月10日に開催したオンラインイベント「AWS Storage Day 2022」で、新サービス「Amazon File Cache」を発表しました。 Amazon File Cacheはその名の通りAWSで利用できる高速なファイルベースのキャッシュです。特徴は2つあります。 1つ目は、ミリ秒以下のレイテンシと数百ギガバイト/秒のスループットという高い性能です。Amazon S3やNFSサーバといったストレージのキャッシュとして利用することで、これらのストレージに対するアクセスを高速化できます。 2つ目は複数のストレージに対する単一のファイルビューを提供できることです。AWSの説明によると、Amazon File CacheはAmazon S3やAmazon EFSなどAWS上のストレージだけでなく、AWSからオンプレミス上のファイルサー

米Amazonが、オンラインストレージサービス「Amazon Drive」の提供を2023年末で終了する、と顧客宛のメールで発表しました。写真保存サービスのAmazon Photosは継続されます。 日本では2012年11月にサービス開始 Amazon Driveは、2011年3月に米国で、日本では2012年11月に利用可能になったストレージサービスで、ユーザーは無料で5GBのストレージが、iOSデバイス、Android、Webブラウザから利用できます。 米Amazonが利用者に送信したメールによると、2023年1月末をもって新規アップロードの受付を終了し、2023年12月31日をもってファイルへのアクセス、ダウンロードができなくなります。 Amazon Photosは継続して利用可能 Amazonは顧客へのメールで、Amazon Driveのサービス終了の理由を「Amazon Photo

Cloudflare、Amazon S3互換のオブジェクトストレージ「Cloudflare R2」のオープンベータを開始。10GB以下ならずっと無料 Cloudflareは、CDNエッジで使えるAmazon S3互換のオブジェクトストレージ「Cloudflare R2」のオープンベータを開始したと発表しました。 Cloudflare exists to help build a better Internet. Today, the Internet gets what it deserves: R2 is now in open beta. https://t.co/2d83vA0gnv #PlatformWeek — Cloudflare (@Cloudflare) May 11, 2022 Cloudflare R2は、Amazon S3互換のAPIと、同社のサーバレス基盤であるCl

InfraStudy 2nd #2 の発表資料です

AWS、NFSサービスの「Amazon EFS」の料金を最大47％下げる「Amazon EFSワンゾーンストレージクラス」発表。冗長化を省略して安価に提供 Amazon Web Servicesは、NFSサービスとして提供している「Amazon Elastic File System」（Amazon EFS）の冗長化を省略することで価格を抑えた「Amazon EFS One Zone storage classes」（Amazon EFSワンゾーンストレージクラス）を発表しました。 Introducing Amazon EFS One Zone storage classes. Reduce costs by 47% for workloads not requiring multi-AZ resilience. https://t.co/y3jTxO31Zq — Amazon Web S

本日のアップデートで Lambda から EFS が利用可能になりました！ AWS Lambda support for Amazon Elastic File System now generally available 何が嬉しいのか S3 を介さないファイル連携 Lambda でファイル連携を行うには一般的に S3 を介して利用されてきましたが、そもそも連携するためには連携させたいシステムが S3 にアクセスできるような仕組みになっている必要がありますが、オンプレからそのまま AWS に移行してきたようなシステムの場合、S3 へアクセスするための改修にハードルを感じる方も少なからず居られたかと思います。 今回、EFS に対応したことで単純にファイルシステムとしてファイル連携することが可能となりますので、そういった改修をせずとも Lambda と連携させた処理が実装しやすくなるのではな

こんにちは、Necoプロジェクトの池添(@zoetro)です。 今回は、Kubernetes向けにTopoLVMというCSI (Container Storage Interface) プラグインを開発したので紹介したいと思います。 TopoLVMは以下のような特徴を持っており、Kubernetesでローカルストレージを有効に利用することができます。 LVM (Logical Volume Manager) によるボリューム管理 トポロジーを考慮したダイナミックプロビジョニング ノードの空き容量に応じたスケジューリング github.com 本記事では、CSIプラグインを自作するに至った経緯とTopoLVMの特徴の紹介、Elasticsearchのストレージとして利用する例を紹介します。 ストレージへの取り組み Kubernetesでストレージを扱うことは難しいとよく言われています。しかし

Amazon Web Services ブログ コンテナストレージに Amazon EFS を使用するためのベストプラクティス 数万社におよぶ企業がペタバイト規模のデータを Amazon Elastic File System (Amazon EFS) に保存しており、その多くが EFS を使ってコンテナ化したアプリケーションのデータです。Amazon EFS ファイルシステムは、Amazon Elastic Container Service (ECS) と Elastic Kubernetes Service (EKS) の両方で起動したコンテナに接続できます。Amazon EFS はコンテナインフラストラクチャと同様に、データの追加や削除の際に設定が簡単でかつ柔軟なスケーリングが可能な完全マネージド型のサービスであるため、コンテナストレージにうってつけの選択肢です。さらに、ペタバイト

Amazon Web Services（AWS）は、「Amazon EFS」において、低頻度アクセスストレージクラスの値段を大幅に下げたことを発表しました。 Amazon EFSはスケーラブルなNFSサーバをマネージドサービスで提供します。NFSサーバはオンプレミスにおいてファイル共有サーバとしてよく使われているため、それをクラウドで実現するAmazon EFSは人気のあるサービスです。 Amazon EFSは2015年に登場し、今年の2月には新機能として「低頻度アクセスストレージクラス」が追加されました。 低頻度アクセスストレージクラスとはAmazon EFSのNFSサーバに保存されているけれども頻繁にアクセスされることのないファイルを低価格で保存するのための機能です。 ファイルを標準の保存状態からこの「低頻度アクセスストレージクラス」へ移動することで、アクセスがあった時の反応速度はやや

あなたにとって重要なトピックや同僚の最新情報を入手しましょう最新の洞察とトレンドに関する最新情報を即座に受け取りましょう。 継続的な学習のために、無料のリソースに手軽にアクセスしましょうミニブック、トランスクリプト付き動画、およびトレーニング教材。 記事を保存して、いつでも読むことができます記事をブックマークして、準備ができたらいつでも読めます。

iOS13とiPadOSでは、iPadのLightningまたはUSB Type-C（USB-C）端子から、外付けドライブにアクセスすることが可能となります。米メディアCult Of Macが、iPadに接続できるデバイスを試した結果を公開しているのでご紹介します。 外付けドライブが利用可能になるiOS13とiPadOS 6月の世界開発者会議（WWDC 19）で発表されたiOS13とiPadOSは、開発者向けベータと登録ユーザー向けパブリックベータが公開されており、一般向け正式版は今秋公開予定です。 iOS13とiPadOSの最大の特徴のひとつは、外付けドライブが利用可能となることです。対応するモデルであれば、USB-C端子経由、または「Lightning – USBカメラアダプタ」などのアダプタ経由の接続が可能です。 Cult of Macのチャーリー・ソレル氏は、初代iPad Proに

システム障害を起こしたのは基幹系システム「大阪市統合基盤システム」である。2015年1月に運用を開始し、住民票や税務、国民健康保険、福祉、介護保険など市民向けサービスを提供している。 同システムのOracle Databaseはログイン時の認証に必要なデータや印刷履歴などを管理している。今回の障害により、区役所や出張所などで住民票などの発行ができなくなり、7994件の発行業務に影響が出た。 同システムで2019年6月7日の午後0時5分ごろに発生したシステム障害では、2ノードあるDBサーバーがほぼ同時に停止した。担当者が再起動を試みたが再起動できなかった。 この原因について大阪市ICT戦略室は「Oracle Databaseには（データを格納するストレージとDBサーバーをつなぐ）通信経路で伝送エラーが生じた際、システムファイルが破損するバグが存在していた」と明かす。システム開発を担当したNT

スペックは以上の通り。 NANDフラッシュメモリは「TMC BiCS」と記載があったので、一応は東芝製です。ただし、3D NANDとあるが積層数（64層か96層か？）は不明で、やはりスペックの開示がやや不明瞭でした。 SSDコントローラは「Phison PS3111-S11（S11T）」が採用されています。Phison PS3111-S11はDRAMキャッシュに対応していないため、CFD CG3VXはDRAMレスSSDということになる。 なお、このコントローラはSmartZIP機能を搭載している。SmartZIPとは、データを読み書きする時にDRAMキャッシュ上で圧縮してから、NANDフラッシュのデータを読み書きする機能です。 フラッシュメモリに書き込まれるデータ量を軽減することで、SSDの書き込み耐性（TBW）を伸ばすことを可能にした。逆に言えば、SmartZIPがなければ寿命はもっと短

先にまとめると ディスクI/Oに高い負荷をかけるシステムでNVMeデバイスを使うときweekly cron jobでfstrimが走る状況になってたら停止しろ じゃないとfstrimが走った瞬間にI/Oパフォーマンスが刺さって死ぬ fstrimを停止するならdiscard mount optionを有効化しろ、ただしその状態でのI/O性能で問題ないかどうか測っておけ discard mount optionを有効化しても大きいファイルの削除には気をつけろ、プチfstrimみたいになるぞ 追記されるばかりで大きくなるファイル(そして削除されるファイル)はNVMeじゃないデバイスに置いとけ 高I/Oスループットを期待するシステムでのNVMeとfstrim 社内で小さめのインスタンスを多く並べてトラフィックを捌いてたのを色々要件があって大きめのインスタンスにまとめるようなシステムアップデートをや

米クラウドストレージサービスのDropboxの無料プランでアカウントにリンクできる端末数が3月から3台までに制限された。米The Vergeが3月14日（現地時間）に報じた。ブログでの告知などはなく、ヘルプページがいつ更新されたのかは不明だ。 ヘルプページには「2019年3月より、Basicユーザーがリンクできるデバイスは3台までとなります」とある。 3月以前に3台以上の端末をリンクしている場合は、リンク済みの端末はリンクさせたまま使える。新しく端末を追加する場合は、不要な端末のリンクを解除して3台未満にしてから改めてリンクする必要がある。筆者は6年前から合わせて12台の端末をリンクしているが、例えばスマートフォンを買い換えた場合はこれを2台に減らさないとリンクできないことになる。 なお、アプリではなくWebブラウザでdropbox.comにログインしている場合はリンク端末にカウントされな