Amazon Web Services（AWS）は、オブジェクトストレージサービスとして提供しているAmazon S3のバケットをLinuxからマウントし、ローカルのファイルシステムと同様にさまざまな操作を可能にする「Mountpoint for Amazon S3」を正式に公開しました。 基本的にAmazon S3の操作はS3専用のAPIを呼び出すことによって行いますが、今回公開されたMountpoint for Amazon S3はそうした操作を不要にし、いくつかの制限はあるものの、Amazon S3のバケットをまるでローカルのファイルシステムのように扱えるようになります。 これにより、例えばAmazon EC2のインスタンスからAmazon S3のバケットへの大規模なデータの保存や参照などが容易に可能になります。 下記はAWSが公開した動画から、実際にMountpoint for A

Spring BootによるAPIバックエンド構築実践ガイド 第2版 何千人もの開発者が、InfoQのミニブック「Practical Guide to Building an API Back End with Spring Boot」から、Spring Bootを使ったREST API構築の基礎を学んだ。この本では、出版時に新しくリリースされたバージョンである Spring Boot 2 を使用している。しかし、Spring Boot3が最近リリースされ、重要な変...

本日のアップデートで Lambda から EFS が利用可能になりました！ AWS Lambda support for Amazon Elastic File System now generally available 何が嬉しいのか S3 を介さないファイル連携 Lambda でファイル連携を行うには一般的に S3 を介して利用されてきましたが、そもそも連携するためには連携させたいシステムが S3 にアクセスできるような仕組みになっている必要がありますが、オンプレからそのまま AWS に移行してきたようなシステムの場合、S3 へアクセスするための改修にハードルを感じる方も少なからず居られたかと思います。 今回、EFS に対応したことで単純にファイルシステムとしてファイル連携することが可能となりますので、そういった改修をせずとも Lambda と連携させた処理が実装しやすくなるのではな

今までユースケースとして待望になっていたFargateからのEFS利用が可能になりました。設定もそれほど難しくないので、不要なEC2を削減するチャンスです！ 「Fargateから共有ファイルストレージを使いたいんです…切実に…」 こういった要望を聞くことは、今まで非常に多くあり、私が直接聞いたお客様でも3件以上、ご要望を頂いておりました。そんななか、ついにFargateでEFSをサポートするというビッグニュースがはいってまいりました！ AWS Fargate launches Platform Version 1.4 Fargateのタスク間やサービス間でファイルストレージを共有するために、今までECS on EC2を使っていた構成では、そのEC2が不要になりECS on Fargateを利用できます。これは、えらいこっちゃですよ… FargateでEFSきたか…!!ホンマに…!? ( ﾟ

はじめに Raspberry PiのSDカードの取り扱う上で、複製したり、イメージとして保存しておきたいシーンは多いと思います。 しかし、大容量のSDカードが一般的になった今では、空き容量が大半を占めるベタイメージを作成することは、以下の点から現実的でありません。 イメージファイルの大半を空き容量が占め、時間およびストレージの効率が悪い 元より容量の小さいSDカードに書き込むことができない SDカードに書き込む際、空き領域にも書き込みが行われ、カードの寿命を縮めてしまう ファイルシステムが破損していても、コピー時に気づくことがない パーティションの構造とLinuxの操作を学びながら、SDカードのバックアップをしていきましょう。 背景 Raspberry PiのSDカードの論理構造を見ていきましょう。難しく考える必要はありません。大体こんな感じといったイメージを掴むだけでOKです。 まず、セ

先日Linusが盛大にZFSを非難したことがインターネット・カーネル界隈の噂を駆け巡った。これをタイトルだけみたり本文をちょっと読んだら「ああ、LinusはZFSが嫌いなんだ」とか「LinuxでZFSを使うべきではない」といった理解をする人が非常に多いだろうと思う。Linusは当然Linuxユーザーにとって大きな影響力を持つ人物であり、多くのLinuxユーザーがこの理解のままでいることになりかねない。公私ともにZFSに頼りっきりになっている私は特にそういう状況は非常に困るし、Canonicalは19.10からUbuntu LinuxでのZFS rootを標準にしようとしているくらいだからもっと困るだろう。複雑な状況になっていると思うので、このニュースの深層を探ってみよう。 まず元スレ 元になったLinusのレスによると、そもそも最近カーネルにドライバのインターフェース変更があってZFSがこ

Products Docker DesktopContainerize your applicationsDocker HubDiscover and share container imagesDocker ScoutSimplify the software supply chainDocker Build Cloud Speed up your image buildsTestcontainers Desktop Local testing with real dependenciesTestcontainers Cloud Test without limits in the cloud See our product roadmapMORE resources for developers

Amazon Web Services ブログ コンテナストレージに Amazon EFS を使用するためのベストプラクティス 数万社におよぶ企業がペタバイト規模のデータを Amazon Elastic File System (Amazon EFS) に保存しており、その多くが EFS を使ってコンテナ化したアプリケーションのデータです。Amazon EFS ファイルシステムは、Amazon Elastic Container Service (ECS) と Elastic Kubernetes Service (EKS) の両方で起動したコンテナに接続できます。Amazon EFS はコンテナインフラストラクチャと同様に、データの追加や削除の際に設定が簡単でかつ柔軟なスケーリングが可能な完全マネージド型のサービスであるため、コンテナストレージにうってつけの選択肢です。さらに、ペタバイト

先にまとめると ディスクI/Oに高い負荷をかけるシステムでNVMeデバイスを使うときweekly cron jobでfstrimが走る状況になってたら停止しろ じゃないとfstrimが走った瞬間にI/Oパフォーマンスが刺さって死ぬ fstrimを停止するならdiscard mount optionを有効化しろ、ただしその状態でのI/O性能で問題ないかどうか測っておけ discard mount optionを有効化しても大きいファイルの削除には気をつけろ、プチfstrimみたいになるぞ 追記されるばかりで大きくなるファイル(そして削除されるファイル)はNVMeじゃないデバイスに置いとけ 高I/Oスループットを期待するシステムでのNVMeとfstrim 社内で小さめのインスタンスを多く並べてトラフィックを捌いてたのを色々要件があって大きめのインスタンスにまとめるようなシステムアップデートをや

Windows側から、WSLのファイルにアクセスする仕組みが追加 4月に配布予定の次期Windows 10機能アップデートである「19H1」（Windows 10 Ver.1903）には、Windows Subsystem for Linux（WSL）に新機能が搭載される予定だ。 現在配布中のプレビュー版ビルド18342にその機能が搭載されている。簡単に言えば、Win32側からWSLのファイルシステム（VolFs）をアクセスする機能だ。ただし、LinuxとWindowsではファイルのアクセス管理方法がちがうため、ネットワーク共有の仕組みを使う。 形式としては、Windows Explorerのネットワークの下に仮想的なwsl$というホストが見え、その下にVolFsが見えるようになる。この新機能には名前がないため、ここでは仮にホスト名をすべて大文字にした「WSL$」と呼ぶことにする。 まずは

Windows 10のうえでLinuxを実行する機能「Windows Subsystem for Linux」（WSL）の新機能として、WindowsからLinux上のファイルに対して読み書きができるようになることがマイクロソフトのブログに投稿された記事「What’s new for WSL in Windows 10 version 1903?」で明らかになりました。4月に予定されているWindows 10の大型アップデートで実現する予定です。 これまでWindows 10からWSL上のLinuxファイルに対して作成や変更などの操作を行った場合にはファイルが失わるか壊れる可能性がありました。 今回の新機能でこうした制限がなくなり、Windows 10からWSL上のLinuxファイルへの参照やファイル作成、変更などが可能になります。 WSL上のLinuxからWindowsのエクスプローラを

はじめに オペレーション部の下田です。つい先日、ECS で Docker Volume と Volume Plugin がサポートされました。公式のアナウンスについては、以下のリンク先を参照してください。 Amazon ECS Now Supports Docker Volumes and Volume Plugins これまで ECS で EFS を利用する場合、予め ECS インスタンス起動時に ECS 環境で利用する EFS を特定のマウントポイントに対して NFS マウントしておく必要がありました。公式の手順としては、下記のチュートリアルが公開されております。 チュートリアル: Amazon ECS での Amazon EFS ファイルシステムの使用 - Amazon Elastic Container Service 今回 ECS で Docker Volume と Volume

S3をファイルシステムとしてマウントするためのデーモンをつくっています。ホームディレクトリ全体を共有できてしまえば、dotfilesまわりのセットアップを頑張らなくてもよいのでは、というのが開発の動機です。 なので、既存のS3を便利に見れるものと言うよりも、セキュアかつパフォーマンスがなるべく(ファイルによらず)フラットで高速なファイルシステムを目指しています。 juntaki/bucketsync: S3 backed FUSE Filesystem written in Go with dedup and encryption. 使い方 まずは、設定ファイルを作成します。$HOME/.bucketsync/config.ymlにファイルができます。S3のクレデンシャルが平文で入ってしまうので取扱は注意です。出力されたファイルには暗号化や圧縮のオプションがありますが、記事公開の時点では実

Microsoft and GitHub team up to take Git virtual file system to macOS, Linux Microsoft isn't the only company that's interested in scaling Git. One of the more surprising stories of the past year was Microsoft's announcement that it was going to use the Git version control system for Windows development. Microsoft had to modify Git to handle the demands of Windows development but said that it want

「ファイルシステムのBtrfsは、Red Hat Enterprise Linux 6の最初のリリース以来、そのステータスは（RHELにおいて）ずっとテクノロジプレビューでした。Red Hatは今後もBtrfsをフルサポートすることはなく、将来のメジャーバージョンリリース（RHEL 8以降）においては（Btrfsを）削除することになるでしょう」 Red Hatは8月1日（米国時間⁠）⁠、「⁠Red Hat Enterprise Linux 7.4」をリリースしたが、上に挙げた記述はそのRHEL 7.4のリリースノート第53章「Deprecated Fanctionality（サポート中止予定の機能⁠）⁠」に「Btrfs has been deprecated」として含まれているものである。リリースノートでは続けて、RHEL 7では引き続きBtrfsをサポートするが、大きなアップデートを反映

Spring BootによるAPIバックエンド構築実践ガイド 第2版 何千人もの開発者が、InfoQのミニブック「Practical Guide to Building an API Back End with Spring Boot」から、Spring Bootを使ったREST API構築の基礎を学んだ。この本では、出版時に新しくリリースされたバージョンである Spring Boot 2 を使用している。しかし、Spring Boot3が最近リリースされ、重要な変...

数年前、Microsoftは、社内全体のエンジニアリングシステムを活性化させるため、数年間にわたる投資を行う決定をしました。私たちは山のような数のチームを抱える大企業です。チームはそれぞれ、担当のプロダクト、独自の優先順位、プロセス、ツールを持っています。”共通の”ツールもありますが、チームによって様々に異なる点も多く、内部で開発した単発のツールも数え切れないほどあります（「チーム」とは社の部門のようなもので、数千のエンジニアの集まりです）。 この状況にはたくさんのマイナス面があります。 似たようなツールを構築しているチームがいくつもあり、巨額の冗長な投資が生まれている 「クリティカルマス（損益分岐点を超える生産量、普及率）」に向けた設備投資ができない 皆がバラバラのツールやプロセスを用いているため、従業員が異動しにくい 組織の垣根を越えてのコード共有が難しい “MS限定”ツールの過多のた

米Microsoftは2月3日、Gitリポジトリのファイルシステムを仮想化する「Git Virtual File System（GVFS）」を公開した。リポジトリのファイルシステムを仮想化することで、チェックアウトなどの操作を軽快に行うことができるという。 Git Virtual File System（GVFS）はリポジトリのファイルシステムを仮想化し、必要に応じてオブジェクトをダウンロードすることで、リポジトリ内の全コンテンツをダウンロードすることなしにGitを利用できるというもの。すべてのファイルはローカルにあるように操作でき、大容量のリポジトリでもclone、checkout、statusなどの操作を数秒から数十秒で行えると報告している。 Microsoftによると、社内でGitを利用する開発者は多いが、コード行の多いリポジトリを持つチームがいくつかあり、Gitクライアントの使い勝

By Mike Mozart Microsoftが仮想ファイルシステムの「Git Virtual File System(GVFS)」を発表しました。GVFSはリポジトリ下のファイルシステムを仮想化することで、ファイルを開く時点でダウンロードを実行する仕組みを採用しており、大幅な高速化が実現されています。 Announcing GVFS (Git Virtual File System) | Microsoft Application Lifecycle Management https://blogs.msdn.microsoft.com/visualstudioalm/2017/02/03/announcing-gvfs-git-virtual-file-system/ Microsoftは2013年にオープンソースの分散型バージョン管理システムである「Git」のサポートを開始していま