はじめに HPCとはHigh Performance Computingの略で、一般には科学技術計算を意味すると認識されています。ところが、この中にどこにも「科学」とか「技術」とかの単語はありません。HPCの定義として高速にデータ処理をするもの全般として広くとらえた方が良いと、ずっと個人的には考えていますが、まだまだ一般的な考え方とは言えないのが現状です。 さて、最初にAWSがLustreをやると聞いた時は、旧来のHPC以外の人はそもそもLustreなんて知らないし、使う理由もないのでは？と思っていました。実際、Lustreをメインのストレージとして使うには初期投資が大きくなりがちで、性能要件から構成を決定する必要もあり、大容量(数百TB〜数PB)が前提となるため、クラウドに組み込むには面倒なわりに、多くのケースにフィットしないように思えます。実際、かなり以前からMarketPlaceにA

たとえば、かつてiptablesで設定していたIPv4に関連するパケットフィルタリング設定は、nftablesにおいては「ip」というアドレスファミリに紐付けたテーブルを作成することで設定できる。同様に、ip6tablesやarptables、ebtablesで設定していたものはそれぞれ「ip6」や「arp」、「bridge」というアドレスファミリに紐付けたテーブルで設定する。 「inet」「および「netdev」アドレスファミリはnftablesで新たに導入されたもので、まず「inet」はIPv4およびIPv6の両方を対象にした設定を行えるアドレスファミリだ。従来IPv4とIPv6の両方にまたがったフィルタリングルールを設定したい場合はiptablesとip6tablesの両方で同じようなルールを追加する必要があったが、nftablesではinetアドレスファミリで指定することで単一の設

5. GPUエンコーディングおさらい 過去何回も紹介してるのでまとめとして AMD VCE(Video Coding Engine) NVIDIA NVENC(NVidia ENCoder) Intel QSV(Quick Sync Video) 6. Linuxで扱うには（過去形） Intel QSV Intel Media SDKが必要 カーネル決め打ち＆brob driverで制約が多い 現行iGPUのみ対応で過去製品はガンガン切り捨てる AMD VCE amdgpuドライバの登場前はwindowsのみ amdgpuドライバ登場後にgstreamerが対応 NVIDIA NVENC NVIDIA SDKで対応 ffmpegが対応しているが配布ライセンスの都合上 自前ビルドが必要

1. 2019/07/13gpu仮想化最前線 #oscnagoya 1/67 GPU 仮想化最前線 - KVMGT と virtio-gpu - 安藤　達也 日本 openSUSE ユーザ会 2. 2019/07/13gpu仮想化最前線 #oscnagoya 2/67 お前どこ中誰よ？ ● 安藤　達也 – @zgo[email protected] ● openSUSE との出会い – 2003年ぐらいに自分のPemtium-MノートのWifiを認識してくれ る唯一のディストリということで落ち着く – Xenに強かったディストリということもあり、 2012年ぐらいから家の擬似VDIサーバで活躍してもらっている ● openSUSE12.3～Leap15.1まで随時更新中 ● このへん詳しくはSlideShareの 「Xenとzfsで作る家庭内VDIサーバ」シリーズ参照 – 50000ビ

2. Copyright 2019 FUJITSU LIMITED  五島康文  Linuxの開発部門で、OSS（Kernelやその周辺)の機能開発を担当 • エンタープライズ向け機能を開発 • OSSのコミュニティに、新機能などのパッチを投稿 • upstreamのソースに機能をマージするまでがmission ⇒ビジネスとしてupstreamへのマージが必須 • 2016/7～2019/1 不揮発メモリ(NVDIMM)を担当  Advent Calendar • 技術者が技術記事をblogに書くのが年末の風物詩に • Fujitsu Advent Calendarを最初にQiitaに作った人の一人 (2016/12) • NVDIMMの記事を2016年より３年間Advent Calendarの１記事として記載 自己紹介 内容について講演依頼が来るように！ 1

Explaining “Best practices for writing Dockerfiles” Dockerfileを書くためのベストプラクティス【参考訳】v18.09 - Qiita https://qiita.com/zembutsu/items/a96b68277d699f79418d こちらをベースにした解説スライドです。Read less

1. DockerCon SF19 で発表の、基礎→マルチ・ステージ・ビルド→最新動向まで Sakura Internet, Inc. Masahito Zembutsu @zembutsu Docker Meetup Kansai #3 #dockerkansai May 24, 2019 Dockerfileを改善するための Best Practice ２０１９年版 2. DockerCon SF19 での発表に基づく内容 • Dockerfile Best Practices https://www.slideshare.net/Docker/dcsf19-dockerfile-best-practices 2 • 動画もご覧ください https://www.docker.com/dockercon/2019-videos?watch=dockerfile-best-practice

NTTの須田です。2019年7月23日に公開された、Docker 19.03の新機能をお伝えします。2018年11月8日にリリースされたDocker 18.09以来、8ヶ月ぶりのリリースです。 root権限不要化従来のDockerは、ホストのroot権限でデーモン(dockerd)を動作させる必要があったため、脆弱性や設定ミスを突かれると、ホストのroot権限を奪われる恐れがありました。 Docker 19.03では、非rootユーザでデーモンを実行できるようになりました(Rootlessモード)。 Rootlessモードを有効化することで、万一Dockerに脆弱性や設定ミスがあっても、攻撃者にホストのroot権限を奪取されることを防ぐことが出来ます。ただし、現時点ではcgroupを利用できないなどの制約があります。 RootlessモードのDockerは， curl -fsSL http

NTTの須田です．Moby (≒Docker)，BuildKit，containerdなど，コンテナ関連のオープンソースソフトウェアのメンテナ (開発委員．コミッタとも．)を務めています． 本記事では，2018年11月8日にリリースされたDocker 18.09の新機能を紹介します． BuildKitの正式統合Dockerfileからコンテナイメージをビルドする機能である，docker build の新しいバックエンドとして，BuildKitがDocker 18.06より実験的に採用されていましたが，Docker 18.09にて，正式な機能に格上げされました． BuildKitは，須田が2017年4月に提案した docker build並列化のpull requestを契機として，Docker社 Tõnis Tiigi氏の主導により，Moby傘下のオープンソースプロジェクトとして同年夏に発

ちょっと前にリリースされたカーネルですが、4.10 で overlayfs に変更が入っていましたのでちょっと調べてみました。 Overlayfs についてはこちらをどうぞ (ちょっと古い記事なのでカーネルにマージされる前の仕様も説明しています)。 Linuxで学ぶコンテナ入門 第18回 Linuxカーネルのコンテナ機能［7］ー overlayfs (gihyo.jp) それとコンテナ勉強会のこの発表資料 ちょっとOverlayfsの実装、読んでみました (@akachochinさん) カーネルの変更と準備 4.10の関連するコミットは以下。 ovl: redirect on rename-dir ovl: allow redirect_dir to default to “on” ovl: allow setting max size of redirect ovl: show redi

いまどきのツンデレSSDにデレてもらうためにはどうすれば良いかを解説します これは2018年9月22日に行われた カーネル/VM探検隊@関西 9回目 での発表資料です サンプルコード: https://github.com/Fadis/spdk_sample

メモリのように書けて永続化される次世代ストレージデバイスNVDIMMの扱い方を解説します これは2019年10月19日に行われる予定だった カーネル／VM探検隊＠北陸 5回目(台風の影響で中止) での発表資料です サンプルコード: https://github.com/Fadis/kernelvm…

2. 内容 •  Linux ブロックレイヤ俯瞰 –  IO スケジューラ –  デバイスドライバインターフェース –  IO インターフェース •  ⾼高度度な機能 –  md, dm, DRBD, 他 •  最近の話題 2 4. IO スケジューラ •  IO リクエストを並べ変える •  種類(kernel 3.13) –  noop –  cfq (プロセスに対して公平) –  deadline (レイテンシ重視) •  ⽣生 HDD に対しては効果が⼤大きい •  むしろ邪魔になることもある 4 5. ブロックデバイスドライバのインターフェース •  bio interface –  全て⾃自分で⾯面倒を⾒見見なければならない •  reqeust-queue (single) interface –  IOスケジューラの恩恵を受けられる –  システムで  1  つしかキューが