イギリスのスタートアップ「Spectral Compute」社がCUDAのプログラムを全く変更することなくAMD製GPUで実行できるようにコンパイルするツールキット「SCALE」を開発したと発表しました。 SCALE GPGPU Programming Language https://scale-lang.com/ Announcing the SCALE BETA https://scale-lang.com/posts/2024-07-12-release-announcement Spectral ComputeのCEOであるマイケル・ソンダーガード氏は「一度コードを記述すればあらゆるハードウェアプラットフォームでビルド・実行できるべき」「CPUでは長年実現されてきたのに、なぜGPUでは実現できないのか？」とSCALEの開発に至った経緯を説明。 SCALEはNVIDIAのCUDAツ

NVIDIAでは比較的古い世代のグラフィックカードからビデオエンコード機能であるNVEncを搭載していますが、このNVEncについてコンシューマー向けGPUでは制限されていた同時エンコード数などが緩和される事が明らかになったようです。 コンシューマー向けグラフィックスカード搭載のNVEncで一部機能制限が緩和。同時エンコード数が最大5ストリームに増加 NVIDIAではGeForce GTX 900シリーズからグラフィックカードを活用してエンコードを行うNVEnc機能を搭載していますが、このNVEncについてはコンシューマー向けのGeForceシリーズではエンタープライズ向けのQuadroやRTXシリーズに対して機能制限が設けられていましたが、NVIDIAではこの機能制限について一部を緩和した事が明らかになったようです。 NVIDIAが公開しているVideo Encode and Decod

Say What? Chat With RTX Brings Custom Chatbot to NVIDIA RTX AI PCs Chatbots are used by millions of people around the world every day, powered by NVIDIA GPU-based cloud servers. Now, these groundbreaking tools are coming to Windows PCs powered by NVIDIA RTX for local, fast, custom generative AI. Chat with RTX, now free to download, is a tech demo that lets users personalize a chatbot with their ow

米Tesla（テスラ）は2021年8月19日（米国時間）、プライベートイベント「AI Day」を開催し、AI（人工知能）技術のトレーニング（学習）に用いる独自プロセッサー「D1」を発表した。自社スーパーコンピューター「Dojo」に利用する予定だ。自動運転機能に向けたDNN（Deep Neural Network）のトレーニング（学習）などに利用する。D1を3000個利用すれば、演算処理性能が1.1E（エクサ）FLOPSのクラスターを実現できるという。

"Locality is efficiency, Efficiency is power, Power is performance, Performance is King", Bill Dally マルチスレッディングとは？ CPUとGPUのマルチスレッディングの違いをブログにまとめていたけど例によって誰も興味なさそう— arutema47 (@arutema47) 2021年8月16日 つぶやいたら読みたい方が多そうだったので完成させました。 マルチスレッディングとはメモリ遅延を隠蔽しスループットを上げるハードウェアのテクニックです。 ただCPUとGPUで使われ方がかなり異なるため、その違いについて考えてみる記事です。 （SIMDについて並列プログラミングの観点から触れるべきでしたが、時間無いマルチスレッディングに注目するため初版では省きました。） 本記事について 本記事はCPUとG

NVIDIAが開発している対話型AIシステムが「Jarvis」(ジャービス)だ。以前から開発についてはアナウンスされていたが、ついに正式にリリースされた。しかも日本語対応で。 「GTC 2021」のオンライン基調講演でNVIDIAのCEO、ジェンスン フアン氏(Jensen Huang)がこのニュースを紹介するとともに、聞き取り、発話、翻訳などのデモを行った。「Jarvis」はHuang氏が話した言葉を瞬時にテキスト化し、更にはHuang氏が話した英語を日本語にリアルタイム翻訳して見せた。 対話型AIフレームワーク「NVIDIA Jarvis」 NVIDIAは現地時間の4月12日、「NVIDIA Jarvis フレームワーク」の提供を開始したことを発表した。これは最先端のAIトレーニング済みディープラーニング モデルとソフトウェア ツールを活用して、さまざまな業界と分野向けに、対話型AIサ

NVIDIAはこのほど、2月下旬に発売されるミドルレンジGPUのGeForce RTX 3060でのマイニング機能制限について同社ブログで言及を行った。 今回の発表によると、RTX 3060用ドライバではイーサリアム仮想通貨マイニングのアルゴリズム固有の属性を検知してハッシュレートの制限が行われ、仮想通貨のマイニング効率を約50％低減させる仕組みになっているという。 またこれに合わせ、マイニング向け製品ラインとなる「NVIDIA CMP（Cryptocurrency Mining Processor）」の発表も行われている。グラフィックス処理機能を搭載しない製品で、マイニング効率に最適化が行われているのが特徴だ。 関連記事 NVIDIA、ミドルレンジGPU「GeForce RTX 3060」の発売を告知　製品は2月下旬予定 NVIDIAが、ミドルレンジGPU「GeForce RTX 306

一週間ほど前から，NVIDIAがGeForceのデータセンタ利用を制限した話がネットを賑わしはじめた．おもしろいことになってるなと感じたので，私の経験と，それに照らし合わせて今回の騒動に感じた事を語りたくなった．記憶も記録も曖昧であるため，年寄りの昔話程度に読んでもらいたい． ここでいうおもしろいとは，滑稽という意味ではなく，興味深いという意味合いである．この件で色々な対応を迫られている方々を蔑む意図は微塵もないことはご理解いただきたい． 今回の騒動に抱いた感想俗っぽい言い方をすると「恋人がこちらをフって乗り換えた相手が意外に曲者で，元恋人が困っているのを眺める気持ち」だろうか．そのような経験をしたことはないし，恋人というほどNVIDIA社に固執しているわけでもないが． 事の発端NVIDIAが規約変更によりGeForceのデータセンター利用を制限。大学などの研究活動にも大ブレーキ これが最

お客さま各位 さくらインターネット株式会社 平素よりさくらインターネットに格別のご愛顧を賜り、誠にありがとうございます。 2017年11月30日に、NVIDIA Corporationのドライバソフトウェアの使用に関するライセ ンス条件が改訂され、最新のGeForce用のドライバソフトウェアのライセンス条件に、 「データセンターへの導入の禁止」の条項が追加されました。 詳細は、下記URLより第2.1.3条をご参照ください。 ・日本語: http://www.nvidia.co.jp/content/DriverDownload-March2009/licence.php?lang=jp&type=geforcem ・英語: http://www.nvidia.com/content/DriverDownload-March2009/licence.php?lang=us&type=gefo

経緯 友人のPC購入のアドバイスをしていてふと「純粋にTFLOPSと価格だけで比較した場合、どのGPUが一番コスパがいいんだろう？」と疑問に思ったので簡単に調べてみた。 radeonはcuda使えないから論外。GTX900以下、TITAN等は一般的ではないため除外してある。 2017/03/13 gtx1080tiを追加し、価格・結果を更新。 結果は大して変わらず。 ただし、Resnet等のGPUメモリを大量消費するモデルがどんどん出てきていることを考えると、コスパが多少悪くなってもGTX1080ti程度のものが必須になってきているような気もする。 GPU/価格対比表 GPUの型番、TFLOPS、メモリ量、価格、最後に１TFLOPSあたりの単価としてまとめた。 見方はシンプル、円/TFLOPSが一番低いGPUが最高コスパのGPUとなる。 GPU TFLOPS（FP32） メモリ 価格(20

3行で表すと ESXi仮想マシンに、GPUとUSB拡張カードをパススルーして 普通のPCとほぼ変わらない使い勝手の仮想マシンを立ち上げた。 参考にしたサイトのほうが詳しいのでそちらを見るべき（末尾） レシピ VMware ESXi Hypervisor 6.0U2 (無料。 6.5は別のトラブルがありNG6.5でも可) Radeon HD 7750 (別にこれでなくてもよいが、たぶん、77x0かリネーム品のR7 2x0が良い） USB 3.0拡張カード（これがないと事実上使い物にならない） 1は無料でダウンロード可能なので省略。 2は、これ以降のRadeonには初期化周りのバグがあり、運用に工夫が必要らしい。 GeForceはドライバが仮想マシン上で動いてると判断すると止まる（回避方法あり） ＃普通に ESXi GPU パススルーでぐぐると書いてくれている人がいるので省略 3は、仮想マシン

Ryzen ThreadripperでESXiを構築する Ryzen Threadripperが出てスレッド数の暴力・メモリ大容量でせっかくなのでESXiを構築し、GPUパススルーで普段のパワー用メインマシンとTV録画用のマシンを別々に立てようかと思いました。 2017/09/28時点 GPUパススルーできました。 GTX1080とRadeion6450のどちらもできました。 揃えたパーツ CPU：AMD Ryzen Threadripper 1920X マザボ：MSI X399 GAMING PRO CARBON AC (BIOS:7B09v15) メモリ：Crucial DDR4-PC4-19200 16GB×４枚（64GB） PCI：EVGA 1080 GTX （メインVGA） PCI：玄人志向　Radeon HD 6450（ESXi用VGA） PCI：Intel Ethernet

以前、このブログで Keras/TensorFlow の学習スピードを GPU を使って速くする記事を書いた。 ただし、このとき使った OS は Mac OS X (macOS Sierra) だった。 blog.amedama.jp とはいえ NVIDIA の dGPU を積んだ Mac がどれだけあるんだというと、正直なかなか無いと思う。 実際にやってみるとしたら Linux だよねということで、今回は Ubuntu 16.04 LTS を使う場合について書く。 インストールの手順については次の公式ドキュメントをベースに進める。 Installing TensorFlow on Ubuntu  |  TensorFlow 環境について 今回使った OS のバージョンなどは次の通り。 $ cat /etc/lsb-release DISTRIB_ID=Ubuntu DISTRIB_REL

お久しぶりです、@mktozkです。 2ヶ月くらいブログの更新をしてませんでした。 おちこんだりもしたけれど、私はげんきです。 さて、今日はディープラーニングのフレームワークであるChainerに含まれているCupyというライブラリについて話します。 ChainerはCupyを使って様々な計算をGPU (CUDA) で行っています。 今回はこのCupyを使って楽に色んな計算をGPUに投げることを目指します。 ディープラーニングの話は全くしません。 chainer.org この記事を読んだらわかること Cupyの使い方 CupyとNumpyの両方に対応したコードの簡単な書き方 この記事には書いてないこと CUDAカーネルの書き方と使い方 この記事で使用したコードはここかここから取得できます。 ちなみに、Chainerはv1.5.1です。 GPUは速い Cupyとは Cupyの導入 Cupyの

CuPyの簡単な解説を行います。NumPyと比較してCuPyによりどのくらい早くなるかや、利用上の注意点（メモリプール）について説明します。 ElementwiseKenrnel, ReductionKernelの使い方も解説します。 CuPyの実装のすごーくざっくーりした全体概要にも触れます。Read less

NumPy/SciPy-compatible Array Library for GPU-accelerated Computing with Python High performance with GPU CuPy is an open-source array library for GPU-accelerated computing with Python. CuPy utilizes CUDA Toolkit libraries including cuBLAS, cuRAND, cuSOLVER, cuSPARSE, cuFFT, cuDNN and NCCL to make full use of the GPU architecture. The figure shows CuPy speedup over NumPy. Most operations perform we

GPU-accelerated video processing integrated into the most popular open-source multimedia tools. FFmpeg is one of the most popular open-source multimedia manipulation tools with a library of plugins that can be applied to various parts of the audio and video processing pipelines and have achieved wide adoption across the world. Video encoding, decoding and transcoding are some of the most popular a