「OpenCL」を含む日記

■DeepLearningモデル変換ツール全部盛り巨大Docker環境の構築

DeepLearningモデル変換ツール全部盛り巨大Docker環境の構築

Introduction

めんどくさい。この世のすべての環境構築がめんどくさい。依存関係破壊祭りでツラい。したがって、Github Actions 上でモデル変換にまつわる環境を全部取り込んで docker build して超巨大全部盛りDLモデル変換環境を構築した。足りない周辺のツールは各自追加インストール。GUI や iGPU/dGPU や ホストへ接続された USB機器 へコンテナ内からアクセスできるため実行環境としてもそのまま使える。ただし、とにかくImageがデカイ ＆ セキュリティガバガバ。GitHub Actions のコンテナビルドの容量制限に引っかかることを回避するためのトリックを仕込んである。

2. Environment

Python 3.6+

TensorFlow v2.6.0+

PyTorch v1.10.0+

TorchVision

TorchAudio

OpenVINO 2021.4.582+

TensorRT 8.2+

pycuda 2021.1

tensorflowjs

coremltools

onnx

onnxruntime

onnx_graphsurgeon

onnx-simplifier

onnxconverter-common

onnx-tensorrt

onnx2json

json2onnx

tf2onnx

torch2trt

onnx-tf

tensorflow-datasets

tf_slim

edgetpu_compiler

tflite2tensorflow

openvino2tensorflow

gdown

pandas

matplotlib

Intel-Media-SDK

Intel iHD GPU (iGPU) support

OpenCL

Docker

CUDA 11.4

https://www.imdb.com/de/list/ls599665763/

https://www.imdb.com/de/list/ls599665763/copy/

https://www.imdb.com/pt/list/ls599665659/

Permalink | 記事への反応(0) | 17:31

ツイートシェア

■アップル肝入りのopenCLってどうなったのさ

nVIDIAの独占を許さないんじゃないかったのか

Permalink | 記事への反応(1) | 09:44

ツイートシェア

■OpenAI、周りに比べたら全然Openではない印象を受ける

OpenGLとかOpenCLとかのOSSと違って個人であれこれできる口がなく、

「うちのGPTなんちゃらを使いたいなら金払ってAPI叩きな！」

っていうのは守銭奴感あるよね。

もちろん学習したリソースやコストを回収する名目はわかるけど、

それも個人で勝手にやれるようにすればこっち持ちだからなぁ。

Permalink | 記事への反応(0) | 11:44

ツイートシェア

■ソフトウェアのフリーランチ問題、ソフト的にはもう解けないってことなのか

シングルコアの性能が上がるのは緩やかになり、マルチコアに適したソフトウェア工学が必要だ、

フリーランチは終わりだと昔言われていた。

プロセスは微細化し、チップ面積も露光装置ギリギリまで大きくしていく方向で、ハードはなんとか性能を上げてきた。

けどソフトの方はPythonでより抽象度上げて処理速度たりねーって言ってるし、

OpenMP、OpenCLは使える人は減ってる。

日本だとソフトウェア工学ってのが消えた気がしている。

どの言語を使うか、書き方については気を使っているが、困ったら高いCPU買ってこいになっている。

Permalink | 記事への反応(1) | 14:40

ツイートシェア

■anond:20210831192636

自己レスだがこのあたりか

GPGPUアプリケーション開発の環境およびAPIとしては、ハードウェア内部構造自体が汎用性を増したDirectX 10世代の統合型シェーダーアーキテクチャGPUの登場以降、NVIDIAによるGPGPU専用の統合開発環境「CUDA」や、AMDによるGPGPU基盤「AMD Stream」（旧称ATI Stream）、そしてクロノス・グループによる標準規格「OpenCL」が現われ、GPGPU活用の幅が広がりつつある。 https://ja.wikipedia.org/wiki/%E3%82%AF%E3%83%AD%E3%83%8E%E3%82%B9%E3%83%BB%E3%82%B0%E3%83%AB%E3%83%BC%E3%83%97

Permalink | 記事への反応(0) | 19:28

ツイートシェア

■

ナンカモーOPENCLイヤポヨ～～～～～

ナニしてもCL_OUT_OF_RESOURCESなのどうにかして欲しい～～～～

Permalink | 記事への反応(0) | 00:10

ツイートシェア

■

OpenCLの本2冊AMAZONで注文したけどなんかこの辺かなーといじいじしてたら動くようになったわ

Permalink | 記事への反応(0) | 23:38

ツイートシェア

■

OpenCLの変数って__global宣言してないやつはスレッド毎にメモリ用意されてスレッド間でデータレースは起きないってことでいいの？

Permalink | 記事への反応(0) | 00:21

ツイートシェア

■

OpenCLの変数ってglobal宣言してないやつはスレッド毎にメモリ用意されてスレッド間でデータレースは起きないってことでいいの？

Permalink | 記事への反応(0) | 23:14

ツイートシェア

■anond:20200801132715

OpenCLやOpenGLでもなんでもいい大差ない　せんすかぁ　どんなものがセンスあるんだろうな

がんばれば誰にでもできるだいたい

Permalink | 記事への反応(0) | 13:29

ツイートシェア

■

CUDAを１ヶ月で走り抜けて　OpenCLに走り込むおれのみになれ、やすみあるわけねーだろ

Permalink | 記事への反応(0) | 14:40

ツイートシェア

■anond:20200709090443

P2 instances, designed for general-purpose GPU compute applications using CUDA and OpenCL, are ideally suited for machine learning, high performance databases,

Powerful, Scalable GPU instances for high-performance computing

Permalink | 記事への反応(0) | 09:31

ツイートシェア

■

OPENCL習ったけどGPGPUレベルがヘボすぎてCPUでやるより4倍くらい遅い。。。

これはゲームみたいにスキルレベルを上げれば同量のコードで速くなるのか

それともレベルを上げても倍くらいコードを追加しないと速くならないのか。。。

Permalink | 記事への反応(1) | 16:41

ツイートシェア

■

OpenCLが良く分からないんだけど普通のコンパイラの最適化みたいにループを展開できるところは展開して並列処理してくれるって理解でいいのかな？

Permalink | 記事への反応(1) | 23:46

ツイートシェア

■anond:20191109195816

テメェは、デザイナーになりてぇのか！デザイナーになりてぇなら芸大にいけや、おら！

Webデザイナー？ゲームデザイナー？いいだろう！だが、それ以外の道なら殆ど論外だ！

GPUを使ったゲーム作りてぇなら！unityかUE4でも触ってろ！機械学習してぇなら！OpenCLでも触ってろ！

Permalink | 記事への反応(0) | 20:07

ツイートシェア

■anond:20181117114626

• ハードウェア依存
• プロプライエタリである
• スタイラス要らないとか言ってなかったか？
• 通知センター・コントロールセンター・ウィジェットってオイオイ(笑)
• マウスが動かない
• Lightning端子(やめそうなんだっけ？)
• PCと接続してもストレージディスクとして認識されない(iTunes必須)
• iCloudのコスパの悪さ
• VP9コーデック非サポート
• AV1コーデックに乗り気でない
• SoC A12X BionicのGPUが素数7コアという頭のおかしさ
• 柔軟性があまりにも無いサンドボックス構造
• OpenGLおよびOpenCLが非推奨
• macOSがないとアプリ開発公開が完結できない(Xcode重すぎ)
• UNIXのクセに仮想ターミナルが使えない
• ていうかUNIXって名乗るな
• AirPower(笑)

Permalink | 記事への反応(0) | 03:20

ツイートシェア

■

OpenCL/GLってなんだよ！もっとわかりやすく書けよ！

Permalink | 記事への反応(1) | 10:05

ツイートシェア

■anond:20180616095014

不利かどうかは娘が決めるというのは一部理解できなくもないから一部分は謝罪したい

しかしWWDCのOpenCL/GL非推奨発表はどれだけ冷静に客観視しても思い切り過ぎてる発表ですよ

現状Metalを活用した研究・活用はOpenCL/GLと比較して乏しすぎるのは事実で、情報量・活用事例的に不利なんですよ

何処のDeveloper系・研究系の記事を見てもOpenCL/GLばかりだ

だからユーザでしかない娘に様子見を薦めるのは誤ったアドバイスではないと俺は思ってます

何度も言いますが俺がするのは「ちょっと待て」と様子見を薦めることです

Permalink | 記事への反応(0) | 09:57

ツイートシェア

■anond:20180616092907

いやいやこれは個人的なOSSバンザイ思想じゃなくて娘のためを思っていってる

OpenCL/GLの非推奨は主にグラフィックス系へ影響がデカ過ぎるんですよ

グラフィックス系ツール業界がMetalにそっぽ向くとMacでグラフィックスやってる人は損する

だからMetalの動向は注視しとかなきゃいけない

Permalink | 記事への反応(3) | 09:33

ツイートシェア

■anond:20180616091850

Macなぁ・・・

娘がどうしてもって言えば検討しますけど、OpenCL/GLとMetalの動向でちょっと待てって言うかも知れないです

Permalink | 記事への反応(0) | 09:27

ツイートシェア

■anond:20180614105625

.NETというかWindows系のAPIばかり使うならって感じだね

ゲームでOpenCL/GLを深堀していくと実験環境がLinuxみたいになったりしてるよね

Permalink | 記事への反応(2) | 11:00

ツイートシェア

■

TensorFlow、OpenCLにも対応してくれりゃいいのにな。

そうすれば喜ぶMacユーザも多いだろうに。

Google「OpenCL対応したぞ」

Mac民「うおおおおお！」

Google「OpenCL2.x必須だがな！！！！」

Mac民「」

という鬼畜展開でもいいぞいやよくない。

（この展開で鬼畜なのはGoogleじゃなくてアップルだ、という認識を持つのが正しいMacユーザな）

Permalink | 記事への反応(0) | 11:13

ツイートシェア

■http://anond.hatelabo.jp/20131023222558

unity3Dに勝てるものなど知らんが、ミクミクダンス。通称MMDが有名なんじゃね？

見てきたけどunity3DはPhysXも使ってるしほぼ死角がない。個別論として特定用途ならそれぞれ別なソフトがあるかもしれんが今のところ選択肢は聞かないなぁ。なんかある？

ググって出てくるのは　Havok とかぐらいか

OpenCLとかPhysXとかあたりには興味があるが、そこまでいくとレイヤーが高すぎてわからん。すまん。

Permalink | 記事への反応(0) | 09:40

ツイートシェア

■

http://d.hatena.ne.jp/faith_and_brave/20100220/1266673222

C++0x 読んだが　ダメっぽいな。

まず第一にエンタープライズでの開発が考慮されていない。エンタープライズの開発だと１００人２００人　マスタークラスから　ジュニアーまで様々なレベルの開発者が携わる。

その中で重要になってくるのは可読性。

はっきり言って、歴史的な可読性を犠牲にして効率が上がるならともかく、気持ちの問題程度の効率では意味がない。

第２に

スレッドとファイバーの違いぐらいわかれ、わざわざスレッド起こしたらコンテキストスイッチにどれだけコスト食うんだよ。

関数コールするとレジスタとかが、スタックにPUSHされるんだよってわからん奴が、IF書くなと同じで、スレッドってコンテキストスイッチの塊なんだよってのがわかんないのに下手にスレッド書かせるな。

３にラムダ式・・・いらん・・・必要なのは曲芸じゃない、可読性。可読性を犠牲にして早くなるならともかく・・・

４にforeachではlastを変数に取るな。途中でReallocしたり、eraseしたりしたときに余計なバグを生んで面倒だ。レビューの時も邪魔。速度？速度が必要な背景でSTLのVector使うな。配列使うかポインタ使え。

なんつーか、トータルで見て、次はC++と各種OpenCLとかGLとかのライブラリの集合だな。C++0xはまともに使う人もいなさそう。正規表現とかもライブラリ使えば良いし、そもそもC系列ならBisonとかLRとかだろうと。C系列の使い手ならBNFを使え。正規表現使いたければそれこそ、Perl使え。

Permalink | 記事への反応(3) | 03:30

ツイートシェア

■OpenCL

OpenCLのサンプル回してみた　ちなみに１０２４ｘ１０２４の行列と１０２４ｘ１０２４の行列のかけ算　と　フルHD画像のDCT演算

Core2Duo のミドルエンドで計算した方が　ローエンドGPUでOpenCLするよりどっちも２－３割高速だったｗｗｗ。

でもローエンドGPUとハイエンドGPUでは９倍性能差があるっぽい。ということは、

Y=X*0.7*9

GPU Y=36ｘ　CPU　ぐらいな感じか・・・あとはメモリがDDR3とGDDR5でどれだけ差が出るかだなぁ。

GPGPU速いなぁ。

ハイエンド機かっちゃおうかなぁ・・・。とりあえず、もすこし、ベンチとってみてまとめよう。

Permalink | 記事への反応(0) | 00:51

ツイートシェア