TPUを使った場合は精度がかなり落ちていますが、これは精度向上に寄与していたLearningRateScheduler（keras.callbacks）がTPUでは機能していないためです。Callback内で学習率変化させても効果がなかったので、TensorFlowの低レベルAPIでどうにかするか、バグ直されるまで待つしかなかと思います。TPU（上）とGPU（下）のエラーの推移です。どちらもKerasの例です。 リアルなデータで学習率調整することはあまりないのですが、CIFARの場合は学習率調整が重要なのでここだけは注意が必要です。 ちなみに速度はむちゃくちゃ速いです。GPUでは層を深くすればするほど遅くなっている自然な結果となっているのに対し、TPUではほぼ定数時間で処理できています。おそらく層が浅い場合は、TPUでは何か別の要素がボトルネックとなっていて、本体の計算性能が出せていないと

2019/5/11 PR: こちらの内容を含め、2019年5月11日発刊の 図解速習DEEP LEARNINGという本ができました。[2019年5月版] 機械学習・深層学習を学び、トレンドを追うためのリンク150選 - Qiitaでも、一部内容をご覧いただけます 2019/3/9 Colaboratoryに関する情報交換Slackを試験的に立ち上げました。リンクより、登録・ご参加ください。 2019/3/3 TensorBoardに公式対応しました。また、ランタイムのRAM/ディスク空き容量が一目で確認できるようになりました。後ほど記事に追記します。 はじめに Colaboratoryは、無料で使うことができ、ほとんどの主要ブラウザで動作する、設定不要のJupyterノートブック環境です。Googleが、機械学習の教育、研究用に使われることを目的に、無償提供しています。ざっくりというなら、

ここでは、NVIDIAの新しいGPUアーキテクチャである「Turing」について解説する。同アーキテクチャは、2018年8月に発表されたQuadro RTX 8000および、GeForce RTX 2080、2080 Ti、2070に採用されている。 Turingアーキテクチャ最大の特徴は、レイトレーシング用のRTコアを内蔵し、ハードウェアによるレイトレーシングが可能になること。NVIDIAの説明によれば、最大10億レイ／秒の速度でレイトレーシングが行えるという。 また、新アーキテクチャとしてNVIDIA GPUが内蔵するStreaming Multi-processor（以下、SM）も改良されている。Voltaアーキテクチャで搭載された行列演算を行うTensorコアも内蔵されており、さらに、整数演算と単精度浮動小数点（Single Precision floating point num

新設する「IBM System x CAD on VDI検証センター」を利用することで、最新のハードウェア環境を用いて短時間でPOC（Proof Of Concept：概念実証）を実施できるという。 日本IBMは2014年4月22日、同社・本社内にワークステーション仮想化の導入検証を支援する「IBM System x CAD on VDI検証センター」を開設したと発表した。パートナー各社とともに、3次元CADやCG領域を中心とする仮想デスクトップ環境（VDI）ソリューションの導入検討を支援する。 設計環境の仮想化については、グローバル化における設計拠点の海外への広がりなどの他、BCPの観点やデータの盗難防止などの観点から注目が高まっている。従来はコンピューティングパワーやネットワークの問題で、設計を行うには十分な環境を構築することができなかったが、これらの性能が高まったことで、より柔軟な設

趣味でディープラーニングで遊ぶために GPU マシンを使いたい。 GPU は本当にすごくて、自分の MacBook Air で 2 時間かかるような学習が GPU を使うと 5 分足らずで終わる。CPU だけでディープラーニングするのは馬鹿馬鹿しいという気持ちになる。 しかし自宅に GPU マシンを組んだとしても四六時中計算し続けるわけでもないからもったいないし、ここはクラウドサービスを活用して安く済ませたい。1 さらに、最近では Docker コンテナ内から GPU を利用することができる NVIDIA Docker という Docker プラグインがあり、これを利用することで GPU マシンの環境を汚すことなく好きなだけ学習環境を立ち上げることができる。 今回は Amazon EC2 の GPU インスタンスと NVIDIA Docker を使って趣味用のディープラーニング環境を作った

みなさん、こんにちは。Retty CTO の樽石です。 この記事は Retty Advent Calendar 25日目です。メリークリスマス。 昨日は @ttakeoka の『MFIにむけてRettyの取り組み』でした。 今年も残りわずかになりました。いかがお過ごしですか？ Retty はこの １ 年でエンジニアがほぼ倍増しました。それによって、情報発信者が増え、Advent Calendar に参加出来るようになりました。みんな楽しそうにしていて、うれしいです。 Retty Inc. Advent Calendar 2016 - Qiita さて、今年最後の Retty Advent Calendar 記事を書くということで、はじめは １年のまとめ的内容にしようかと思いましたが、それでは平凡で面白くありません。そこで、ネタになりそうなマニアックな技術的記事で締めくくりたいと思います。

昨日こんなプレスリリースが話題になっていました。 www.sakura.ad.jp 高火力ですって。強そう。 ちょっと前にはこんなのも話題に。 ディープラーニング専用GPUサーバファーム「紅莉栖（くりす）」を構築｜ニュース｜広報情報｜株式会社ドワンゴ 現時点で世界最高性能となるMaxwell世代のCUDAコアを搭載したGPUサーバー100台程度で構成 凄い。強そう。 こういう記事を読んだ後に自分の足下で動いている機械をまじまじと眺めてみると、あまりの低火力に恥ずかしさすら覚えます。ワットチェッカーで測ってみると500Wにも満たないそうで、安物電子レンジレベル。まさに低火力。 低火力ディープラーニングのための自作ハード 企業や研究室にTitan4枚指し環境が整っているような人にとってはおもちゃみたいな環境かもしれませんが、私が使っている環境を晒しつつ、個人の趣味レベルで(プチ)ディープラーニ

富士通研究所は9月21日、ニューラルネットの学習の高精度化に向けたGPUメモリー利用効率化技術を開発したと発表した。 ディープラーニングの学習処理では大量の演算処理を必要とするため、最近ではGPU（グラフィックプロセッサー）を用いられている。GPUの高速演算性能の利用には、データをGPUの内部メモリーに格納する必要があるが、容量によってニューラルネットの規模が制限されるという問題があった。 富士通研究所では、ニューラルネットの各層の学習処理において、重みデータから中間誤差データを求める演算と、中間データから重みデータの誤差を求める演算が独立して計算できることに着目。学習開始時にニューラルネット各層の構造を解析、より大きなデータを配置しているメモリー領域を再利用できるように演算の処理順序を切り替え、メモリー使用量を削減する手法を開発した。 これにより、40％以上のメモリー使用量を削減し、GP

今回もNumbaのドキュメントを読んで行きます。 Numba — numba 0.15.1 documentation と思ったんですが、読み進めて行くと以外に紹介する内容が少ないことに気づきました。 シンプルなのは良いことなので、今回はUFuncを紹介して、 次回にGPUについて紹介して入門編は一旦終わりたいと思います。 その後に、Numbaを勉強する動機となったものを中心に応用編を話す予定です。 UFunc UFuncs — numba 0.15.1 documentation UFunc（ユニバーサル関数）とは、要するにnumpy.ndarrayに対して要素ごとに演算してくれる関数です。 例えばnumpy.logに配列を食わせると、こんな感じです。 >>> import numpy >>> hoge = numpy.arange(1, 5) >>> hoge array([1, 2,

GPU-Accelerated Computing with Python NVIDIA’s CUDA Python provides a driver and runtime API for existing toolkits and libraries to simplify GPU-based accelerated processing. Python is one of the most popular programming languages for science, engineering, data analytics, and deep learning applications. However, as an interpreted language, it’s been considered too slow for high-performance computi

2024年下半期のフィルム写真たち ふと気がつくと2024年も残り僅か。 そしてふと振り返るとこのブログに掲載する写真がGRIIIで撮ったものばかりになっていたのだけど、決してフィルムに飽きたということではなく、フィルムはフィルムで淡々と撮り続けているし、モノクロもカラーネガもいつも通り自宅で…

［GTC 2015］GPUが機械学習型AIを人間より賢くする？ NVIDIA CEOによるGTC 2015基調講演レポート ライター：西川善司 Jen-Hsun Huang氏（Co-Founder and CEO, NVIDIA）。最近，講演で氏が登壇するときは，決まって肩に鋲の入ったこのジャンパーを着ている 北米時間2015年3月17日，NVIDIA主催のGPUコンピューティング開発者会議「GPU Technology Conference 2015」（以下，GTC 2015）が米国サンノゼで開幕した。会期初日には，NVIDIAの社長兼CEOであるJen-Hsun Huang（ジェンスン・フアン）氏が登壇する基調講演が行われ，同社の最新製品や，GPGPU分野の最新動向についてが解説されている。 講演の冒頭で，Huang氏は「今日，アナウンスしたいことは4つある」と語りだした。スライドで掲

Facebookは米国時間12月10日、同社の人工知能（AI）ハードウェアをオープンソース化する計画を発表した。 FacebookのエンジニアであるKevin Lee氏とSerkan Piantino氏は10日付けのブログ投稿で、ゼロから構築されたオープンソース化対象のAIハードウェアは、市販製品よりも効率的で多用途に適用可能であることを強調した。これは、Open Compute Project（OCP）規格に基づくデータセンター内でサーバが稼働できるためだという。 「多くの高性能コンピューティングシステムは、特殊な冷却構造などの独自インフラが動作に必要となるが、われわれはこれらの新しいサーバを熱性能と電力効率の面で最適化し、われわれ独自のフリーエアー冷却を採用したOCP規格準拠のデータセンターでも稼働できるようにした」とLee氏とPiantino氏は説明した。 「Big Sur」という開

CUDA Zone CUDA® is a parallel computing platform and programming model developed by NVIDIA for general computing on graphical processing units (GPUs). With CUDA, developers are able to dramatically speed up computing applications by harnessing the power of GPUs. In GPU-accelerated applications, the sequential part of the workload runs on the CPU – which is optimized for single-threaded performance

Torch7やTheano、CaffeといったライブラリをGPU上で実行するために必要となるCUDA環境の構築について基本的な情報と、よくひっかかる点やその解決方法を示します。 注意：GPU環境構築は、環境（ハード構成等）によっては、Linuxの専門的な知識を要する場合があります。 Deep Learning研究において、GPUを利用した計算ができることはほぼ必須だと言っても過言ではありません。これは、GPUを使う場合と使わない場合では数倍から１０倍程度、計算時間に差がでるためです。大量のデータを訓練データとして利用することが多いDeep Learningの研究においてこの差は致命的になることが多いです。 GPUの計算環境といっても、いくつかの実装があります。代表的なGPGPU用のライブラリとしては、OpenCLやCUDAが挙げられます。Torch7やPylearn2、Caffeといったメ