以下の記事が面白かったので、かるくまとめました。 ・Methods and tools for efficient training on a single GPU 1. LLMを単一GPUで効率的に学習する方法大規模モデルの学習では、次の2つを考慮する必要があります。 ・スループット・学習時間 ・モデルのパフォーマンス 「スループット」 (サンプル / 秒) を最大化すると、学習コストの削減につながります。これは通常、GPUメモリを限界まで利用することで実現されます。必要なバッチサイズがメモリオーバーする場合は、「Gradient Accumulation」などの「メモリの最適化」が必要になります。 ただし、「推奨バッチサイズ」がメモリに収まる場合は、学習が遅くなる可能性があるため、「メモリの最適化」を適用する必要はありません。どのバッチサイズが最良の結果をもたらすかを決定し、それに応じ

NaNとは 概要 NaNは、浮動小数点表記で表現できない領域の表記 (Not a Numberの略) である。IEEE754-1985で定義されている。機械学習の場合、不適切なハイパーパラメータの設定を行う場合に発生しやすい。12 演算結果が、NaNになっても演算は続けることが出来る。しかし、計算を続けたい場合は良いが、発生時に検知したい場合がある。ここでは、その検知方法について記載する。 なお、PyTorchは、torch (PythonとC++) とaten (C++) で記述されている。これは、処理の高速化を図るためである。このため、説明にC++のコードが入ってくる。 NaNの演算 NaNの演算は、以下の通りである。 NaNと別の値を演算しても、NaNのままである。 NaNの値は、通常の値とは異なり自身の値と比較するとTrueでは無くFalseとなる。 NaN検出のやり方 PyTor

本記事ではPyTorchを使ったニューラルネットワークの学習において、不要な計算グラフを削除することでできるだけメモリを節約するための方法を紹介します。 本記事を読むことで、少しでもGPUメモリの不足によるout of memoryエラーを減らしたり、よりバッチサイズを大きくしたりして学習を実施できるようになります。 目次 計算グラフ 順伝搬処理は計算グラフを構築します。 たとえば以下の線形変換を例にします。 $$\mathbf{y}=\mathbf{W}\mathbf{x} + \mathbf{b}$$ $\mathbf{W}$と$\mathbf{b}$は線形変換のパラメータで、$\mathbf{x}$は入力とします。 上記図では$\mathbf{y}$を得るために、まず$\mathbf{W}$と$\mathbf{x}$の行列積 ($*$) を計算して、その計算結果に対して$\mathb

結論 GPUに移した変数をdelした後、torch.cuda.empty_cache()を叩くと良い。 検証1:delの後torch.cuda.empty_cache()を叩きGPUのメモリを確認 Python 3.7.8 | packaged by conda-forge | (default, Jul 31 2020, 02:25:08) [GCC 7.5.0] on linux Type "help", "copyright", "credits" or "license" for more information. >>> import torch >>> torch.__version__ '1.6.0' >>> import GPUtil >>> GPUtil.showUtilization() | ID | GPU | MEM | ------------------ | 0

基礎編 / 応用編１ / 応用編２ サイバーエージェント AI Lab の Conversational Agent Teamに所属している兵頭です。今回は私が半年ほど蓄積したONNXのチューニングテクニックを全てブログに残したいと思います。皆さんが既にご存知であろう基本的なことから、かなりトリッキーなチューニングまで幅広くご紹介したいと思います。長文になりますがご容赦願います。 このブログのメインターゲット層は「リサーチャーが実装したモデルを実環境へデプロイするタスクを有する方々」です。一部リサーチャーの方々の参考になる情報が混じっていることもあるかもしれませんが、あまり興味を引かない内容だとは思います。リサーチャーメインの組織に属しながらリサーチエンジニアの立ち位置で身を投じていますので、研究の観点の少し手前あるいは少しその先の部分を担っている立場からこのブログを記載しているものとご認

iris = load_iris() data = pd.DataFrame(iris.data, columns=iris.feature_names) y = iris.target y = np.identity(3, dtype=np.int64)[y] X_train, X_test, y_train, y_test = train_test_split(data.values, y, train_size=0.67, shuffle=True) print(f"X_train: {X_train.shape}, X_test: {X_test.shape}, y_train: {y_train.shape}, y_test: {y_test.shape}") X_train = torch.from_numpy(X_train).float() y_train = torch.

import torch model = torch.hub.load('rwightman/pytorch-image-models:master', 'resnet18', pretrained=True) print(model) Using cache found in /root/.cache/torch/hub/rwightman_pytorch-image-models_master ResNet( (conv1): Conv2d(3, 64, kernel_size=(7, 7), stride=(2, 2), padding=(3, 3), bias=False) (bn1): BatchNorm2d(64, eps=1e-05, momentum=0.1, affine=True, track_running_stats=True) (act1): ReLU(inpla

何をするか pytorchの行列積演算関数のインプット・アウトプットを確認する。 torch.dotとtorch.mmとtorch.mvとtorch.bmmとtorch.matmulを比較する。 注意：返り値を保存する引数outについては、無視します。 まとめ：dot,mm,mv,bmmは特定の次元専用、matmulはいろいろな次元を計算してくれる。 ※documentationのバージョンアップに伴いリンク修正（2020.08.17） ※torch.bmmが遅い件について更新（2020.08.17） documentation一覧 dot mm mv bmm matmul 前提 0次元の値をスカラー（scalar） 1次元の値をベクトル（vector） 2次元の値を行列（matrix） 3次元以上の値をテンソル(tensor) とします。 >>> # scalar >>> a = np.

Pytorchの「.detach()」と「with no_grad():」と「.requires_grad = False」の違いが計算グラフにどう影響を与える？PythonDeepLearningPyTorch計算グラフ勾配 内容 pytorchで勾配計算をしない方法には tensorの.detach()を使って計算グラフを切る GANのサンプルコードでよく見かける with文を使ってtorch.no_grad()で囲んで計算グラフを作らない eval時によく使う tensorの.requires_gradをFalseにセットして勾配計算をしない fine-tuingするときによく使う という方法がありますが，どのように違うのかが少しややこしかったので整理してみました． notebookはGistにあります． 対象 ここでは以下のような，単純に積和を繰り返しただけの計算を考えます．

2019/9/29 投稿 2019/11/8 やや見やすく編集(主観) 2020/2/1 SGDの解説Link追加 2020/4/22 パラメータを途中で書き換える方法を追加した 0. この記事の対象者 pythonを触ったことがあり,実行環境が整っている人 pyTorchをある程度触ったことがある人 pyTorchによる機械学習でNetworkのパラメータを閲覧,書き換えしたい人 pyTorchによる機械学習でNetworkのパラメータを途中で書き換えたい人 1. はじめに 昨今では機械学習に対してpython言語による研究が主である.なぜならpythonにはデータ分析や計算を高速で行うためのライブラリ(moduleと呼ばれる)がたくさん存在するからだ. その中でも今回はpyTorchと呼ばれるmoduleを使用し,Networkからパラメータの操作周りのことを閲覧,最初の書き換え,途中

アップサンプリングなどで使われるConvTransposeについて，イマイチ理解できていなかったように思えるので可視化した． Convolutionといえば，conv_arithmeticのGIFが分かりやすいが，ConvTransposeに関しては，通常のConvolutionのように見え，strideやpaddingが通常のConv時とどう違うのか分かりにくいように感じたので，How PyTorch Transposed Convs1D Workを参考に書いてみた． 可視化 これがその図である．Convを逆順にたどるとConvTranposeになっているのがわかると思う． ConvTranpose時のpaddingがやや分かりにくいかもしれないが，どんだけはみ出して始めるか？（はみ出た分は後で捨てる），という考えで見ると分かりやすいかもしれない． 単純化のためバッチサイズ及びチャンネル

こんにちは！私はファンヨンテと申します！JX通信社で機械学習エンジニアを行っております！ 私はPyTorch Lightningを初めて使ったときの便利さに感動した以来、PyTorch Lightningのヘビーユーザーです！ この解説記事ベビーユーザーの私が皆様にPyTorch Lightningを知っていただき、利用のきっかけになってほしいと思って公開しています！ 今回の解説記事のサンプルコードはこちらにあります。ぜひ、実際のコードを手にとって体験しPyTorch Lightningの素晴らしさに触れてみてください！ この記事内容は１３回のMLOps勉強会で発表しました！ speakerdeck.com 読者の対象 PyTorch Vs PyTorch Lightning PyTorch について PyTorch Lightningについて JX通信社でPyTorch Lightnin

何か自分が好きなことや興味を持つことが見つかったら、あるリンクや画像などをクリックし、詳細情報や商品ページなどに遷移します。そこで、ものを買ったりや記事を読んだりをすることです。そのようにインターネットのビジネスが生み出しました。 ユーザーがどんな興味を持つか、どんな関心を持つかをできるだけ想定し、それに合う情報や商品などを見せることが重要です。ユーザの興味と合う情報を提供すると、ユーザがクリックする確率が高くなります。一方、ユーザの興味が合わない情報を提供すると、クリック確率が低くなり、更にユーザにとっては｀うざい｀という印象になりました。