【Pythonお悩み解決】データセットがメモリにのらないときの対処法Beginaid

【Pythonお悩み解決】データセットがメモリにのらないときの対処法Beginaid

対処法 少しトリッキーですが，datasetに渡すのは「予めバッチサイズに分割されたデータが格納されたpat...概要を表示 対処法 少しトリッキーですが，datasetに渡すのは「予めバッチサイズに分割されたデータが格納されたpath名のリスト」とします。こちらの記事（【超初心者向け】ド素人がPyTorchで自作データセットを作るまで。）でも説明しているように，普通pytorchデフォルトのdatasetを使っている場合はdatasetクラスのインスタンスを生成するために全データそのものを渡します。しかし，使用するデータが莫大な場合には，データセットを一旦全部読み込んでしまうため，メモリが大量消費されます。 この現象を回避するためには，毎回のイテレーションごとにデータセットを読み込む必要があります。そこで，pytorchにdatasetとして認識させるのは，データセットのpath名が格納されたリストだということにします。そうすれば，pytorchのdatasetとdataloaderが「どのバッチを選ぶのか」と