気に入った記事をブックマーク
- 気に入った記事を保存できます
保存した記事の一覧は、はてなブックマークで確認・編集ができます
- 記事を読んだ感想やメモを書き残せます
- 非公開でブックマークすることもできます
AWS Batchで速く/安くやるデータセットの前処理 - Qiita
34 users
qiita.com/derui@github
qiita.com/derui@github
qiita.com/derui@github
注目コメント算出アルゴリズムの一部にLINEヤフー株式会社の「建設的コメント順位付けモデルAPI」を使用しています
OpenStreamアドベントカレンダーの一日目です。 結構前からやっている趣味DeepLearningですが、最近（実... OpenStreamアドベントカレンダーの一日目です。 結構前からやっている趣味DeepLearningですが、最近（実際は結構前から）次のような問題に当たり始めました。 データセットが大きくなってきてHDDが厳しい データセットが大きくなってきて前処理がやばい 小さいデータセット＋Augmentationでなんとかなるものはいいんですが、現在最大のデータセットは 画像33万枚、220GB弱 あります。 んで、これを前処理したり何だりしていると、最終的に学習で利用するデータを作成するだけで、HDDが500GBくらい利用されてしまう状態です。 容量も当然厳しいんですが、一番厳しいのは処理時間です。現状の前処理を行うと、大体 12時間くらい かかります。趣味でやるので基本的に自分のPCでやっていると、HDDが悲鳴を上げる上に、実行している間はレイテンシが悪すぎて他の作業もできないって状態になっ
qiita.com/derui@github
qiita.com/derui@github
qiita.com/derui@github
qiita.com/derui@github
projectitoh.hatenadiary.org
arigatosan.com
president.jp
laiso.hatenablog.com
pc.watch.impress.co.jp
togetter.com
lichtung.hatenablog.com
pc.watch.impress.co.jp
acro-engineer.hatenablog.com
forest.watch.impress.co.jp
togetter.com
sportiva.shueisha.co.jp
blogos.com
ameblo.jp/arai-elina
2018/08/15 リンク