気に入った記事をブックマーク
- 気に入った記事を保存できます
保存した記事の一覧は、はてなブックマークで確認・編集ができます
- 記事を読んだ感想やメモを書き残せます
- 非公開でブックマークすることもできます
PyTorchのSeq2Seqをミニバッチ化するときに気をつけたこと - 人工知能とか犬とか
7 users
takoroy-ai.hatenadiary.jp
takoroy-ai.hatenadiary.jp
takoroy-ai.hatenadiary.jp
注目コメント算出アルゴリズムの一部にLINEヤフー株式会社の「建設的コメント順位付けモデルAPI」を使用しています
概要 PyTorchチュートリアルに、英仏の機械翻訳モデルを作成するTranslation with a Sequence to Sequen... 概要 PyTorchチュートリアルに、英仏の機械翻訳モデルを作成するTranslation with a Sequence to Sequence Network and Attentionがあります。 このチュートリアルは、教師データを一つずつ与える形になっており、結構遅いのです。 なので、バッチでの学習ができるように修正を試みたところ、注意ポイントがいくつかあったのでまとめておきます。 RNNのバッチ学習の実装 RNNでバッチ学習を行う際に問題となるのが、入力されるデータ系列の長さがバッチ内で異なることです。 この問題には一般的に、バッチ内での長さを揃えるためのパディングと、パディングした部分が学習の邪魔にならないようにするマスキングを実装して対処する必要があります。 実装自体は割と簡単にできますが、きちんと実装しないと学習が全然進まなかったりするので注意が必要です。 パディング パデ
takoroy-ai.hatenadiary.jp
takoroy-ai.hatenadiary.jp
takoroy-ai.hatenadiary.jp
travel.watch.impress.co.jp
bunkaonline.jp
natalie.mu
nikkan-spa.jp
techracho.bpsinc.jp
business.nikkei.com
zenn.dev/mizchi
zenn.dev/cloud_ace
japan.zdnet.com
www.makeuseof.com
tattoy.sh
b.hatena.ne.jp
www.yomiuri.co.jp
developers.freee.co.jp
developers.freee.co.jp
engineers.ntt.com
engineers.ntt.com
2024/04/28 リンク