はてなブックマーク

1. Transformer とは [概要] Transformer とはアテンションを主要部品として用いた，深層学習むけの(トークン)系列変換モデルである．従来の系列変換モデルの定番であった「seq2seq with attention」の改善案として，Transformerは最初は機械翻訳むけに提案された．マルチヘッドアテンションを採用したことによる「計算効率性」と「高性能性・スケール性」から，seq2seq with attentionの後継の系列変換モデルとして，Transformerは各モーダル分野に広く普及した． この記事では，機械翻訳むけのTransformer [Vaswani et al., 2017] にフォーカスして，図も豊富に使いながら解説していく(1.1節)．各層・ブロック(2節)と全体構造(3節)を順に紹介していく．記事を読了後には，Transformerの「系

1. マルチヘッドアテンション (Multi-head Attention) とは [概要] マルチヘッドアテンション (Multi-head Attention) とは，Transformerで提案された，複数のアテンションヘッドを並列実行して，系列中の各トークン表現の変換を行うブロック部品である [Vaswani et al., 2017]．端的に言うと「並列型アテンション」である． この記事では，Transformerの主部品としての「マルチヘッドアテンション」について，処理の詳細や利点についてみていく(2節)．旧来の系列対系列変換でも用いられていた「ソース・ターゲット系列間の相互アテンション」の役割も引き続きTransformerで担当するが，それに加えて，自己アテンションとしての役割もTransformerで担当する点が，特に重要である(3節)． 親記事：Transformer:

1. 残差接続 (residual connection)とは [概要] 残差接続 (residual connection)とは，CNNの1種である ResNet [He et al., 2016a], [He et al., 2016b] の構成部品である残差ブロックにおいて，毎ブロックに配置される「スキップ接続 + そのあとの2経路の出力の足し算」の部品のことである． 要は 「残差接続 ≒ スキップ接続」ではあるが，スキップ接続のうち，ResNetの場合の残差ブロックを形成する形を，特に残差接続と呼ぶ．ResNetで，提案された「残差ブロックの多層化」の文脈では，スキップ接続を「残差接続」と別途呼び分けたほうが「残差ブロックを反復して構成しているネットワーク構造である」ことが伝わりやすくなる． 関連記事：ResNetの，従来のCNNと最も異なる点は？ 【Q and A記事】 この記事

ニュース | 管理人からのお知らせ 2024年2月27日：このサイトの総アクセス数が100万PVを超えました． 2023年9月21日：仕事術・マネジメント術・組織改善のおすすめ書籍 のページを新規追加しました． 2023年4月30日: Pythonで学ぶ画像認識の著者陣とやりとりをし，Githubページから当サイトの推選リンクを張って頂きました．本書の紹介記事にもリンクしていただきました． 2023年3月14日: 用語集から📚用語Wikiという名称に変更しました 1. 概要 ：探求型の学習支援の「拠点」サイト コンピュータビジョンやディープラーニングを専門とする中級レベル以上の研究開発者を対象を，強力に支援するポータル型サイトが「CVMLエキスパートガイド」です．管理人が厳選した，最重要な標準的スキル(プロとして熟練させたい基礎)の，徹底的な習熟に的をしぼっています． 以下のサイト内・サ