深層å¦ç¿’ç•Œã®å¤§å‰æTransformerã®è«–æ–‡è§£èª¬ï¼ - Qiitaã“ã®ä¾‹ã«é–¢ã™ã‚‹è³ªå•ã¸ã®å›žç”を補足ã®é …ã«è¨˜è¼‰ã—ã¾ã—ãŸã®ã§ã€ã‚ˆã‚Šè‰¯ã„ç†è§£ã®ãŸã‚ã«ã”å‚ç…§ãã ã•ã„。 1.3 ãƒ¢ãƒ‡ãƒ«æ§‹é€ ãƒˆãƒ©ãƒ³ã‚¹ãƒ€ã‚¯ã‚·ãƒ§ãƒ³ãƒ¢ãƒ‡ãƒ«(ã‚ã‚‹æ–‡ç« ã‚’ä»–ã®æ–‡ç« ã«å¤‰æ›ã™ã‚‹ãƒ¢ãƒ‡ãƒ«(翻訳ãªã©))ã«ãŠã„ã¦ä¸»æµãªã®ã¯ä»¥ä¸‹ã®ã‚ˆã†ãªã‚¨ãƒ³ã‚³ãƒ¼ãƒ€-デコーダモデルã§ã‚る。 エンコーダ: 入力ã®æ–‡ $(x_1,\ldots,x_n)$ ã‚’ $\boldsymbol{z}=(z_1,\ldots,z_n)$ ã¸å¤‰æ› デコーダ: $\boldsymbol{z}$ ã‹ã‚‰å˜èªž $(y_1,\ldots,y_m)$ を出力。 ãŸã ã—ã€1時刻ã«1å˜èªžã®ã¿ã§ã€å‰æ™‚刻ã®ãƒ‡ã‚³ãƒ¼ãƒ€ã®å‡ºåŠ›ã‚’ç¾æ™‚刻ã®ãƒ‡ã‚³ãƒ¼ãƒ€ã®å…¥åŠ›ã¨ã—ã¦ä½¿ã†ã€‚ Transformerã¯åŸºæœ¬çš„ãªå¤§æž ã¯ã‚¨ãƒ³ã‚³ãƒ¼ãƒ€-デコーダモデルã§self-attention層ã¨Position-wiseå…¨çµåˆå±¤ã‚’使用ã—ã¦ã„ã‚‹ã“ã¨ãŒç‰¹å¾´ã€‚ ã¤ã¾ã‚Šã€ä»¥ä¸‹ã®3ã¤(+2ã¤)ã®ã“ã¨ãŒåˆ†ã‹ã‚Œã°ãƒ¢ãƒ‡ãƒ«
ã€åŽ³é¸ã€‘機械å¦ç¿’ã®å¦ç¿’ã«ãŠã™ã™ã‚ã®Twitterアカウント40é¸ - Qiita
Predicting fuel efficiency with Elixir, Nx, and Axon: a gentle introduction to Machine Learning
{{#tags}}- {{label}}
{{/tags}}