作ã£ã¦ç†è§£ã™ã‚‹ Transformer / Attention - Qiitaã“ã‚“ã«ã¡ã¯ã€‚ミクシィ AI ãƒãƒœãƒƒãƒˆäº‹æ¥éƒ¨ã§ã—ゃã¹ã‚‹ãƒãƒœãƒƒãƒˆã‚’作ã£ã¦ã„るインコã§ã™ã€‚ ã“ã®è¨˜äº‹ã¯ ミクシィグループ Advent Calendar 2018 ã®5日目ã®è¨˜äº‹ã§ã™ã€‚ ã“ã®è¨˜äº‹ã®ç›®çš„ ã“ã®è¨˜äº‹ã§ã¯2018å¹´ç¾åœ¨ DeepLearning ã«ãŠã‘る自然言語処ç†ã®ãƒ‡ãƒ•ã‚¡ã‚¯ãƒˆã‚¹ã‚¿ãƒ³ãƒ€ãƒ¼ãƒ‰ã¨ãªã‚Šã¤ã¤ã‚ã‚‹ Transformer を作るã“ã¨ã§ã€ Attention ベースã®ãƒãƒƒãƒˆãƒ¯ãƒ¼ã‚¯ã‚’ç†è§£ã™ã‚‹ã“ã¨ã‚’目的ã¨ã—ã¾ã™ã€‚ 機械翻訳ãªã©ã® Transformer, 自然言語ç†è§£ã® BERT ã‚„ãã®ä»–多ãã®ç¾åœ¨ SoTA ã¨ãªã£ã¦ã„る自然言語処ç†ã®ãƒ¢ãƒ‡ãƒ«ã¯ Attention ベースã®ãƒ¢ãƒ‡ãƒ«ã§ã™ã€‚ Attention ã‚’ç†è§£ã™ã‚‹ã“ã¨ãŒä»Šå¾Œã®è‡ªç„¶è¨€èªžå‡¦ç† x Deep Learning ã®å¿…é ˆã«ãªã£ã¦ãã‚‹ã®ã§ã¯ãªã„ã§ã—ょã†ã‹ã€‚ ã“ã®è¨˜äº‹ã«ã‹ã‹ã‚Œã¦ã„るコード (Github) æ´å² - RNN ã‹ã‚‰
{{#tags}}- {{label}}
{{/tags}}