BERTを超ãˆãŸXLNetã®ç´¹ä»‹æ¦‚è¦https://arxiv.org/abs/1906.08237 XLNetã¯2019/6/19ã«ã€â€XLNet: Generalized Autoregressive Pretraining for Language Understandingâ€ã¨é¡Œã—ã¦Arxivã«æŠ•ç¨¿ã•ã‚ŒãŸè«–æ–‡ã§ã™ã€‚一言(?)ã§ã„ã†ã¨ Transformer-XLã‚’å˜èªžã®é †åºã‚’入れ替ãˆãŸï¼ˆå…ƒã®é †åºæƒ…å ±ã¯ä¿æŒï¼‰ã‚‚ã®ã§å¦ç¿’ã•ã›ã‚‹ã“ã¨ã§ã€è‡ªå·±å›žå¸°ãƒ¢ãƒ‡ãƒ«ã§åŒæ–¹å‘ã®æ„味ä¾å˜é–¢ä¿‚ã‚’å–å¾—ã§ãるよã†ã«ã—ãŸã¨ä¸»å¼µã€‚20を超ãˆã‚‹ã‚¿ã‚¹ã‚¯ã§BERT超ãˆã€‚ ã¨ã„ã£ãŸã¨ã“ã‚ã§ã—ょã†ã‹ã€‚ã“ã®è¨˜äº‹ã§ã¯ã€èƒŒæ™¯ã¨ãªã‚‹é–¢é€£æŠ€è¡“ã‚‚å«ã‚ã¦XLNetã®ç€æƒ³ã¨æŠ€è¡“ã«ã¤ã„ã¦é †ã€…ã«èª¬æ˜Žã—ã¦ã„ãã¾ã™ã€‚ 自然言語処ç†ã®ã‚¿ã‚¹ã‚¯å¦ç¿’ã®æµã‚Œã¨äº‹å‰å¦ç¿’ã®ç¨®é¡žæ·±å±¤å¦ç¿’を用ã„ãŸè‡ªç„¶è¨€èªžå‡¦ç†ã¯ç¿»è¨³ã€QAタスクã€æ–‡æ›¸åˆ†é¡žãªã©å¤šå²ã«ã‚ãŸã‚Šã¾ã™ã€‚ 深層å¦ç¿’ã§ãれらã®ã‚¿ã‚¹ã‚¯ã‚’解ãéš›ã¯ã€ã‚¿ã‚¹
{{#tags}}- {{label}}
{{/tags}}