超巨大高性能モデルGPT-3ã®åˆ°é”点ã¨ãã®é™ç•Œ. ã“ã®è¨˜äº‹ã§ã¯ã€è¶…巨大言語モデルGPT-3ã®æŠ€è¡“çš„ãªè§£èª¬ã€GPT-3é”æˆã—ãŸã“ã¨ã¨â€¦ | by akira | Jul, 2020 | Mediumã“ã®è¨˜äº‹ã«ã¤ã„ã¦ã“ã®è¨˜äº‹ã§ã¯GPT-3[1]ã®è§£èª¬ã‚’ã—ã¾ã™ã€‚内容ã®ã‚µãƒžãƒªã¯ä»¥ä¸‹ã®é€šã‚Šã§ã™ã€‚ GPT-3ã®å‰èº«ã§ã‚ã‚‹GPT-2ã§ã¯ã€å·¨å¤§ãªãƒ‡ãƒ¼ã‚¿ã‚»ãƒƒãƒˆï¼‹å·¨å¤§ãªãƒãƒƒãƒˆãƒ¯ãƒ¼ã‚¯ã§è¨€èªžãƒ¢ãƒ‡ãƒ«ã‚’構築ã—ã€å„タスクã§å¦ç¿’ã•ã›ãªãã¦ã‚‚良ã„çµæžœãŒå¾—られãŸã€‚GPT-3ã§ã¯ã€ã•ã‚‰ã«å·¨å¤§ãªãƒ‡ãƒ¼ã‚¿ã‚»ãƒƒãƒˆï¼‹ã•ã‚‰ã«å·¨å¤§ãªãƒãƒƒãƒˆãƒ¯ãƒ¼ã‚¯ã§è¨€èªžãƒ¢ãƒ‡ãƒ«ã‚’構築ã—ã€æ•°åã®ã‚µãƒ³ãƒ—ルを見ã›ã‚‹ã¨å‡„ã良ã„çµæžœãŒå¾—られãŸä¸€æ–¹ã€æ§˜ã€…ãªã‚¿ã‚¹ã‚¯ã«è¨€èªžãƒ¢ãƒ‡ãƒ«ã®ã‚¹ã‚±ãƒ¼ãƒ«ã‚¢ãƒƒãƒ—ã®ã¿ã§å¯¾å¿œã™ã‚‹ã“ã¨ã¸ã®é™ç•ŒãŒè¦‹ãˆã¦ããŸã€‚人種ã€æ€§åˆ¥ã€å®—æ•™ãªã©ã¸ã®å見ã®å•é¡Œã‚„ã€æ‚ªç”¨ã«å¯¾ã™ã‚‹èª²é¡Œã‚‚ã‚る。ã“ã®è¨˜äº‹ã®æµã‚Œã¯ä»¥ä¸‹ã®é€šã‚Šã§ã™ã€‚ Transformer, GPT-2ã®èª¬æ˜ŽGPT-3ã®ã‚³ãƒ³ã‚»ãƒ—トã¨æŠ€è¡“çš„ãªè§£èª¬GPT-3ã®ã§ä¸Šæ‰‹ãã„ãタスクGPT-3ã§ä¸Šæ‰‹ãã„ã‹ãªã„タスクå見や悪用ã¸ã®è¦‹è§£ Transformerã¾ãšã€GPT-3ã®å‰èº«ã¨ãªã£ãŸGPT-2ã«å…¥ã‚‹å‰ã«ã€ãã®ä¸ã«ä½¿ã‚ã‚Œ
IBMãŒRustを使ã£ã¦Node.jsã®ãƒ—ãƒã‚¸ã‚§ã‚¯ãƒˆã‚’書ãæ›ãˆã€‚ãã®èƒŒæ™¯ã¨ã¯ï¼Ÿ
データマイニング
{{#tags}}- {{label}}
{{/tags}}