State-of-the-Art ã‚’é”æˆã—ãŸãƒ‹ãƒ¥ãƒ¼ãƒ©ãƒ«æ©Ÿæ¢°ç¿»è¨³ 2017 å¹´ - ディープラーニングブãƒã‚°Ryobot ã§ã™ï¼Ž 今週 5 日連続ã§ãƒ‹ãƒ¥ãƒ¼ãƒ©ãƒ«æ©Ÿæ¢°ç¿»è¨³ã®è«–文解説をやりã¾ã—ãŸï¼Ž ã‚‚ã¨ã¯ NAIST ã®ç¬¬ï¼‘回ニューラルãƒãƒƒãƒˆãƒ¯ãƒ¼ã‚¯å‹‰å¼·ä¼šã®ç™ºè¡¨è³‡æ–™ã§ï¼Œå¤§å¹…ã«åŠ ç†ã—ã¦ã²ã¨ã‚Šã‚¢ãƒ‰ãƒ™ãƒ³ãƒˆã‚«ãƒ¬ãƒ³ãƒ€ãƒ¼ï¼Ÿ ã«å¤‰è²Œã—ã¾ã—ãŸï¼Ž 今回紹介ã—ãŸè«–æ–‡ã¯å¤§è¦æ¨¡ãªå¯¾è¨³ã‚³ãƒ¼ãƒ‘スã«ãŠã‘ã‚‹è©•ä¾¡ã‚¹ã‚³ã‚¢ä¸Šä½ 5 手法ã§ï¼Œæœ€å…ˆç«¯ã®ãƒ‹ãƒ¥ãƒ¼ãƒ©ãƒ«æ©Ÿæ¢°ç¿»è¨³ã‚’網羅ã—ã¦ã„ã¾ã™ï¼Ž è¿‘å¹´ã®å‚¾å‘ã‚’ã¾ã¨ã‚る㨠LSTM を使ã‚ãš CNN ç‰ã®ä¸¦åˆ—化ãŒå®¹æ˜“ãªæ‰‹æ³•ã‚’使ㆠ大è¦æ¨¡ã‚³ãƒ¼ãƒ‘ス + 巨大ãªãƒ¢ãƒ‡ãƒ« + 大é‡ã® GPU ã¨ã„ã†ã‚ã‘ã§åŽ³ã—ã„世界ã§ã™ã． 1日目 GNMT Google翻訳ã®ä¸èº« GNMT ã§ã™ï¼Ž 2016 å¹´ã¾ã§ã®ãƒ‹ãƒ¥ãƒ¼ãƒ©ãƒ«æ©Ÿæ¢°ç¿»è¨³ã‚’最速ã§æŠŠæ¡ã§ãる資料ã«ãªã£ã¦ã„ã¾ã™ï¼Ž NMT åˆå¿ƒè€…ã«ãŠã™ã™ã‚ã§ã™ï¼Ž 2日目 MoE MoE ã¯æœ€å¤§ 13 万ã®ã‚µãƒ–ãƒãƒƒãƒˆãƒ¯ãƒ¼ã‚¯ (パラメータ数 1300 å„„ï¼) ã‚’æŒã¤è¶…巨大ãƒãƒƒãƒˆãƒ¯ãƒ¼ã‚¯ã‚’æ¡ä»¶ä»˜ã
{{#tags}}- {{label}}
{{/tags}}