ç”»åƒèªè˜ã®å¤§é©å‘½ã€‚AIç•Œã§è©±é¡Œçˆ†ç™ºä¸ã®ã€ŒVision Transformerã€ã‚’è§£èª¬ï¼ - Qiita0. å¿™ã—ã„方㸠完全ã«ç•³ã¿è¾¼ã¿ã¨ã•ã‚ˆã†ãªã‚‰ã—ã¦SoTAé”æˆã—ãŸã‚ˆ Vision Transformerã®é‡è¦ãªã“ã¨ã¯æ¬¡ã®3ã¤ã よ ç”»åƒãƒ‘ッãƒã‚’å˜èªžã®ã‚ˆã†ã«æ‰±ã†ã‚ˆ アーã‚テクãƒãƒ£ã¯Transformerã®ã‚¨ãƒ³ã‚³ãƒ¼ãƒ€ãƒ¼éƒ¨åˆ†ã よ 巨大ãªãƒ‡ãƒ¼ã‚¿ã‚»ãƒƒãƒˆJFT-300Mã§äº‹å‰å¦ç¿’ã™ã‚‹ã‚ˆ SoTAを上回る性能を約$\frac{1}{15}$ã®è¨ˆç®—コストã§å¾—られãŸã‚ˆ 事å‰å¦ç¿’データセットã¨ãƒ¢ãƒ‡ãƒ«ã‚’ã•ã‚‰ã«å¤§ããã™ã‚‹ã“ã¨ã§ã¾ã ã¾ã 性能å‘上ã™ã‚‹ä½™åœ°ãŒã‚るよ 1. Vision Transformerã®è§£èª¬ Vision Transformer(=ViT)ã®é‡è¦ãªéƒ¨åˆ†ã¯æ¬¡ã®3ã¤ã§ã™ã€‚ å…¥åŠ›ç”»åƒ ã‚¢ãƒ¼ã‚テクãƒãƒ£ 事å‰å¦ç¿’ã¨ãƒ•ã‚¡ã‚¤ãƒ³ãƒãƒ¥ãƒ¼ãƒ‹ãƒ³ã‚° ãã‚Œãžã‚Œã«ã¤ã„ã¦è¦‹ã¦ã„ãã¾ã—ょã†ã€‚ 1.1 å…¥åŠ›ç”»åƒ ã¾ãšå…¥åŠ›ç”»åƒã«ã¤ã„ã¦ã§ã™ã€‚ViTã¯Transformerをベースã¨ã—ãŸãƒ¢ãƒ‡ãƒ«(ã¨ã„ã†ã‚ˆã‚Šä¸€éƒ¨ã‚’丸々使ã£ã¦ã„ã‚‹)ã§ã™ãŒã€
ã™ã¹ã¦ã®ãƒ—ãƒã‚°ãƒ©ãƒžãŒæ©Ÿæ¢°å¦ç¿’ã‚’å—ã‘入れる準備をã™ã‚‹æ™‚代ã«ãªã£ãŸ - mizchi's blog
{{#tags}}- {{label}}
{{/tags}}