SoTAã‚’ç·ãªã‚ï¼è¡æ’ƒã®ã‚ªãƒ—ティマイザー「SAMã€çˆ†èª•&è§£èª¬ï¼ - Qiita0. å¿™ã—ã„方㸠SAMã¯æ失ãŒæœ€å°ã‹ã¤ãã®å‘¨è¾ºãŒå¹³å¦ã§ã‚るよã†ãªãƒ‘ラメータを目指ã™ã‚ˆ SAMã¯æ¬¡ã®3ステップã よ パラメータ$\mathbf{w}$ã®å‘¨è¾ºã§æœ€å¤§ã®æ失をã¨ã‚‹$\mathbf{w+\hat{\epsilon}(w)}$を求ã‚るよ $\mathbf{w+\hat{\epsilon}(w)}$ã«ãŠã‘ã‚‹æ失を求ã‚るよ 2.ã®æ失ã«å¯¾ã™ã‚‹å‹¾é…ã§ãƒ‘ラメータ$\mathbf{w}$ã‚’æ›´æ–°ã™ã‚‹ã‚ˆ SAMã¯ä¸€è¨€ã§è¨€ã£ã¦ã—ã¾ãˆã°ã€ã€Œãƒ‘ラメータ周辺ã§ã®æœ€å¤§ã®æ失を求ã‚ã¦ã€ãã‚ŒãŒä¸‹ãŒã‚‹æ–¹å‘ã§ãƒ‘ラメータを更新ã™ã‚‹ã€ã‚‚ã®ã よ ImageNetã‚„CIFARã‚’å«ã‚€9ã¤ã®ç”»åƒåˆ†é¡žãƒ‡ãƒ¼ã‚¿ã‚»ãƒƒãƒˆã§SoTAã‚’æ›´æ–°ã—ãŸã‚ˆ ラベルã¸ã®ãƒãƒã‚¹ãƒˆæ€§ã‚‚高ã„よ 1. SAMã®èª¬æ˜Ž SAMã¯è‡³ã£ã¦ã‚·ãƒ³ãƒ—ルã§ã™ã€‚ã¨ã„ã†ã®ã‚‚ã€ä»Šã¾ã§ã¯æ失ãŒæœ€å°ã«ãªã‚‹ãƒ‘ラメータをå¦ç¿’ã•ã›ã¦ã„ã¾ã—ãŸã€‚ãŸã ã€SAMã¯æ失ãŒæœ€å°ã‹ã¤ãã®å‘¨ã‚Šã‚‚å¹³å¦ã¨ãªã£
ãŸã£ãŸ2è¡Œã§ç”»åƒèªè˜ãƒ¢ãƒ‡ãƒ«ã®ç²¾åº¦å‘上ï¼ï¼Ÿæ–°ã—ã„DataAugmentation自動最é©åŒ–手法「RandAugmentã€è§£èª¬ï¼
パラメータ数を激減ã•ã›ã‚‹æ–°ã—ã„畳ã¿è¾¼ã¿ã€ŒMixConvã€è§£èª¬ï¼
人工知能㯠Deep Learning ã«ã‚ˆã£ã¦æˆã•ã‚Œã‚‹ã®ã‹ï¼Ÿ - Sideswipe
{{#tags}}- {{label}}
{{/tags}}