確率的勾é…法ã‚ã‚Œã“ã‚Œã¾ã¨ã‚ - KAZ log TechMemoKerasã§é¸æŠžã§ãる最é©åŒ–アルゴリズムãã‚Œãžã‚Œã®é•ã„ã¨ä½¿ã„所ãŒã„ã¾ã„ã¡ã‚ã‹ã‚‰ã‚“ã‹ã£ãŸã®ã§èª¿ã¹ã¦ã¿ãŸã€‚ Incorporating Nesterov Momentum into AdamãŒã‚¢ãƒ«ã‚´ãƒªã‚ºãƒ ã‚’æ•´ç†ã—ã¦ãã‚Œã¦ã„ã‚‹ã®ã§ç†è§£ã—ã‚„ã™ã‹ã£ãŸã€‚ ã¨ã‚Šã‚ãˆãšã–ã£ãã‚Šã¨ä¿¯çž°ã—ãŸæ„Ÿã˜ã ã¨ã€ã„ã‹ã«åŠ¹çŽ‡è‰¯ã傾斜をé™ä¸‹ã—ã¦ã„ãã‹ã¨ã„ã†èª²é¡Œã‚’解決ã™ã‚‹ã£ã¦ã„ã†å¤§æž ã‹ã‚‰ã¯ã¿å‡ºã‚‹ã‚‚ã®ã¯ãªã„。ãã‚“ã§ã€æ§‹ç¯‰ã—ã¦ã„るモデルã®ç¨®é¡žã‚„サイズã«ã‚ˆã£ã¦ãƒ™ã‚¹ãƒˆãªã‚¢ãƒ«ã‚´ãƒªã‚ºãƒ ã¯å¤‰ã‚ã£ã¦ãã‚‹ã®ã§ã€çªãè©°ã‚ã‚‹ã®ã§ã‚ã‚Œã°è¦å®Ÿé¨“。ãŸã ã€ä¸Šè¨˜è«–æ–‡ã¯ã€Nadamã‹RSMProp使ã£ã¨ãゃã„ã„ã‚“ã˜ã‚ƒãªã„ã£ã™ã‹ã€ã¿ãŸã„ãªã“ã¨è¨€ã£ã¦ã‚‹ã€‚ãªã‚“ã«ã—ã‚2000年代後åŠä»¥é™ã§é€²åŒ–ãŒé€²ã‚“ã§ã„る分野ã§ã‚ã‚Šã€ä»Šå¾Œã‚‚アップデートãŒã‚ã‚‹ã ã‚ã†ã‹ã‚‰è¿½ã£ã¦ã„ããŸã„。 SGD ã¾ãšã¯ã‚ªãƒ¼ã‚½ãƒ‰ãƒƒã‚¯ã‚¹ãªå‹¾é…法。 後述ã™ã‚‹Momentum法やã€NAGã‚‚Kerasã®ä¸ã§ã¯SGD
{{#tags}}- {{label}}
{{/tags}}