実装ãŒç°¡å˜ã§é«˜æ€§èƒ½ãªç·šå½¢è˜åˆ¥å™¨ã€AdaGrad+RDAã®è§£èª¬ - EchizenBlog-Zwei機械å¦ç¿’ã§ã¯ã€ãƒ‡ãƒ¼ã‚¿ãŒã©ã®ã‚¯ãƒ©ã‚¹ã«å±žã™ã‚‹ã‹ã‚’è˜åˆ¥ã™ã‚‹ã¨ã„ã†å•é¡ŒãŒåŸºæœ¬çš„ã§ã™ã€‚ ã“ã®è˜åˆ¥å•é¡Œã¯ç·šå½¢è˜åˆ¥å™¨ã¨ã„ã†ãƒ¢ãƒ‡ãƒ«ã‚’使ã†ã“ã¨ã§è§£ãã“ã¨ãŒã§ãã¾ã™ã€‚ ã“ã®è¨˜äº‹ã§ã¯ã€å®Ÿè£…ãŒç°¡å˜ã§é«˜æ€§èƒ½ãªç·šå½¢è˜åˆ¥å™¨ã€AdaGrad+RDAã®è§£èª¬ã‚’è¡Œã„ã¾ã™ã€‚ AdaGrad+RDAã®è©³ç´°ãªè§£èª¬ã¯ä»¥ä¸‹ã®è«–文をå‚考ã«ã—ã¦ãã ã•ã„。 http://www.magicbroom.info/Papers/DuchiHaSi10.pdf ã“ã¡ã‚‰ã¯AdaGrad+RDAã®å®Ÿè£…例ã§ã™ã€‚ http://d.hatena.ne.jp/echizen_tm/20140726/1406376207 è˜åˆ¥å•é¡Œã¯ã€é€šå¸¸ãƒ‡ãƒ¼ã‚¿ã‚’2ã¤ã®ã‚¯ãƒ©ã‚¹ã«åˆ†é¡žã—ã¾ã™ã€‚ã©ã†ã‚„ã£ã¦åˆ†é¡žã™ã‚‹ã‹ã¨ã„ã†ã¨ã€ç·šå½¢è˜åˆ¥å™¨ãŒæ£ã®å€¤ã‚’è¿”ã—ãŸã‹ã€è² ã®å€¤ã‚’è¿”ã—ãŸã‹ã§ã‚¯ãƒ©ã‚¹ã‚’分ã‘ã¾ã™ã€‚ 具体的ã«ã¯ã€ç·šå½¢è˜åˆ¥å™¨ã¯ä»¥ä¸‹ã®å½¢å¼ã‚’ã—ã¦ã„ã¾ã™ã€‚ y = Σ(x_i * w_i) データを表
{{#tags}}- {{label}}
{{/tags}}