3分ã§ã‚ã‹ã‚‹L-BFGS - Kotaro's blogL-BFGSã¯å‡¸æœ€é©åŒ–å•é¡Œã‚’効率よã解ãã“ã¨ãŒã§ãã€scikit-learnã‚„sparkã®ç·šå½¢ãƒ¢ãƒ‡ãƒ«(logistic回帰ãªã©)ã®ãƒ‘ラメータ推定ãªã©ã€åºƒã用ã„られã¦ã„る。 ã“ã®è¨˜äº‹ã§ã¯ã€L-BFGSãŒã©ã®ã‚ˆã†ãªæ‰‹ç¶šãã«ã‚ˆã£ã¦æœ€é©è§£ã‚’å¾—ã¦ã„ã‚‹ã®ã‹ç°¡å˜ã«ã¾ã¨ã‚る。 Newton法 L-BFGSãªã©ã¯æº–Newton法ã¨å‘¼ã°ã‚Œã¦ãŠã‚Šã€Newton法を元ã«ä½œã‚‰ã‚Œã¦ã„る。ã¾ãšã¯Newton法ã«ã¤ã„ã¦èª¬æ˜Žã™ã‚‹ã€‚ 最急é™ä¸‹æ³•ã¨ä½•ãŒé•ã†ã®ã‹ï¼Ÿ 上ã®å›³ã®èµ¤ã„ç·šã¯Newton法ã€ç·‘ã®ç·šã¯æœ€æ€¥é™ä¸‹æ³•ã®$x$ã®æ›´æ–°ã‚’表ã™ã€‚見ã¦ã‚ã‹ã‚‹é€šã‚ŠNewton法ã®ã»ã†ãŒåˆæœŸå€¤ã‹ã‚‰æœ€é©è§£$x^{ * }$ã¾ã§çŸã„è·é›¢ã§åˆ°é”ã—ã¦ã„る。最急é™ä¸‹æ³•ã§ã¯ï¼‘次ã®å‹¾é…ã®ã¿ã‚’考慮ã™ã‚‹ã®ã«å¯¾ã—ã¦Newton法ã§ã¯2次ã®å‹¾é…ã¾ã§è€ƒæ…®ã—ã¦ã„ã‚‹ãŸã‚ã€æœ€æ€¥é™ä¸‹æ³•ã«æ¯”ã¹ã¦å¤§åŸŸçš„最é©è§£ã«åŠ¹çŽ‡ã‚ˆã到é”ã™ã‚‹ã“ã¨ãŒã§ãる。 ニュートン法ã®ä»•çµ„㿠点ã®æ¬¡ã®ç‚¹ã‚’ã¨ã—
{{#tags}}- {{label}}
{{/tags}}