Deep Learning覚ãˆæ›¸ã（Binary化） - 八谷大岳ã®è¦šãˆæ›¸ãブãƒã‚°Deep Learningã®ãƒ‘ラメータをãƒã‚¤ãƒŠãƒªâ€•åŒ–（-1ã¨1ã«ã‚¨ãƒ³ã‚³ãƒ¼ãƒ‰ï¼‰ã™ã‚‹ã“ã¨ã«ã‚ˆã‚Šã€å¿…è¦ãªãƒ¡ãƒ¢ãƒªå®¹é‡ã‚’抑ãˆæ¤œå‡ºã‚’高速化ã™ã‚‹æ–¹æ³•ãŒã‚る。 有åãªãƒã‚¤ãƒŠãƒªâ€•åŒ–方法ã¨ã—ã¦ã¯ã€ä¸‹è¨˜ã®ï¼’ã¤ãŒçŸ¥ã‚‰ã‚Œã¦ã„る。 １）BinaryConnect:パラメータ自体ã¯é€£ç¶šå€¤ã§æŒã£ã¦ãŠã„ã¦ã€forward時ã«æ±ºå®šçš„ã¾ãŸã¯ç¢ºçŽ‡çš„ã«é‡ã¿ãƒ‘ラメータwã‚’+1ã¾ãŸã¯-1ã«å¤‰æ›ã™ã‚‹ã€‚決定的ãªå¤‰æ›æ–¹æ³•ã¨ã¯ã€wãŒ0以上ã®å ´åˆ+1ã€0未満ã®å ´åˆ-1ã«å¤‰æ›ã™ã‚‹ã‚‚ã®ã§ã‚る。一方ã€ç¢ºçŽ‡çš„ãªå¤‰æ›æ–¹æ³•ã¨ã¯ã€ç¢ºçŽ‡p=σ(w)（hard sigmoid関数）ã«å¾“ã£ã¦+1ã«ã—ã€ç¢ºçŽ‡1-pã«å¾“ã£ã¦-1ã«å¤‰æ›ã™ã‚‹ã‚‚ã®ã§ã‚る。ã¤ã¾ã‚Šã€wãŒæ£ã«å¤§ãã„ã»ã©+1ã«ãªã‚‹ç¢ºçŽ‡ãŒé«˜ããªã‚‹ã€‚backward時ã¯ãƒã‚¤ãƒŠãƒªåŒ–ã¯è¡Œã‚ãªã„ã‚‚ã®ã®ã€wã®æ›´æ–°æ™‚ã«ã€wã®å€¤ãŒ[-1,1]ã«ãªã‚‹ã‚ˆã†ã«clippingã®æ“作を入れã¦ã„る。 詳細ã«ã¤ã„ã¦ã¯ã€ä¸‹è¨˜ã®è«–文をå‚照。 Bi
BinaryNetã¨Binarized Deep Neural Network | å°„æ’ƒã—ã¤ã¤å‰è»¢
{{#tags}}- {{label}}
{{/tags}}