Hierarchical Softmaxã®æ€§è³ª - Qiitaã“ã‚Œã¯Hierarchical Probabilistic Neural Network Language Model ã«ç™»å ´ã™ã‚‹Hierarchical Softmax(以é™hSm)ã«ã¤ã„ã¦ç°¡å˜ã«æ›¸ãã‚‚ã®ã§ã™ï¼Ž 分類å•é¡Œ(特ã«softmax関数)ã«é–¢ã™ã‚‹åŸºæœ¬çš„ãªçŸ¥è˜ã‚’å¿…è¦ã¨ã—ã¾ã™ï¼Žã‚ã¨ãƒãƒ•ãƒžãƒ³æœ¨ãŒã©ã®ã‚ˆã†ã«æ§‹æˆã•ã‚Œã‚‹ã‹ã«ã¤ã„ã¦çŸ¥ã£ã¦ã„ã‚‹æ–¹ã¨ç†è§£ãŒã‚¹ãƒ ーズã«é€²ã‚€ã‹ã¨æ€ã„ã¾ã™ï¼Ž 手法ã®èƒŒæ™¯ Neural Networkを用ã„ã¦æ–‡å—列ã®ç”Ÿæˆã‚’ã™ã‚‹å ´åˆï¼Œä¸€èˆ¬ã«ãƒ©ãƒ™ãƒ«(å˜èªž)ã®äºˆæ¸¬ã«ã¯Softmax関数ãŒç”¨ã„られる．Softmax関数ã¯$m_l = \langle \mathbf{w}_l, \mathbf{x} \rangle$ã¨ã—ãŸæ™‚， ã§å®šç¾©ã•ã‚Œã‚‹é–¢æ•°ã§ã‚る．自然言語ã§èªžå½™ã‚’考ãˆã‚‹å ´åˆï¼Œè¾žæ›¸ã¯æ•°ä¸‡å˜ä½ã®ã‚µã‚¤ã‚ºã«ãªã‚‹ï¼Žãã®ãŸã‚，$Z=\sum_k^K exp(m_k)$ã®è¨ˆç®—ãŒéžå¸¸ã«ãƒã‚¤ã‚³ã‚¹ãƒˆ
{{#tags}}- {{label}}
{{/tags}}