L1-SGD

L1-SGD

Stochastic Gradient Descent Training for L1-regularized Log-linear Models with Cumulative Penalty...概要を表示 Stochastic Gradient Descent Training for L1-regularized Log-linear Models with Cumulative Penalty Yoshimasa Tsuruoka, Jun’ichi Tsujii and Sophia Ananiadou, ACL2009. 論文紹介．鶴岡さんのL1正則化付き確率的勾配降下法（Stochastic Gradient Descent，SGD）．L1正則化はコンパクトなモデルパラメタになってくれるので，実用上はとてもうれしい．しかし，0の点で微分できないので面倒だった．提案手法は実装が超簡単（擬似コードで20行くらい），超高速で，収束も早いし，性能もいい，いいこと尽くめ．初めての人にもお勧めできる簡単さで，しかもそのまま実用品になります． L1正則化は目的関数に重みベクトルのL1 normを

• ML