はてなブックマーク

最近、素性選択について少し悩んでます。 素性選択とは、機械学習に素性を与える際に、利用できるものを全て使うのではなく、有効そうなもののみを利用することを言います。 実は素性選択って機械学習において計算量以外でのメリットがあまりないのではないかと考えていました。 そもそも有効でない素性であれば学習時にほとんど重みが割り振られないと考えられるからです。 しかし、実際に今取り組んでいるタスクで実験をしてみると、直感的には分類に寄与しないと考えられる素性に結構重みが割り振られていて、誤りの原因になっているようです。 考えられる原因としてはタスクの性質があります。今回のタスクでは、正例には明らかに効きそうな素性があり、負例にはほとんど特徴がない、という性質があります。加えて、事例数は負例の方が数十倍となっています。 おそらく、分離超平面の位置を調整するバイアス項ではなく、正例・負例ともに出現する素性