研究科の友達とやっているPRML勉強会で、第3章が終わりました。忘れないようにメモっておきます。 3.1章【線形基底関数モデル】基底関数を使った線形回帰モデルを定義。加法性のガウスノイズを使って、確率変数にし尤度関数も定義。尤度関数を最大にするように勾配ベクトルを求めるなどすると、いつものdesign matrixが出てくる。基底関数を使うことで非線形なものを扱うことができるようになったけど、パラメータに関して線形であることで正規方程式となって、閉じた形でを求めることができるのでうれしい。 幾何的な解釈を与えた後、バッチ処理ではなくオンライン学習でやる方法。その後、正則化項を導入。しかし、結局wに関して閉じた形で解くことができた。L1正則化(lassoと書いてあるけど)を導入すると、0に近いようなパラメータの数を増やすことができる。その後、出力変数が多次元になった場合にどうすればいいか書い