回帰とは？ わかりやすく解説

出典: フリー百科事典『ウィキペディア（Wikipedia）』 (2022/04/15 15:33 UTC 版)

「機械学習」の記事における「回帰」の解説

回帰の目標は入力xが与えられたとき、 p ( y ∣ x ) {\displaystyle p(\mathbf {y} \mid \mathbf {x} )} に関する情報を予想する事である。典型的には y = F ( x ) + ε {\displaystyle \mathbf {y} =F(\mathbf {x} )+\mathbf {\varepsilon } } のようにyが未知の関数Fの像F(x)にランダムなノイズεを加えたデータであるケースにおいて、入力xからyの可能な限り正確な予想値 y ^ {\displaystyle {\hat {\mathbf {y} }}} を出力する事が求められる。なお回帰で扱う目的変数yは連続量であり、典型的には実数を複数並べた数値ベクトルである。 他の教師あり機械学習アルゴリズムと同様、回帰アルゴリズムは p ( x , y ) {\displaystyle p(\mathbf {x} ,\mathbf {y} )} に従って選ばれた訓練データの集合 D = { ( x 1 , y 1 ) , … , ( x n , y n ) } {\displaystyle D=\{(\mathbf {x} _{1},\mathbf {y} _{1}),\ldots ,(\mathbf {x} _{n},\mathbf {y} _{n})\}} をとして受け取る事ができ、これらの訓練データをヒントにして入力xに対応するyの予想値 y ^ = F ^ D ( x ) {\displaystyle {\hat {\mathbf {y} }}={\hat {F}}_{D}(\mathbf {x} )} を出力する。予想の正確さは損失関数 L ( y ^ , y ) {\displaystyle L({\hat {\mathbf {y} }},\mathbf {y} )} によって測られる。回帰では損失関数 L ( y ^ , y ) {\displaystyle L({\hat {\mathbf {y} }},\mathbf {y} )} としては自乗誤差損失 L ( y ^ , y ) = | | y ^ − y | | 2 {\displaystyle L({\hat {\mathbf {y} }},\mathbf {y} )=||{\hat {\mathbf {y} }}-\mathbf {y} ||^{2}} を用いる事が多い。 回帰の目標は、汎化誤差（予測誤差、予測損失とも） E [ L ( y ^ ( x ) , y ) ] = ∬ L ( y ^ ( x ) , y ) p ( x , y ) d x d y {\displaystyle E[L({\hat {\mathbf {y} }}(\mathbf {x} ),\mathbf {y} )]=\iint L({\hat {\mathbf {y} }}(\mathbf {x} ),\mathbf {y} )p(\mathbf {x} ,\mathbf {y} )\mathrm {d} \mathbf {x} \mathrm {d} \mathbf {y} } を小さく抑える事である。ここで y ^ ( x ) = M ( x , θ ) {\displaystyle {\hat {\mathbf {y} }}(\mathbf {x} )=M(\mathbf {x} ,\theta )} は汎化アルゴリズムの出力であり、E[・]は期待値を表す。

※この「回帰」の解説は、「機械学習」の解説の一部です。
「回帰」を含む「機械学習」の記事については、「機械学習」の概要を参照ください。