損失関数とは？ わかりやすく解説

数理最適化および決定理論において、損失関数（そんしつかんすう、英: loss function）またはコスト関数（英: cost function、誤差関数（英: error function）とも呼ばれる）とは^[1]、ある事象または1つ以上の変数の値を、その事象に関連する何らかの「コスト」を直感的に表す実数に対応づける関数である。最適化問題は、損失関数を最小化することを目的としている。目的関数（もくてきかんすう、英: objective function）とは、損失関数またはその逆関数（特定の領域では、報酬関数、利潤関数、効用関数、適合度関数（英語版）などと呼ばれる）のいずれかであり、この場合は最大化されることになる。損失関数は、階層のいくつかの層からの項目を含むことがある。

統計学では、損失関数は一般的にパラメータ推定（英語版）に使用され、問題における事象は、あるデータのインスタンスに対する推定値と真値との差の関数である。この概念はラプラスと同様に古くからあり、20世紀半ばにエイブラハム・ウォールドによって統計学に再導入された^[2]。たとえば、経済学の文脈では通常、経済的コスト（英語版）や後悔（リグレット）（英語版）を指して使われる。分類では、事例の分類が誤った場合のペナルティのことである。保険数理では、特に1920年代のハラルド・クラメールの研究以来、保険料に対して支払われる給付金をモデル化するために、保険の文脈で使用される^[3]。最適制御では、損失は望ましい値を達成できなかった場合のペナルティである。金融リスク管理（英語版）では、この関数は金銭的損失にマッピングされる。

レナード・サヴェッジ（英語版）は、ミニマックス（minimax）のような非ベイズ法を用いる場合、損失関数は後悔（リグレット）（英語版）の考え方に基づくべきであると主張した。すなわち、意思決定に伴う損失は、根底にある状況を知っていれば下せたであろう最善の決定の結果と、それを知る前に実際に行った決定との差であるべきという。

二次損失関数（quadratic loss function）は、たとえば、最小二乗法などでよく使用される。この関数は分散の特性や対称性があるため、他の損失関数よりも数学的に扱いやすいことが多い。目標を上回る誤差は、目標を下回る同じ大きさの誤差と同じ損失をもたらす。目標を t とすると、二次損失関数は、ある定数 C に対して

${\displaystyle \lambda (x)=C(t-x)^{2}\;}$ カテゴリ