活性化関数の理論と実装まとめ - Qiita

活性化関数の理論と実装まとめ - Qiita

活性化関数とは 活性化関数とは、ニューラルネットにおいて、次の層に入力を渡す時に通る橋なようなもの...概要を表示 活性化関数とは 活性化関数とは、ニューラルネットにおいて、次の層に入力を渡す時に通る橋なようなもので、その橋を渡る過程でどのように変換されるかは活性化関数ごとに異なります。 また、どのような変換をさせたいかは隠れ層なのか出力層なのかによっても変わってきます。 そこで、目的別に活性化関数の数式と概形、Pythonにおける実装を見ていきたいと思います。 以下、すべてにおいて入力$x$ を活性化させたときに、$y=\phi(x)$ という変換が起きたというように記述します。 また、数学的な定義が定かでない部分がありますが、活性化関数としての使用という点から温かい目で見守ってください。 恒等関数:そのまんま変換 本当にそのまんま入力を渡したいときに使います。 数式 $$ \phi(x)=x $$ 実装と描画 わざわざやる必要もないかもしれませんが、一応。 import numpy as np im