【DeepLeaning】 活性化関数 シグモイド関数

Deep Learning とは何なのか・・・まったく知らない状態から挑戦してみたいと思います!

シグモイド関数

シグモイド関数は、数学的には以下のように定義されます。

f(x) = 1 / (1 + e^(-x))

ここでeは自然対数の底で、xは入力値を表します。

また以下の式と等価です。

h(x) = 1/ 1 + exp(-x)

 

左オペランドの不思議

左オペランドのf(x) とh(x)は関数名(と引数)のようなものなのでなんでも良いそうです。

なのでh(x) = 1/ 1 + exp(-x) は f(x) = 1/ 1 + exp(-x) と定義しても全く問題ない!ということです。

 

由来

シグモイド関数は、入力値xを0から1の範囲に変換する非線形関数であり、主にニューラルネットワークの活性化関数として使用されます。

シグモイド関数はS字型の曲線を描くことからその名前がつきました。

入力値が大きくなるにつれて出力値が1に近づき、入力値が小さくなるにつれて出力値が0に近づきます。
この性質を利用して、シグモイド関数は二値分類や確率分布の近似などのタスクでよく使用されます。