激活函數
常見(jiàn)的激活函數
1. sigmoid函數
函數的定義
f(x) = \frac{1}{1 + e^{-x}}
，其值域為
(0,1)
。 函數圖像
2. tanh激活函數
函數的定義為：
f(x) = tanh(x) = \frac{e^x - e^{-x}}{e^x + e^{-x}}
，值域為
(-1,1)
。函數圖像
3. Relu激活函數
函數的定義為：
f(x) = max(0, x)
，值域為
[0,+∞)
；函數圖像
4. Leak Relu激活函數
函數定義為：
f(x) = \left{ \begin{aligned} ax, \quad x<0 \ x, \quad x>0 \end{aligned} \right.
，值域為
(-∞,+∞)
。圖像如下（
a = 0.5
）：
5. SolftPlus 激活函數
函數的定義為：
f(x) = ln( 1 + e^x)
，值域為
(0,+∞)
。圖像如下
6. softmax激活函數
函數定義為：
\sigma(z)j = \frac{e^{z_j}}{\sum{k=1}^K e^{z_k}}
。
Softmax 多用于多分類(lèi)神經(jīng)網(wǎng)絡(luò )輸出。
持續跟新中。。