書籍分享天地

書-深度學習的數學

​​

▲簡單的神經元圖形

△激活函數

▲sigmoid函數

△偏置

簡單的神經元圖形

加入之前講的閾(ㄩˋ)值，3個輸入，2個輸出。

上面的神經元如果畫成圖太麻煩了，把它簡化一下，稱為神經單元(unit)。

激活函數

有就稱'點火'輸出1，沒有就稱'無點火'輸出0

y = 輸出

u = 階躍函數，只要u裡面的值超過，就會輸出。

w1 = 權重

x1= 輸入

θ = 臨界值

y = u(w1x1 + w2x2 + w3x3 -θ)

下面來看看神經元、神經單元的差別。

左邊這個y = u(z)，只要z有出過1就輸出1，右邊這個sigmoid函數是連續的，只要大於0就輸出。

sigmoid函數

公式

單躍階函數只有0、1所以只有點火與不點火，但是sigmoid函數是0~1所以用興奮度，0代表興奮度低，1代表興奮度高。

偏置

y = z(w1x1 + w2x2 + w3x3 - θ)

θ = 稱為閾(ㄩˋ)值，也是臨界值，可以想成感受能力，閾值越大(反應慢)代表神經元不容易興奮，閾值小(反應快)代表神經元很容易興奮。

接下來我們把θ用b來替換掉，這個b稱為偏置。

換掉的原因是，θ帶有負號容易導致計算的錯誤，所以才換成b。

公式

y = z(w1x1+ w2x2+ w3x3 + b)

負號在一般自然界中是不會出現的，但是在神經單元中是存在的。

下面有一道題目可以做看看。

先算出z裡面的值，再用sigmoid函數