書-深度學習的數學
●神經網路所需的函數-一次函數
○自變量
●神經網路所需的函數-二次函數
○單位階躍函數
●指數函數與Sigmoid函數
○正態分布的概率密度函數
神經網路所需的函數-一次函數
1.一次函數
介紹: 最基本的函數。
公式: y = ax + b (a、b為常數, a≠0)
a = 斜率 ， b = 截距
例:
一次函數也可以用於多個變數。
y = ax1 + bx2 + c (a、b、c為常數，a≠0, b≠0)
例:
自變量
如果x確定只與y有對應，則稱y是x的函數，y = f(x)，x稱為'自變數'，y稱為'因變數'
神經網路所需的函數-二次函數
介紹: 與一次函數一樣重要，這本書的代價函數就是使用二次函數。
公式: y = ax^2 + bx + c (a、b、c為常數，a≠0)
二次函數的圖就像拋物線的軌跡，a為正數是向下凸，而取得最小值，這個性質要講到最小二乘法的基礎。
例:
當x = 1時，取得最小函數2。
例:
多個自變量。
公式: y = ax^2 + bx1x2 + cx2^2 + px1 + qx2 + r (a、b、c、p、q、r為常數、c≠0)
例:
單位階躍函數
介紹:作為激活函數(就是輸出經過的最後一個函數)。
在原點不連續，也就是原點不可導，就是這個性質所以不能成為主要的激活函數。
式子:
例:
u(-1) = 0
u(1) = 1
u(0) = 0
指數函數與Sigmoid函數
介紹: 具有以下形狀的函數稱為'指數函數'
常數a成為指數的底數，納皮爾數e是個重要的底數，e = 2.71828...。
公式: y = a^x (a為正整數，a≠1)
Sigmoid函數σ(x)
介紹: 是最具有代表性的激活函數。
公式:
exp是exponential function(指數函數)的簡略記法，exp(x)表示指數函數e^x。
值介於0~1之間式連續的因此是可以導的，也可以用來解釋機率。
例:
σ(-1) = 0.27
σ(0) = 0.5
σ(1) 0.73
正態分布的概率密度函數
設置權重與偏置的初始值，正態分布(normal distribution )是一個有用的工具。
分布機率:
其中μ稱為期望值(平均值)，σ稱為標準差。
例:
期望值(μ)為0，標準差(σ)為1的機率密度函數。
正態分布產生得隨機樹稱為正態分布隨機數，在神經網路計算中，用於初始值。
留言列表