書籍分享天地

Deep Learning 用Python 進行深度學習的基礎理論實作-1
感知器
基本邏輯-AND
Deep Learning 用Python 進行深度學習的基礎理論實作-2
邏輯閘-NAND反及閘
邏輯閘-OR及閘
邏輯閘-XOR反互斥或閘
縣性與非線性
Deep Learning 用Pytho

書-Deep Learning 用Python 進行深度學習的基礎理論實作
梯度
梯度法
梯度
找出函數值遞減最多的方向
下面這張圖可以看到在0,0點沒有箭頭,就是最低位置,越往外箭頭就越大,而具有方向性
圖程式:
梯度法
要找出適合的參數權重偏權重,經過損失函數的值要小,是很複雜的,參數空間大,唯

書-Deep Learning 用Python 進行深度學習的基礎理論實作
數值微分
偏微分
數值微分
先用程式畫出下面函數的圖
計算x=5, x=10的微分
微分就是平方乘與數字再減一,所以答案就是 y = 0.02x 0.1 x上面的平方是1所以成了之後就消失了
我們把y帶入510
x = 5

書-Deep Learning 用Python 進行深度學習的基礎理論實作
小批次學習
損失函數辨識準確率
數值微分
小批次學習
我們講訓練資料讓他學習,就是為了降低損失函數的值,但是如果如果整個資料過於龐大,我們可能從資料裡面先抽出100份來訓練看看成效,就像做民調一樣不可能每個人都有機會被問到,

書-Deep Learning 用Python 進行深度學習的基礎理論實作
批次處理
從資料中學習
損失函數
均方誤差
交叉熵一誤差
批次處理
上一篇在做訓練的時候是一張一張照片讀進去訓練,那如果一次都進去100張,訓練速度會比較快嗎?答案是可以的因為多數處理數值運算的函式庫,都進行最佳化,可以更有

書-Deep Learning 用Python 進行深度學習的基礎理論實作
手寫辨識
手寫辨識-MNIST資料集
神經網路的推論處理
神經網路的訓練
用turtle畫出神經元連接
手寫辨識
接下來要來看手寫辨識了,深度學習方面的書第一個範例都是手寫辨識,就像寫程式第一個程式是hello world一

書-Deep Learning 用Python 進行深度學習的基礎理論實作
輸出層
恆等函數
sfotmax函數
sfotmax函數-使用問題
輸出層-神經元數量
輸出層
神經網路可以解決分類迴歸問題,要使用相對應的活化函數也可以混用,但是效果不太好
1.分類問題-恆等函數,分辨此人是男是女
2.迴

書-Deep Learning 用Python 進行深度學習的基礎理論實作
三層神經網路
三層神經網路
第0層:輸入層,2個神經元
第1層:隱藏層,3個神經元
第2層:隱藏層,2個神經元
第3層:輸出層,2個神經元
東西會越加越多
這裡加了一個偏權重b,來看一下
簡化版,根據上面那張圖
用pytho

書-Deep Learning 用Python 進行深度學習的基礎理論實作
非線性函數
ReLU函數
多維陣列運算
矩陣的乘積
非線性函數
上一篇有講到階梯函數和sigmoid函數,都是屬於非線性函數,線性函數的輸出必須是輸入的倍數才有可能達成線性直線
神經網路必須使用非線性的函數,第2篇我有畫張圖

書-Deep Learning 用Python 進行深度學習的基礎理論實作
神經網路
活化函數
sigmoid函數
階梯函數-實作
階梯函數-圖表
sigmoid-圖表
step vs. sigmoid-圖表
神經網路
前面我們用邏輯閘去試作感知器,應該對感知器有初步的印象了吧,多個邏輯閘理論上可以