我用過了TensorFlow、PyTorch等好幾種框架,為什么還是吃不透深度學習算法?

管理員賬號

2019-09-19

數據、算力和算法是人工智能的三大基石,而我們唯一可控、可學且能夠學會的就是算法。《實戰深度學習算法:零起點通關神經網絡模型(基于Python和NumPy實現)》新書發售,陪你零起點通關神經網絡模型!

以深度學習為代表的人工智能技術深刻地影響著我們的生活方式,從圖像識別、語音識別、機器翻譯到智能醫診、自動駕駛、智能風控 ······ 在多個應用領域不斷地刷新紀錄。

深度學習近年來之所以能取得顛覆性突破,一方面,歸功于“數字化”對社會的滲透使得大量數據得以積累;另一方面,受益于單位成本下硬件算力的提升,推動了復雜模型的商用;然而最根本的,還是來自深度學習背后基礎算法的巧思妙想與厚積薄發。

只有深入了解深度學習的算法原理,才能更靈活、高效地運用于實踐當中。現有的深度學習框架將算法使用簡化為“調包”和“調參”。降低了使用成本,然而卻沒有降低學習成本。

對于算法,最有效的學習方式是理解原理并動手實踐。從原始論文可以查閱算法的詳解和推導,卻不容易復現結果。主流的深度學習框架多采用計算圖模型,不容易調試或觀察,對希望深入了解算法的初學者并不友好。致力于用深度學習方法創造社會價值的從業者,也需要看清底層算法的脈絡,來做模型的定制、優化和改進。

《實戰深度學習算法:零起點通關神經網絡模型(基于Python和NumPy實現)》系統地介紹了如何用Python和NumPy一步步地實現深度學習的基礎模型,無須借助TensorFlow、PyTorch等深度學習框架,幫助讀者更好地理解底層算法的脈絡,進而進行模型的定制、優化和改進。

本書的特點是“原理 + 實踐”。按照“帶著問題看算法”的邏輯來組織內容,所描述的每一種深度學習算法都圍繞一個實際的目標問題展開,提供了基礎算法的必要推導和實例,方便直觀理解。

?理解深度學習主要的核心模型

?靈活復現重要論文、驗證新方法

?自由替換模型中的底層算法,取得一手實驗結果

?針對自己工作的特定場景,對算法做定制和優化,實現工程應用

第 1章 基礎分類模型

1.1 深度學習簡介 2

1.2 目標問題:空間中的二分類 2

1.3 感知機模型 3

感知機函數

損失函數

感知機學習算法

1.4 算法實現 8

環境搭建

數據準備

實現感知機算法

1.5 小結 13

參考文獻

第 2章 第一個神經網絡

2.1 目標問題:MNIST手寫數字識別 15

數據集

圖像數據和圖向量

2.2 挑戰:從二分類到多分類 16

2.3 Softmax方法 19

2.4 正確分類的獨熱編碼 20

2.5 損失函數——交叉熵 21

2.6 信息熵和交叉熵 21

信息熵

交叉熵

2.7 第一個神經網絡的學習算法 23

2.8 反向傳播 26

2.9 抽象泄漏 27

2.10 算法實現 28

數據準備

實現第一個神經網絡

實現 MINIST手寫數字識別

2.11 小結 37

參考文獻 38

第 3章 多層全連接神經網絡

3.1 第一個挑戰:異或問題 40

3.2 更深的神經網絡——隱藏層 40

3.3 第二個挑戰:參數擬合的兩面性 42

3.4 過擬合與正則化 44

欠擬合與過擬合

正則化

正則化的效果

3.5 第三個挑戰:非線性可分問題 45

3.6 激活函數 45

3.7 算法和結構 47

3.8 算法實現 50

數據準備

實現多層全連接神經網絡

在數據集上驗證模型

3.9 小結 54

參考文獻 54

第 4章 卷積神經網絡(CNN)

4.1 挑戰:參數量和訓練成本 56

4.2 卷積神經網絡的結構 56

卷積層

池化層

全連接層和 Softmax處理

4.3 卷積神經網絡學習算法 63

全連接層

池化層反向傳播

卷積層反向傳播

4.4 算法實現 68

數據準備

卷積神經網絡模型的原始實現

4.5 小結 76

參考文獻 78

第 5章 卷積神經網絡——算法提速和優化

5.1 第一個挑戰:卷積神經網絡的運算效率 80

5.2 提速改進 80

邊緣填充提速

池化層提速

卷積層處理

5.3 反向傳播算法實現 88

池化層反向傳播

卷積層反向傳播

5.4 第二個挑戰:梯度下降的幅度和方向 91

5.5 遞減學習率參數 92

5.6 學習策略的優化方法 92

動量方法

NAG方法

Adagrad方法

RMSprop方法

AdaDelta方法

Adam方法

各種優化方法的比較

5.7 總體模型結構 100

5.8 使用 CNN實現 MNIST手寫數字識別驗證 101

5.9 小結 102

參考文獻 103

第 6章 批量規范化(Batch Normalization)

6.1 挑戰:深度神經網絡不易訓練 105

6.2 批量規范化方法的初衷 105

數據集偏移

輸入分布偏移

內部偏移

6.3 批量規范化的算法 107

訓練時的前向計算

規范化與標準化變量

推理預測時的前向計算

全連接層和卷積層的批量規范化處理

6.4 批量規范化的效果 111

梯度傳遞問題

飽和非線性激活問題

正則化效果

6.5 批量規范化為何有效 113

6.6 批量規范化的反向傳播算法 114

6.7 算法實現 115

訓練時的前向傳播

反向傳播

推理預測

6.8 調整學習率和總體結構 119

模型結構

卷積層批量規范化的實現

引入批量規范化后的遞減學習率

6.9 在 MNIST數據集上驗證結果 122

6.10 小結 123

參考文獻 123

第 7章 循環神經網絡(Vanilla RNN)

7.1 第一個挑戰:序列特征的捕捉 126

7.2 循環神經網絡的結構 126

單層 RNN

雙向 RNN

多層 RNN

7.3 RNN前向傳播算法 130

7.4 RNN反向傳播算法 131

誤差的反向傳播

激活函數的導函數和參數梯度

7.5 第二個挑戰:循環神經網絡的梯度傳遞問題 133

7.6 梯度裁剪 134

7.7 算法實現 135

7.8 目標問題:序列數據分析 139

數據準備

模型搭建

驗證結果

7.9 小結 147

參考文獻 147

第 8章 長短時記憶網絡(LSTM)——指數分析

8.1 目標問題:投資市場的指數分析 150

8.2 挑戰:梯度彌散問題 150

8.3 長短時記憶網絡的結構 150

8.4 LSTM前向傳播算法 152

8.5 LSTM反向傳播算法 153

誤差反向傳播

激活函數的導函數和參數梯度

8.6 算法實現 156

實現 LSTM單時間步的前向計算

實現 LSTM多層多時間步的前向計算

實現 LSTM單時間步的反向傳播

實現 LSTM多層多時間步的反向傳播

8.7 實現滬深 300指數分析 161

數據準備

模型構建

分析結果

8.8 小結 168

參考文獻 169

第 9章 雙向門控循環單元(BiGRU)——情感分析

9.1 目標問題:情感分析 171

9.2 第一個挑戰:模型的運算效率 172

9.3 GRU模型的結構 172

9.4 GRU前向傳播算法 173

9.5 GRU前向傳播表達式的其他寫法 174

9.6 GRU反向傳播算法 175

9.7 GRU算法實現 177

單時間步的前向計算

實現單時間步的反向傳播

9.8 用 GRU模型進行情感分析 179

數據預處理

構建情感分析模型

9.9 首次驗證 182

9.10 第二個挑戰:序列模型的過擬合 183

9.11 Dropout正則化 183

Dropout前向傳播算法

Dropout反向傳播算法

Dropout Rate的選擇

9.12 再次驗證:GRU+Dropout 186

9.13 第三個挑戰:捕捉逆序信息 187

9.14 雙向門控循環單元(BiGRU) 187

9.15 第三次驗證:BiGRU+Dropout 188

9.16 小結 189

參考文獻 189

附錄 A向量和矩陣運算

附錄 B導數和微分

附錄 C向量和矩陣導數

附錄 D概率論和數理統計

索引

實踐是對理解進行校驗和糾偏的最佳途徑。有側重地理解核心和基礎的算法,實現之,有助于復現業內新發布的方法。如果結合自身場景,能夠優化改進現有算法,還可以擴展已知方法的邊界。

讀者評論

相關專題

相關博文

  • 機器學習:數據驅動的科學

    機器學習:數據驅動的科學

    管理員賬號 2017-05-27

    小編說:傳統上,計算機會按照我們輸入的指令一步步執行。而機器學習卻是通過輸入數據而不是指令來進行各種工作。 機器學習,也被稱為統計機器學習,是人工智能領域的一個分支,其基本思想是基于數據構建統計模型,并利用模型對數據進行分析和預測...

    管理員賬號 2017-05-27
    1018 0 0 0
  • 你聽過無人駕駛,但你了解無人駕駛的算法嗎?

    你聽過無人駕駛,但你了解無人駕駛的算法嗎?

    管理員賬號 2017-05-26

    小編說:我們已經拉開了全自動無人駕駛的序幕,在幕布之后是我們精彩的未來,但你可能不知道的是無人駕駛系統是一個復雜的系統,系統主要由三部分組成:算法端、Client端和云端。算法端從傳感器原始數據中提取有意義的信息以了解周遭的環境情況,...

    管理員賬號 2017-05-26
    1222 0 0 0
  • 無人駕駛的分級以及產品化后會帶來的改善

    無人駕駛的分級以及產品化后會帶來的改善

    管理員賬號 2017-05-24

    小編說:人工智能是時代,機器人開始作為服務的承載體出現,其中的一個具體事例就是無人駕駛的產品化。無人駕駛并不是一個單一的新技術,而是一系列技術的整合。本文將向您介紹這一技術對生活帶來的改善以及無人駕駛的分級。本文選自《第一本無人駕駛技...

    管理員賬號 2017-05-24
    189 0 0 0
0k000澳客网竞彩