Gluon深度学习_李沐.pdf

【核心代码】

1 引⾔ 1
1.1 前⾔ . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1
1.2 深度学习简介 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3
1.3 如何使⽤本书 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 13
2 预备知识 17
2.1 获取和运⾏本书代码 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 17
2.2 数据操作 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21
2.3 ⾃动求梯度 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 29
2.4 查阅 MXNet ⽂档 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 32
3 深度学习基础 37
3.1 线性回归 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 37
3.2 线性回归的从零开始实现 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 43
3.3 线性回归的 Gluon 实现 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 49
3.4 Softmax 回归 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 53
3.5 图像分类数据集（Fashion-MNIST） . . . . . . . . . . . . . . . . . . . . . . . . 58
3.6 Softmax 回归的从零开始实现 . . . . . . . . . . . . . . . . . . . . . . . . . . . . 62
3.7 Softmax 回归的 Gluon 实现 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 67
3.8 多层感知机 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 69
i
3.9 多层感知机的从零开始实现 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 77
3.10 多层感知机的 Gluon 实现 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 79
3.11 模型选择、⽋拟合和过拟合 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 80
3.12 权重衰减 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 89
3.13 丢弃法 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 96
3.14 正向传播、反向传播和计算图 . . . . . . . . . . . . . . . . . . . . . . . . . . . . 101
3.15 数值稳定性和模型初始化 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 105
3.16 实战 Kaggle ⽐赛：房价预测 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 107
4 深度学习计算 117
4.1 模型构造 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 117
4.2 模型参数的访问、初始化和共享 . . . . . . . . . . . . . . . . . . . . . . . . . . . 122
4.3 模型参数的延后初始化 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 128
4.4 ⾃定义层 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 130
4.5 读取和存储 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 133
4.6 GPU 计算 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 136
5 卷积神经⽹络 143
5.1 ⼆维卷积层 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 143
5.2 填充和步幅 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 149
5.3 多输⼊通道和多输出通道 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 153
5.4 池化层 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 157
5.5 卷积神经⽹络（LeNet） . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 162
5.6 深度卷积神经⽹络（AlexNet） . . . . . . . . . . . . . . . . . . . . . . . . . . . 166
5.7 使⽤重复元素的⽹络（VGG） . . . . . . . . . . . . . . . . . . . . . . . . . . . . 172
5.8 ⽹络中的⽹络（NiN） . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 175
5.9 含并⾏连结的⽹络（GoogLeNet） . . . . . . . . . . . . . . . . . . . . . . . . . . 179
5.10 批量归⼀化 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 184
5.11 残差⽹络（ResNet） . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 190
5.12 稠密连接⽹络（DenseNet） . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 195
6 循环神经⽹络 201
6.1 语⾔模型 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 202
6.2 循环神经⽹络 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 204
6.3 语⾔模型数据集（周杰伦专辑歌词） . . . . . . . . . . . . . . . . . . . . . . . . 208
ii
6.4 循环神经⽹络的从零开始实现 . . . . . . . . . . . . . . . . . . . . . . . . . . . . 213
6.5 循环神经⽹络的 Gluon 实现 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 220
6.6 通过时间反向传播 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 224
6.7 ⻔控循环单元（GRU） . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 228
6.8 ⻓短期记忆（LSTM） . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 235
6.9 深度循环神经⽹络 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 243
6.10 双向循环神经⽹络 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 245
7 优化算法 247
7.1 优化与深度学习 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 247
7.2 梯度下降和随机梯度下降 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 252
7.3 小批量随机梯度下降 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 260
7.4 动量法 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 266
7.5 Adagrad . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 274
7.6 RMSProp . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 279
7.7 Adadelta . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 283
7.8 Adam . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 287
8 计算性能 291
8.1 命令式和符号式混合编程 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 291
8.2 异步计算 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 299
8.3 ⾃动并⾏计算 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 305
8.4 多 GPU 计算 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 308
8.5 多 GPU 计算的 Gluon 实现 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 315
9 计算机视觉 321
9.1 图像增⼴ . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 321
9.2 微调 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 331
9.3 ⽬标检测和边界框 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 338
9.4 锚框 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 340
9.5 多尺度⽬标检测 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 350
9.6 ⽬标检测数据集（⽪卡丘） . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 355
9.7 单发多框检测（SSD） . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 359
9.8 区域卷积神经⽹络（R-CNN）系列 . . . . . . . . . . . . . . . . . . . . . . . . . . 371
9.9 语义分割和数据集 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 378
iii
9.10 全卷积⽹络（FCN） . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 385
9.11 样式迁移 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 392
9.12 实战 Kaggle ⽐赛：图像分类（CIFAR-10） . . . . . . . . . . . . . . . . . . . . . 402
9.13 实战 Kaggle ⽐赛：狗的品种识别 (ImageNet Dogs) . . . . . . . . . . . . . . . . . 412
10 ⾃然语⾔处理 423
10.1 词嵌⼊（word2vec） . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 423
10.2 近似训练 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 429
10.3 Word2vec 的实现 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 432
10.4 ⼦词嵌⼊（fastText） . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 443
10.5 全局向量的词嵌⼊（GloVe） . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 444
10.6 求近义词和类⽐词 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 448
10.7 ⽂本情感分类：使⽤循环神经⽹络 . . . . . . . . . . . . . . . . . . . . . . . . . . 452
10.8 ⽂本情感分类：使⽤卷积神经⽹络（textCNN） . . . . . . . . . . . . . . . . . . 458
10.9 编码器—解码器（seq2seq） . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 465
10.10 束搜索 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 468
10.11 注意⼒机制 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 472
10.12 机器翻译 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 476
11 附录 487
11.1 主要符号⼀览 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 487
11.2 数学基础 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 489
11.3 使⽤ Jupyter 笔记本 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 496
11.4 使⽤ AWS 运⾏代码 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 503
11.5 GPU 购买指南 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 514
11.6 如何为本书贡献 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 517
11.7 gluonbook 包索引 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 523