实例介绍
【实例简介】nndl-book神经网络与深度学习
【实例截图】
【核心代码】
目录
前言
1
第一部分 入门篇
3
第 1 章 绪论
5
1.1 人工智能 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
6
1.1.1
人工智能的发展历史 . . . . . . . . . . . . . . . . . . . .
7
1.1.2
人工智能的流派
. . . . . . . . . . . . . . . . . . . . . .
9
1.2
神经网络
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
9
1.2.1
人脑神经网络 . . . . . . . . . . . . . . . . . . . . . . . .
9
1.2.2
人工神经网络 . . . . . . . . . . . . . . . . . . . . . . . .
11
1.2.3
神经网络的发展历史 . . . . . . . . . . . . . . . . . . . .
12
1.3
机器学习 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
14
1.4
表示学习 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
15
1.4.1
局部表示和分布式表示 . . . . . . . . . . . . . . . . . . .
15
1.4.2
表示学习 . . . . . . . . . . . . . . . . . . . . . . . . . .
17
1.5
深度学习 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
17
1.5.1
端到端学习 . . . . . . . . . . . . . . . . . . . . . . . . .
18
1.5.2
常用的深度学习框架 . . . . . . . . . . . . . . . . . . . .
19
1.6
本书的组织结构 . . . . . . . . . . . . . . . . . . . . . . . . . . .
20
1.7
总结和深入阅读 . . . . . . . . . . . . . . . . . . . . . . . . . . .
21II
2019 年 6 月 4 日
目录
第 2 章 机器学习概述
25
2.1 基本概念
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
26
2.2
机器学习的三个基本要素
. . . . . . . . . . . . . . . . . . . . .
28
2.2.1
模型 . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
28
2.2.2
学习准则 . . . . . . . . . . . . . . . . . . . . . . . . . .
29
2.2.3
优化算法 . . . . . . . . . . . . . . . . . . . . . . . . . .
33
2.3
机器学习的简单示例：线性回归 . . . . . . . . . . . . . . . . . .
35
2.3.1
参数学习 . . . . . . . . . . . . . . . . . . . . . . . . . .
36
2.4
偏差-方差分解
. . . . . . . . . . . . . . . . . . . . . . . . . . .
41
2.5
机器学习算法的类型 . . . . . . . . . . . . . . . . . . . . . . . .
44
2.6
数据的特征表示 . . . . . . . . . . . . . . . . . . . . . . . . . . .
45
2.6.1
传统的特征学习
. . . . . . . . . . . . . . . . . . . . . .
47
2.6.2
深度学习方法 . . . . . . . . . . . . . . . . . . . . . . . .
48
2.7
评价指标
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
48
2.8
理论和定理 . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
51
2.8.1 PAC学习理论 . . . . . . . . . . . . . . . . . . . . . . . .
51
2.8.2
没有免费午餐定理 . . . . . . . . . . . . . . . . . . . . .
52
2.8.3
丑小鸭定理 . . . . . . . . . . . . . . . . . . . . . . . . .
53
2.8.4
奥卡姆剃刀 . . . . . . . . . . . . . . . . . . . . . . . . .
53
2.8.5
归纳偏置 . . . . . . . . . . . . . . . . . . . . . . . . . .
53
2.9
总结和深入阅读 . . . . . . . . . . . . . . . . . . . . . . . . . . .
54
第 3 章 线性模型
57
3.1 线性判别函数和决策边界 . . . . . . . . . . . . . . . . . . . . .
58
3.1.1
两类分类 . . . . . . . . . . . . . . . . . . . . . . . . . .
58
3.1.2
多类分类 . . . . . . . . . . . . . . . . . . . . . . . . . .
60
3.2 Logistic回归 . . . . . . . . . . . . . . . . . . . . . . . . . . . .
61
3.2.1
参数学习 . . . . . . . . . . . . . . . . . . . . . . . . . .
62
3.3 Softmax回归 . . . . . . . . . . . . . . . . . . . . . . . . . . . .
63
3.3.1
参数学习 . . . . . . . . . . . . . . . . . . . . . . . . . .
64
邱锡鹏：《神经网络与深度学习》
https://nndl.github.io/目录
2019 年 6 月 4 日
III
3.4
感知器 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
66
3.4.1
参数学习 . . . . . . . . . . . . . . . . . . . . . . . . . .
66
3.4.2
感知器的收敛性
. . . . . . . . . . . . . . . . . . . . . .
67
3.4.3
参数平均感知器
. . . . . . . . . . . . . . . . . . . . . .
69
3.4.4
扩展到多类分类
. . . . . . . . . . . . . . . . . . . . . .
70
3.5
支持向量机 . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
73
3.5.1
参数学习 . . . . . . . . . . . . . . . . . . . . . . . . . .
74
3.5.2
核函数 . . . . . . . . . . . . . . . . . . . . . . . . . . . .
76
3.5.3
软间隔 . . . . . . . . . . . . . . . . . . . . . . . . . . . .
76
3.6
损失函数对比 . . . . . . . . . . . . . . . . . . . . . . . . . . . .
77
3.7
总结和深入阅读 . . . . . . . . . . . . . . . . . . . . . . . . . . .
78
第二部分 基础模型
83
第 4 章 前馈神经网络
85
4.1 神经元 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
86
4.1.1 Sigmoid型激活函数 . . . . . . . . . . . . . . . . . . . .
87
4.1.2
修正线性单元 . . . . . . . . . . . . . . . . . . . . . . . .
90
4.1.3 Swish函数 . . . . . . . . . . . . . . . . . . . . . . . . . .
92
4.1.4 Maxout单元 . . . . . . . . . . . . . . . . . . . . . . . .
93
4.2
网络结构
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
94
4.2.1
前馈网络 . . . . . . . . . . . . . . . . . . . . . . . . . .
94
4.2.2
记忆网络 . . . . . . . . . . . . . . . . . . . . . . . . . .
94
4.2.3
图网络 . . . . . . . . . . . . . . . . . . . . . . . . . . . .
95
4.3
前馈神经网络 . . . . . . . . . . . . . . . . . . . . . . . . . . . .
95
4.3.1
通用近似定理 . . . . . . . . . . . . . . . . . . . . . . . .
97
4.3.2
应用到机器学习
. . . . . . . . . . . . . . . . . . . . . .
98
4.3.3
参数学习 . . . . . . . . . . . . . . . . . . . . . . . . . .
98
4.4
反向传播算法 . . . . . . . . . . . . . . . . . . . . . . . . . . . .
99
4.5
自动梯度计算 . . . . . . . . . . . . . . . . . . . . . . . . . . . . 102
邱锡鹏：《神经网络与深度学习》
https://nndl.github.io/IV
2019 年 6 月 4 日
目录
4.5.1
数值微分 . . . . . . . . . . . . . . . . . . . . . . . . . . 102
4.5.2
符号微分 . . . . . . . . . . . . . . . . . . . . . . . . . . 103
4.5.3
自动微分 . . . . . . . . . . . . . . . . . . . . . . . . . . 103
4.6
优化问题
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
106
4.6.1
非凸优化问题 . . . . . . . . . . . . . . . . . . . . . . . . 107
4.6.2
梯度消失问题 . . . . . . . . . . . . . . . . . . . . . . . . 107
4.7
总结和深入阅读 . . . . . . . . . . . . . . . . . . . . . . . . . . . 108
第 5 章 卷积神经网络
113
5.1 卷积 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 114
5.1.1
互相关 . . . . . . . . . . . . . . . . . . . . . . . . . . . . 116
5.1.2
卷积的变种 . . . . . . . . . . . . . . . . . . . . . . . . . 117
5.1.3
卷积的数学性质
. . . . . . . . . . . . . . . . . . . . . .
118
5.2
卷积神经网络 . . . . . . . . . . . . . . . . . . . . . . . . . . . . 119
5.2.1
用卷积来代替全连接 . . . . . . . . . . . . . . . . . . . . 119
5.2.2
卷积层 . . . . . . . . . . . . . . . . . . . . . . . . . . . . 120
5.2.3
汇聚层 . . . . . . . . . . . . . . . . . . . . . . . . . . . . 122
5.2.4
典型的卷积网络结构 . . . . . . . . . . . . . . . . . . . . 123
5.3
参数学习 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 124
5.3.1
误差项的计算 . . . . . . . . . . . . . . . . . . . . . . . . 125
5.4
几种典型的卷积神经网络
. . . . . . . . . . . . . . . . . . . . .
126
5.4.1 LeNet-5 . . . . . . . . . . . . . . . . . . . . . . . . . . .
126
5.4.2 AlexNet . . . . . . . . . . . . . . . . . . . . . . . . . . .
128
5.4.3 Inception网络 . . . . . . . . . . . . . . . . . . . . . . . 129
5.4.4
残差网络 . . . . . . . . . . . . . . . . . . . . . . . . . . 130
5.5
其它卷积方式 . . . . . . . . . . . . . . . . . . . . . . . . . . . . 131
5.5.1
转置卷积 . . . . . . . . . . . . . . . . . . . . . . . . . . 131
5.5.2
空洞卷积 . . . . . . . . . . . . . . . . . . . . . . . . . . 134
5.6
总结和深入阅读 . . . . . . . . . . . . . . . . . . . . . . . . . . . 135
邱锡鹏：《神经网络与深度学习》
https://nndl.github.io/目录
2019 年 6 月 4 日
V
第 6 章 循环神经网络
139
6.1 给网络增加记忆能力 . . . . . . . . . . . . . . . . . . . . . . . . 140
6.1.1
延时神经网络 . . . . . . . . . . . . . . . . . . . . . . . . 140
6.1.2
有外部输入的非线性自回归模型
. . . . . . . . . . . . .
140
6.1.3
循环神经网络 . . . . . . . . . . . . . . . . . . . . . . . . 141
6.2
简单循环网络 . . . . . . . . . . . . . . . . . . . . . . . . . . . . 141
6.2.1
循环神经网络的计算能力 . . . . . . . . . . . . . . . . . 142
6.3
应用到机器学习 . . . . . . . . . . . . . . . . . . . . . . . . . . . 144
6.3.1
序列到类别模式
. . . . . . . . . . . . . . . . . . . . . .
144
6.3.2
同步的序列到序列模式 . . . . . . . . . . . . . . . . . . . 145
6.3.3
异步的序列到序列模式 . . . . . . . . . . . . . . . . . . . 145
6.4
参数学习 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 146
6.4.1
随时间反向传播算法 . . . . . . . . . . . . . . . . . . . . 147
6.4.2
实时循环学习算法 . . . . . . . . . . . . . . . . . . . . . 148
6.5
长程依赖问题 . . . . . . . . . . . . . . . . . . . . . . . . . . . . 149
6.5.1
改进方案 . . . . . . . . . . . . . . . . . . . . . . . . . . 150
6.6
基于门控的循环神经网络
. . . . . . . . . . . . . . . . . . . . .
151
6.6.1
长短期记忆网络
. . . . . . . . . . . . . . . . . . . . . .
151
6.6.2 LSTM网络的各种变体 . . . . . . . . . . . . . . . . . . . 153
6.6.3
门控循环单元网络 . . . . . . . . . . . . . . . . . . . . . 154
6.7
深层循环神经网络 . . . . . . . . . . . . . . . . . . . . . . . . . 155
6.7.1
堆叠循环神经网络 . . . . . . . . . . . . . . . . . . . . . 156
6.7.2
双向循环神经网络 . . . . . . . . . . . . . . . . . . . . . 156
6.8
扩展到图结构 . . . . . . . . . . . . . . . . . . . . . . . . . . . . 157
6.8.1
递归神经网络 . . . . . . . . . . . . . . . . . . . . . . . . 157
6.8.2
图网络 . . . . . . . . . . . . . . . . . . . . . . . . . . . . 159
6.9
总结和深入阅读 . . . . . . . . . . . . . . . . . . . . . . . . . . . 159
邱锡鹏：《神经网络与深度学习》
https://nndl.github.io/VI
2019 年 6 月 4 日
目录
第 7 章 网络优化与正则化
163
7.1
网络优化
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
163
7.1.1
网络优化的难点
. . . . . . . . . . . . . . . . . . . . . .
163
7.2
优化算法
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
165
7.2.1
小批量梯度下降 . . . . . . . . . . . . . . . . . . . . . . 165
7.2.2
学习率调整 . . . . . . . . . . . . . . . . . . . . . . . . . 168
7.2.3
梯度方向优化 . . . . . . . . . . . . . . . . . . . . . . . . 173
7.2.4
优化算法小结 . . . . . . . . . . . . . . . . . . . . . . . . 176
7.3
参数初始化 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 177
7.3.1 Xavier初始化 . . . . . . . . . . . . . . . . . . . . . . . . 178
7.3.2 He初始化 . . . . . . . . . . . . . . . . . . . . . . . . . . 180
7.4
数据预处理 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 180
7.5
逐层归一化 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 182
7.5.1
批量归一化 . . . . . . . . . . . . . . . . . . . . . . . . . 182
7.5.2
层归一化 . . . . . . . . . . . . . . . . . . . . . . . . . . 184
7.5.3
其它归一化方法
. . . . . . . . . . . . . . . . . . . . . .
185
7.6
超参数优化 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 186
7.6.1
网格搜索 . . . . . . . . . . . . . . . . . . . . . . . . . . 187
7.6.2
随机搜索 . . . . . . . . . . . . . . . . . . . . . . . . . . 187
7.6.3
贝叶斯优化 . . . . . . . . . . . . . . . . . . . . . . . . . 188
7.6.4
动态资源分配 . . . . . . . . . . . . . . . . . . . . . . . . 189
7.7
网络正则化 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 190
7.7.1
ℓ1 和ℓ2 正则化 . . . . . . . . . . . . . . . . . . . . . . . . 191
7.7.2
权重衰减 . . . . . . . . . . . . . . . . . . . . . . . . . . 192
7.7.3
提前停止 . . . . . . . . . . . . . . . . . . . . . . . . . . 192
7.7.4
丢弃法 . . . . . . . . . . . . . . . . . . . . . . . . . . . . 192
7.7.5
数据增强 . . . . . . . . . . . . . . . . . . . . . . . . . . 195
7.7.6
标签平滑 . . . . . . . . . . . . . . . . . . . . . . . . . . 195
7.8
总结和深入阅读 . . . . . . . . . . . . . . . . . . . . . . . . . . . 196
邱锡鹏：《神经网络与深度学习》
https://nndl.github.io/目录
2019 年 6 月 4 日
VII
第 8 章 注意力机制与外部记忆
201
8.1 注意力 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 202
8.1.1
认知神经学中的注意力 . . . . . . . . . . . . . . . . . . . 202
8.1.2
人工神经网络中的注意力机制 . . . . . . . . . . . . . . . 203
8.1.3
注意力机制的变体 . . . . . . . . . . . . . . . . . . . . . 204
8.2
注意力机制的应用 . . . . . . . . . . . . . . . . . . . . . . . . . 206
8.2.1
指针网络 . . . . . . . . . . . . . . . . . . . . . . . . . . 206
8.2.2
自注意力模型 . . . . . . . . . . . . . . . . . . . . . . . . 207
8.3
外部记忆
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
209
8.3.1
人脑中的记忆 . . . . . . . . . . . . . . . . . . . . . . . . 209
8.3.2
结构化的外部记忆 . . . . . . . . . . . . . . . . . . . . . 210
8.3.3
典型的记忆网络
. . . . . . . . . . . . . . . . . . . . . .
212
8.3.4
基于神经动力学的联想记忆 . . . . . . . . . . . . . . . . 215
8.4
总结和深入阅读 . . . . . . . . . . . . . . . . . . . . . . . . . . . 218
第 9 章 无监督学习
221
9.1 无监督特征学习 . . . . . . . . . . . . . . . . . . . . . . . . . . . 222
9.1.1
主成分分析 . . . . . . . . . . . . . . . . . . . . . . . . . 222
9.1.2
稀疏编码 . . . . . . . . . . . . . . . . . . . . . . . . . . 224
9.1.3
自编码器 . . . . . . . . . . . . . . . . . . . . . . . . . . 226
9.1.4
稀疏自编码器 . . . . . . . . . . . . . . . . . . . . . . . . 227
9.1.5
堆叠自编码器 . . . . . . . . . . . . . . . . . . . . . . . . 228
9.1.6
降噪自编码器 . . . . . . . . . . . . . . . . . . . . . . . . 228
9.2
概率密度估计 . . . . . . . . . . . . . . . . . . . . . . . . . . . . 229
9.2.1
参数密度估计 . . . . . . . . . . . . . . . . . . . . . . . . 229
9.2.2
非参数密度估计
. . . . . . . . . . . . . . . . . . . . . .
231
9.3
总结和深入阅读 . . . . . . . . . . . . . . . . . . . . . . . . . . . 234
邱锡鹏：《神经网络与深度学习》
https://nndl.github.io/VIII
2019 年 6 月 4 日
目录
第 10 章 模型独立的学习方式
237
10.1 集成学习 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 237
10.1.1 AdaBoost算法 . . . . . . . . . . . . . . . . . . . . . . . 239
10.2 自训练和协同训练 . . . . . . . . . . . . . . . . . . . . . . . . . 241
10.2.1 自训练 . . . . . . . . . . . . . . . . . . . . . . . . . . . . 242
10.2.2 协同训练 . . . . . . . . . . . . . . . . . . . . . . . . . . 242
10.3 多任务学习 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 244
10.4 迁移学习 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 247
10.4.1 归纳迁移学习 . . . . . . . . . . . . . . . . . . . . . . . . 248
10.4.2 转导迁移学习 . . . . . . . . . . . . . . . . . . . . . . . . 249
10.5 终生学习 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 251
10.6 元学习 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 254
10.6.1 基于优化器的元学习 . . . . . . . . . . . . . . . . . . . . 254
10.6.2 模型无关的元学习 . . . . . . . . . . . . . . . . . . . . . 256
10.7 总结和深入阅读 . . . . . . . . . . . . . . . . . . . . . . . . . . . 257
第三部分 进阶模型
261
第 11 章 概率图模型
263
11.1 模型表示 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 265
11.1.1 有向图模型 . . . . . . . . . . . . . . . . . . . . . . . . . 265
11.1.2 常见的有向图模型 . . . . . . . . . . . . . . . . . . . . . 267
11.1.3 无向图模型 . . . . . . . . . . . . . . . . . . . . . . . . . 269
11.1.4 无向图模型的概率分解 . . . . . . . . . . . . . . . . . . . 270
11.1.5 常见的无向图模型 . . . . . . . . . . . . . . . . . . . . . 271
11.1.6 有向图和无向图之间的转换 . . . . . . . . . . . . . . . . 272
11.2 推断 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 273
11.2.1 变量消除法 . . . . . . . . . . . . . . . . . . . . . . . . . 273
11.2.2 信念传播算法 . . . . . . . . . . . . . . . . . . . . . . . . 274
11.3 近似推断 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 276
邱锡鹏：《神经网络与深度学习》
https://nndl.github.io/目录
2019 年 6 月 4 日
IX
11.3.1 蒙特卡罗方法 . . . . . . . . . . . . . . . . . . . . . . . . 277
11.3.2 拒绝采样 . . . . . . . . . . . . . . . . . . . . . . . . . . 278
11.3.3 重要性采样 . . . . . . . . . . . . . . . . . . . . . . . . . 279
11.3.4 马尔可夫链蒙特卡罗方法 . . . . . . . . . . . . . . . . . 280
11.4 学习 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 284
11.4.1 不含隐变量的参数估计 . . . . . . . . . . . . . . . . . . . 284
11.4.2 含隐变量的参数估计 . . . . . . . . . . . . . . . . . . . . 286
11.5 总结和深入阅读 . . . . . . . . . . . . . . . . . . . . . . . . . . . 291
第 12 章 深度信念网络
295
12.1 玻尔兹曼机 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 295
12.1.1 生成模型 . . . . . . . . . . . . . . . . . . . . . . . . . . 297
12.1.2 能量最小化与模拟退火 . . . . . . . . . . . . . . . . . . . 300
12.1.3 参数学习 . . . . . . . . . . . . . . . . . . . . . . . . . . 300
12.2 受限玻尔兹曼机 . . . . . . . . . . . . . . . . . . . . . . . . . . . 302
12.2.1 生成模型 . . . . . . . . . . . . . . . . . . . . . . . . . . 303
12.2.2 参数学习 . . . . . . . . . . . . . . . . . . . . . . . . . . 306
12.2.3 受限玻尔兹曼机的类型 . . . . . . . . . . . . . . . . . . . 307
12.3 深度信念网络 . . . . . . . . . . . . . . . . . . . . . . . . . . . . 308
12.3.1 生成模型 . . . . . . . . . . . . . . . . . . . . . . . . . . 309
12.3.2 参数学习 . . . . . . . . . . . . . . . . . . . . . . . . . . 309
12.4 总结和深入阅读 . . . . . . . . . . . . . . . . . . . . . . . . . . . 312
第 13 章 深度生成模型
317
13.1 概率生成模型 . . . . . . . . . . . . . . . . . . . . . . . . . . . . 317
13.1.1 密度估计 . . . . . . . . . . . . . . . . . . . . . . . . . . 318
13.1.2 生成样本 . . . . . . . . . . . . . . . . . . . . . . . . . . 318
13.2 变分自编码器 . . . . . . . . . . . . . . . . . . . . . . . . . . . . 319
13.2.1 含隐变量的生成模型 . . . . . . . . . . . . . . . . . . . . 319
13.2.2 推断网络 . . . . . . . . . . . . . . . . . . . . . . . . . . 321
邱锡鹏：《神经网络与深度学习》
https://nndl.github.io/X
2019 年 6 月 4 日
目录
13.2.3 生成网络 . . . . . . . . . . . . . . . . . . . . . . . . . . 322
13.2.4 模型汇总 . . . . . . . . . . . . . . . . . . . . . . . . . . 323
13.2.5 训练 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 324
13.3 生成对抗网络 . . . . . . . . . . . . . . . . . . . . . . . . . . . . 326
13.3.1 显式密度模型和隐式密度模型 . . . . . . . . . . . . . . . 326
13.3.2 网络分解 . . . . . . . . . . . . . . . . . . . . . . . . . . 327
13.3.3 训练 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 328
13.3.4 一个生成对抗网络的具体实现：DCGAN . . . . . . . . . 328
13.3.5 模型分析 . . . . . . . . . . . . . . . . . . . . . . . . . . 329
13.3.6 改进模型 . . . . . . . . . . . . . . . . . . . . . . . . . . 332
13.4 总结和深入阅读 . . . . . . . . . . . . . . . . . . . . . . . . . . . 334
第 14 章 深度强化学习
337
14.1 强化学习问题 . . . . . . . . . . . . . . . . . . . . . . . . . . . . 338
14.1.1 典型例子 . . . . . . . . . . . . . . . . . . . . . . . . . . 338
14.1.2 强化学习定义 . . . . . . . . . . . . . . . . . . . . . . . . 338
14.1.3 马尔可夫决策过程 . . . . . . . . . . . . . . . . . . . . . 339
14.1.4 强化学习的目标函数 . . . . . . . . . . . . . . . . . . . . 341
14.1.5 值函数 . . . . . . . . . . . . . . . . . . . . . . . . . . . . 342
14.1.6 深度强化学习 . . . . . . . . . . . . . . . . . . . . . . . . 343
14.2 基于值函数的学习方法 . . . . . . . . . . . . . . . . . . . . . . . 344
14.2.1 动态规划算法 . . . . . . . . . . . . . . . . . . . . . . . . 344
14.2.2 蒙特卡罗方法 . . . . . . . . . . . . . . . . . . . . . . . . 347
14.2.3 时序差分学习方法 . . . . . . . . . . . . . . . . . . . . . 348
14.2.4 深度Q网络 . . . . . . . . . . . . . . . . . . . . . . . . . 351
14.3 基于策略函数的学习方法 . . . . . . . . . . . . . . . . . . . . . 353
14.3.1 REINFORCE算法 . . . . . . . . . . . . . . . . . . . . . 354
14.3.2 带基准线的REINFORCE算法 . . . . . . . . . . . . . . 355
14.4 Actor-Critic算法 . . . . . . . . . . . . . . . . . . . . . . . . . . 356
14.5 总结和深入阅读 . . . . . . . . . . . . . . . . . . . . . . . . . . . 358
邱锡鹏：《神经网络与深度学习》
https://nndl.github.io/目录
2019 年 6 月 4 日
XI
第 15 章 序列生成模型
363
15.1 序列概率模型 . . . . . . . . . . . . . . . . . . . . . . . . . . . . 364
15.1.1 序列生成 . . . . . . . . . . . . . . . . . . . . . . . . . . 364
15.2 N元统计模型 . . . . . . . . . . . . . . . . . . . . . . . . . . . . 366
15.3 深度序列模型 . . . . . . . . . . . . . . . . . . . . . . . . . . . . 368
15.3.1 参数学习 . . . . . . . . . . . . . . . . . . . . . . . . . . 371
15.4 评价方法 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 371
15.4.1 困惑度 . . . . . . . . . . . . . . . . . . . . . . . . . . . . 371
15.4.2 BLEU . . . . . . . . . . . . . . . . . . . . . . . . . . . .
372
15.4.3 ROUGE . . . . . . . . . . . . . . . . . . . . . . . . . . .
373
15.5 序列生成模型中的学习问题 . . . . . . . . . . . . . . . . . . . . 374
15.5.1 曝光偏差问题 . . . . . . . . . . . . . . . . . . . . . . . . 374
15.5.2 训练目标不一致问题 . . . . . . . . . . . . . . . . . . . . 375
15.5.3 计算效率问题 . . . . . . . . . . . . . . . . . . . . . . . . 375
15.6 序列到序列模型 . . . . . . . . . . . . . . . . . . . . . . . . . . . 383
15.6.1 基于循环神经网络的序列到序列模型 . . . . . . . . . . . 384
15.6.2 基于注意力的序列到序列模型 . . . . . . . . . . . . . . . 385
15.6.3 基于自注意力的序列到序列模型 . . . . . . . . . . . . . 385
15.7 总结和深入阅读 . . . . . . . . . . . . . . . . . . . . . . . . . . . 388
附录 A 线性代数
391
A.1 向量和向量空间 . . . . . . . . . . . . . . . . . . . . . . . . . . . 391
A.1.1 向量 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 391
A.1.2 向量空间 . . . . . . . . . . . . . . . . . . . . . . . . . . 391
A.1.3 范数 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 393
A.1.4 常见的向量 . . . . . . . . . . . . . . . . . . . . . . . . . 394
A.2 矩阵 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 394
A.2.1 线性映射 . . . . . . . . . . . . . . . . . . . . . . . . . . 394
A.2.2 矩阵操作 . . . . . . . . . . . . . . . . . . . . . . . . . . 395
A.2.3 矩阵类型 . . . . . . . . . . . . . . . . . . . . . . . . . . 396
邱锡鹏：《神经网络与深度学习》
https://nndl.github.io/XII
2019 年 6 月 4 日
目录
A.2.4 特征值与特征矢量 . . . . . . . . . . . . . . . . . . . . . 398
A.2.5 矩阵分解 . . . . . . . . . . . . . . . . . . . . . . . . . . 398
附录 B 微积分
399
B.1 导数 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 399
B.1.1 矩阵微积分 . . . . . . . . . . . . . . . . . . . . . . . . . 400
B.1.2 导数法则 . . . . . . . . . . . . . . . . . . . . . . . . . . 401
B.2 常见函数的导数 . . . . . . . . . . . . . . . . . . . . . . . . . . . 402
B.2.1 向量函数及其导数 . . . . . . . . . . . . . . . . . . . . . 402
B.2.2 按位计算的向量函数及其导数 . . . . . . . . . . . . . . . 403
B.2.3 Logistic函数 . . . . . . . . . . . . . . . . . . . . . . . . 403
B.2.4 Softmax函数 . . . . . . . . . . . . . . . . . . . . . . . . 404
附录 C 数学优化
406
C.1 数学优化的类型 . . . . . . . . . . . . . . . . . . . . . . . . . . . 406
C.1.1 离散优化和连续优化 . . . . . . . . . . . . . . . . . . . . 406
C.1.2 无约束优化和约束优化 . . . . . . . . . . . . . . . . . . . 407
C.1.3 线性优化和非线性优化 . . . . . . . . . . . . . . . . . . . 407
C.2 优化算法 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 407
C.3 拉格朗日乘数法与KKT条件 . . . . . . . . . . . . . . . . . . . 410
C.3.1 等式约束优化问题 . . . . . . . . . . . . . . . . . . . . . 410
C.3.2 不等式约束优化问题 . . . . . . . . . . . . . . . . . . . . 411
附录 D 概率论
413
D.1 样本空间 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 413
D.2 事件和概率 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 413
D.2.1 随机变量 . . . . . . . . . . . . . . . . . . . . . . . . . . 414
D.2.2 随机向量 . . . . . . . . . . . . . . . . . . . . . . . . . . 418
D.2.3 边际分布 . . . . . . . . . . . . . . . . . . . . . . . . . . 419
D.2.4 条件概率分布 . . . . . . . . . . . . . . . . . . . . . . . . 420
D.2.5 独立与条件独立
. . . . . . . . . . . . . . . . . . . . . .
421
邱锡鹏：《神经网络与深度学习》
https://nndl.github.io/目录
2019 年 6 月 4 日
XIII
D.2.6 期望和方差 . . . . . . . . . . . . . . . . . . . . . . . . . 421
D.3 随机过程 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 422
D.3.1 马尔可夫过程 . . . . . . . . . . . . . . . . . . . . . . . . 423
D.3.2 高斯过程 . . . . . . . . . . . . . . . . . . . . . . . . . . 424
附录 E 信息论
426
E.1 熵 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 426
E.1.1
自信息和熵 . . . . . . . . . . . . . . . . . . . . . . . . . 426
E.1.2 联合熵和条件熵
. . . . . . . . . . . . . . . . . . . . . .
427
E.2 互信息 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 427
E.3 交叉熵和散度 . . . . . . . . . . . . . . . . . . . . . . . . . . . . 428
E.3.1 交叉熵 . . . . . . . . . . . . . . . . . . . . . . . . . . . . 428
E.3.2 KL散度 . . . . . . . . . . . . . . . . . . . . . . . . . . . 428
E.3.3 JS散度 . . . . . . . . . . . . . . . . . . . . . . . . . . . 428
E.3.4 Wasserstein距离 . . . . . . . . . . . . . . . . . . . . . . 429
索引
431
好例子网口号：伸出你的我的手 — 分享！
小贴士
感谢您为本站写下的评论，您的评论对其它用户来说具有重要的参考价值，所以请认真填写。
- 类似“顶”、“沙发”之类没有营养的文字，对勤劳贡献的楼主来说是令人沮丧的反馈信息。
- 相信您也不想看到一排文字/表情墙，所以请不要反馈意义不大的重复字符，也请尽量不要纯表情的回复。
- 提问之前请再仔细看一遍楼主的说明，或许是您遗漏了。
- 请勿到处挖坑绊人、招贴广告。既占空间让人厌烦，又没人会搭理，于人于己都无利。
关于好例子网
本站旨在为广大IT学习爱好者提供一个非营利性互相学习交流分享平台。本站所有资源都可以被免费获取学习研究。本站资源来自网友分享，对搜索内容的合法性不具有预见性、识别性、控制性，仅供学习研究，请务必在下载后24小时内给予删除，不得用于其他任何用途，否则后果自负。基于互联网的特殊性，平台无法对用户传输的作品、信息、内容的权属或合法性、安全性、合规性、真实性、科学性、完整权、有效性等进行实质审查；无论平台是否已进行审查，用户均应自行承担因其传输的作品、信息、内容而可能或已经产生的侵权或权属纠纷等法律责任。本站所有资源不代表本站的观点或立场，基于网友分享，根据中国法律《信息网络传播权保护条例》第二十二与二十三条之规定，若资源存在侵权或相关问题请联系本站客服人员，点此联系我们。关于更多版权及免责申明参见 版权及免责申明
网友评论
我要评论