Dive-into-DL-Pytorch.PDF

【实例简介】

动手学习深度学习——pytorch版本

【核心代码】

动⼿学深度学习 Pytorch 版(demo)
深度学习简介
起源
发展
成功案例
特点
⼩结
练习
参考⽂献
2.1 环境配置
2.1.1 Anaconda
2.1.2 Jupyter
2.1.3 PyTorch
2.1.4 其他
2.2 数据操作
2.2.1 创建 Tensor
2.2.2 操作
算术操作
索引
改变形状
线性代数
2.2.3 ⼴播机制
2.2.4 运算的内存开销
2.2.5 Tensor 和NumPy相互转换
Tensor 转NumPy
NumPy数组转 Tensor
2.2.6 Tensor on GPU
2.3 ⾃动求梯度
2.3.1 概念
2.3.2 Tensor
2.3.2 梯度
3.1 线性回归
3.1.1 线性回归的基本要素
3.1.1.1 模型定义
3.1.1.2 模型训练
(1) 训练数据
(2) 损失函数
(3) 优化算法
3.1.1.3 模型预测
3.1.2 线性回归的表示⽅法
3.1.2.1 神经⽹络图
3.1.2.2 ⽮量计算表达式
⼩结
3.2 线性回归的从零开始实现
3.2.1 ⽣成数据集
3.2.2 读取数据
3.2.3 初始化模型参数
3.2.4 定义模型
3.2.5 定义损失函数
3.2.6 定义优化算法
3.2.7 训练模型
⼩结
3.3 线性回归的简洁实现
3.3.1 ⽣成数据集
3.3.2 读取数据
3.3.3 定义模型
3.3.4 初始化模型参数
3.3.5 定义损失函数
3.3.6 定义优化算法
3.3.7 训练模型
⼩结
3.4 softmax回归
3.4.1 分类问题
3.4.2 softmax回归模型
3.4.3 单样本分类的⽮量计算表达式
3.4.4 ⼩批量样本分类的⽮量计算表达式
3.4.5 交叉熵损失函数
3.4.6 模型预测及评价
⼩结
3.5 图像分类数据集（Fashion-MNIST）
3.5.1 获取数据集
3.5.2 读取⼩批量
⼩结
参考⽂献
3.6 softmax回归的从零开始实现
3.6.1 获取和读取数据
3.6.2 初始化模型参数
3.6.3 实现softmax运算
3.6.4 定义模型
3.6.5 定义损失函数
3.6.6 计算分类准确率
3.6.7 训练模型
3.6.8 预测
⼩结
3.7 softmax回归的简洁实现
3.7.1 获取和读取数据
3.7.2 定义和初始化模型
3.7.3 softmax和交叉熵损失函数
3.7.4 定义优化算法
3.7.5 训练模型
⼩结
3.8 多层感知机
3.8.1 隐藏层
3.8.2 激活函数
3.8.2.1 ReLU函数
3.8.2.2 sigmoid函数
3.8.2.3 tanh函数
3.8.3 多层感知机
⼩结
3.9 多层感知机的从零开始实现
3.9.1 获取和读取数据
3.9.2 定义模型参数
3.9.3 定义激活函数
3.9.4 定义模型
3.9.5 定义损失函数
3.9.6 训练模型
⼩结
3.10 多层感知机的简洁实现
3.10.1 定义模型
3.10.2 读取数据并训练模型
⼩结
3.11 模型选择、⽋拟合和过拟合
3.11.1 训练误差和泛化误差
3.11.2 模型选择
3.11.2.1 验证数据集
3.11.2.3 折交叉验证
3.11.3 ⽋拟合和过拟合
3.11.3.1 模型复杂度
3.11.3.2 训练数据集⼤⼩
3.11.4 多项式函数拟合实验
3.11.4.1 ⽣成数据集
3.11.4.2 定义、训练和测试模型
3.11.4.3 三阶多项式函数拟合（正常）
3.11.4.4 线性函数拟合（⽋拟合）
3.11.4.5 训练样本不⾜（过拟合）
⼩结
3.12 权重衰减
3.12.1 ⽅法
3.12.2 ⾼维线性回归实验
3.12.3 从零开始实现
3.12.3.1 初始化模型参数
3.12.3.2 定义 范数惩罚项
3.12.3.3 定义训练和测试
3.12.3.4 观察过拟合
3.12.3.5 使⽤权᯿衰减
3.12.4 简洁实现
⼩结
3.13 丢弃法
3.13.1 ⽅法
3.13.2 从零开始实现
3.13.2.1 定义模型参数
3.13.2.2 定义模型
3.13.2.3 训练和测试模型
3.13.3 简洁实现
⼩结
参考⽂献
3.14 正向传播、反向传播和计算图
3.14.1 正向传播
3.14.2 正向传播的计算图
3.14.3 反向传播
3.14.4 训练深度学习模型
⼩结
3.15 数值稳定性和模型初始化
3.15.1 衰减和爆炸
3.15.2 随机初始化模型参数
3.15.2.1 PyTorch的默认随机初始化
3.15.2.2 Xavier随机初始化
⼩结
参考⽂献
3.16 实战Kaggle⽐赛：房价预测
3.16.1 Kaggle⽐赛
3.16.2 获取和读取数据集
3.16.3 预处理数据
3.16.4 训练模型
3.16.5 折交叉验证
3.16.6 模型选择
3.16.7 预测并在Kaggle提交结果
⼩结
4.1 模型构造
4.1.1 继承 Module 类来构造模型
4.1.2 Module 的⼦类
4.1.2.1 Sequential 类
4.1.2.2 ModuleList 类
4.1.2.3 ModuleDict 类
4.1.3 构造复杂的模型
⼩结
4.2 模型参数的访问、初始化和共享
4.2.1 访问模型参数
4.2.2 初始化模型参数
4.2.3 ⾃定义初始化⽅法
4.2.4 共享模型参数
⼩结
4.3 模型参数的延后初始化
4.4 ⾃定义层
4.4.1 不含模型参数的⾃定义层
4.4.2 含模型参数的⾃定义层
⼩结
4.5 读取和存储
4.5.1 读写 Tensor
4.5.2 读写模型
4.5.2.1 state_dict
4.5.2.2 保存和加载模型
1. 保存和加载 state_dict (推荐⽅式)
2. 保存和加载整个模型
⼩结
4.6 GPU计算
4.6.1 计算设备
4.6.2 Tensor 的GPU计算
4.6.3 模型的GPU计算
⼩结
5.1 ⼆维卷积层
5.1.1 ⼆维互相关运算
5.1.2 ⼆维卷积层
5.1.3 图像中物体边缘检测
5.1.4 通过数据学习核数组
5.1.5 互相关运算和卷积运算
5.1.6 特征图和感受ᰀ
⼩结
5.2 填充和步幅
5.2.1 填充
5.2.2 步幅
⼩结
5.3 多输⼊通道和多输出通道
5.3.1 多输⼊通道
5.3.2 多输出通道
5.3.3 卷积层
⼩结
5.4 池化层
5.4.1 ⼆维最⼤池化层和平均池化层
5.4.2 填充和步幅
5.4.3 多通道
⼩结
5.5 卷积神经⽹络（LeNet）
5.5.1 LeNet模型
5.5.2 获取数据和训练模型
⼩结
参考⽂献
5.6 深度卷积神经⽹络（AlexNet）
5.6.1 学习特征表示
5.6.1.1 缺失要素⼀：数据
5.6.1.2 缺失要素⼆：硬件
5.6.2 AlexNet
5.6.3 读取数据
5.6.4 训练
⼩结
参考⽂献
5.7 使⽤重复元素的⽹络（VGG）
5.7.1 VGG块
5.7.2 VGG⽹络
5.7.3 获取数据和训练模型
⼩结
参考⽂献
5.8 ⽹络中的⽹络（NiN）
5.8.1 NiN块
5.8.2 NiN模型
5.8.3 获取数据和训练模型
⼩结
参考⽂献
5.9 含并⾏连结的⽹络（GoogLeNet）
5.9.1 Inception 块
5.9.2 GoogLeNet模型
5.9.3 获取数据和训练模型
⼩结
参考⽂献
5.10 批量归⼀化
5.10.1 批量归⼀化层
5.10.1.1 对全连接层做批量归⼀化
5.10.1.2 对卷积层做批量归⼀化
5.10.1.3 预测时的批量归⼀化
5.10.2 从零开始实现
5.10.2.1 使⽤批量归⼀化层的LeNet
5.10.3 简洁实现
⼩结
参考⽂献
5.11 残差⽹络（ResNet）
5.11.2 残差块
5.11.2 ResNet模型
5.11.3 获取数据和训练模型
⼩结
参考⽂献
5.12 稠密连接⽹络（DenseNet）
5.12.1 稠密块
5.12.2 过渡层
5.12.3 DenseNet模型
5.12.4 获取数据并训练模型
⼩结
参考⽂献
6.1 语⾔模型
6.1.1 语⾔模型的计算
6.1.2 元语法
⼩结
6.2 循环神经⽹络
6.2.1 不含隐藏状态的神经⽹络
6.2.2 含隐藏状态的循环神经⽹络
6.2.3 应⽤：基于字符级循环神经⽹络的语⾔模型
⼩结
6.3 语⾔模型数据集（周杰伦专辑歌词）
6.3.1 读取数据集
6.3.2 建⽴字符索引
6.3.3 时序数据的采样
6.3.3.1 随机采样
6.3.3.2 相邻采样
⼩结
6.4 循环神经⽹络的从零开始实现
6.4.1 one-hot向量
6.4.2 初始化模型参数
6.4.3 定义模型
6.4.4 定义预测函数
6.4.5 裁剪梯度
6.4.6 困惑度
6.4.7 定义模型训练函数
6.4.8 训练模型并创作歌词
⼩结
6.5 循环神经⽹络的简洁实现
6.5.1 定义模型
6.5.2 训练模型
⼩结
6.6 通过时间反向传播
6.6.1 定义模型
6.6.2 模型计算图
6.6.3 ⽅法
⼩结
6.7 ⻔控循环单元（GRU）
6.7.1 ⻔控循环单元
6.7.1.1 ᯿置⻔和更新⻔
6.7.1.2 候选隐藏状态
6.7.1.3 隐藏状态
6.7.2 读取数据集
6.7.3 从零开始实现
6.7.3.1 初始化模型参数
6.7.3.2 定义模型
6.7.3.3 训练模型并创作歌词
6.7.4 简洁实现
⼩结
参考⽂献
6.8 ⻓短期记忆（LSTM）
6.8.1 ⻓短期记忆
6.8.1.1 输⼊⻔、遗忘⻔和输出⻔
6.8.1.2 候选记忆细胞
6.8.1.3 记忆细胞
6.8.1.4 隐藏状态
6.8.2 读取数据集
6.8.3 从零开始实现
6.8.3.1 初始化模型参数
6.8.4 定义模型
6.8.4.1 训练模型并创作歌词
6.8.5 简洁实现
⼩结
参考⽂献
6.9 深度循环神经⽹络
⼩结
6.10 双向循环神经⽹络
⼩结
7.1 优化与深度学习
7.1.1 优化与深度学习的关系
7.1.2 优化在深度学习中的挑战
7.1.2.1 局部最⼩值
7.1.2.2 鞍点
⼩结
参考⽂献
7.2 梯度下降和随机梯度下降
7.2.1 ⼀维梯度下降
7.2.2 学习率
7.2.3 多维梯度下降
7.2.4 随机梯度下降
⼩结
参考⽂献
7.3 ⼩批量随机梯度下降
7.3.1 读取数据
7.3.2 从零开始实现
7.3.3 简洁实现
⼩结
参考⽂献
7.4 动量法
7.4.1 梯度下降的问题
7.4.2 动量法
7.4.2.1 指数加权移动平均
7.4.2.2 由指数加权移动平均理解动量法
7.4.3 从零开始实现
7.4.4 简洁实现
⼩结
7.5 AdaGrad算法
7.5.1 算法
7.5.2 特点
7.5.3 从零开始实现
7.5.4 简洁实现
⼩结
参考⽂献
7.6 RMSProp算法
7.6.1 算法
7.6.2 从零开始实现
7.6.3 简洁实现
⼩结
参考⽂献
7.7 AdaDelta算法
7.7.1 算法
7.7.2 从零开始实现
7.7.3 简洁实现
⼩结
参考⽂献
7.8 Adam算法
7.8.1 算法
7.8.2 从零开始实现
7.8.3 简洁实现
⼩结
参考⽂献
8.1 命令式和符号式混合编程
8.1.1 混合式编程取两者之⻓
8.2 异步计算
8.3 ⾃动并⾏计算
8.4 多GPU计算
8.4.1 多GPU计算
8.4.2 多GPU模型的保存与加载
9.1 图像增⼴
9.1.1 常⽤的图像增⼴⽅法
9.1.1.1 翻转和裁剪
9.1.1.2 变化颜⾊
9.1.1.3 叠加多个图像增⼴⽅法
9.1.2 使⽤图像增⼴训练模型
9.1.2.1 使⽤图像增⼴训练模型
⼩结
9.2 微调
9.2.1 热狗识别
9.2.1.1 获取数据集
9.2.1.2 定义和初始化模型
9.2.1.3 微调模型
⼩结
9.3 ⽬标检测和边界框
9.3.1 边界框
⼩结
9.4 锚框
9.4.1 ⽣成多个锚框
9.4.2 交并⽐
9.4.3 标注训练集的锚框
9.4.4 输出预测边界框
⼩结
练习
10.1 词嵌⼊（word2vec）
10.1.1 为何不采⽤one-hot向量
10.1.2 跳字模型
10.1.2.1 训练跳字模型
10.1.3 连续词袋模型
10.1.3.1 训练连续词袋模型
⼩结
参考⽂献
10.2 近似训练
10.2.1 负采样
10.2.2 层序softmax
⼩结
10.3 word2vec的实现
10.3.1 处理数据集
10.3.1.1 建⽴词语索引
10.3.1.2 ⼆次采样
10.3.1.3 提取中⼼词和背景词
10.3.2 负采样
10.3.3 读取数据
10.3.4 跳字模型
10.3.4.1 嵌⼊层
10.3.4.2 ⼩批量乘法
10.3.4.3 跳字模型前向计算
10.3.5 训练模型
10.3.5.1 ⼆元交叉熵损失函数
10.3.5.2 初始化模型参数
10.3.5.3 定义训练函数
10.3.6 应⽤词嵌⼊模型
⼩结
参考⽂献
10.4 ⼦词嵌⼊（fastText）
⼩结
参考⽂献
10.5 全局向量的词嵌⼊（GloVe）
10.5.1 GloVe模型
10.5.2 从条件概率⽐值理解GloVe模型
⼩结
参考⽂献
10.6 求近义词和类⽐词
10.6.1 使⽤预训练的词向量
10.6.2 应⽤预训练词向量
10.6.2.1 求近义词
10.6.2.2 求类⽐词
⼩结
参考⽂献
10.7 ⽂本情感分类：使⽤循环神经⽹络
10.7.1 ⽂本情感分类数据
10.7.1.1 读取数据
10.7.1.2 预处理数据
10.7.1.3 创建数据迭代器
10.7.2 使⽤循环神经⽹络的模型
10.7.2.1 加载预训练的词向量
10.7.2.2 训练并评价模型
⼩结
参考⽂献
10.8 ⽂本情感分类：使⽤卷积神经⽹络（textCNN）
10.8.1 ⼀维卷积层
10.8.2 时序最⼤池化层
10.8.3 读取和预处理IMDb数据集
10.8.4 textCNN模型
10.8.4.1 加载预训练的词向量
10.8.4.2 训练并评价模型
⼩结
参考⽂献
10.9 编码器—解码器（seq2seq）
10.9.1 编码器
10.9.2 解码器
10.9.3 训练模型
⼩结
参考⽂献
10.10 束搜索
10.10.1 贪婪搜索
10.10.2 穷举搜索
10.10.3 束搜索
⼩结
10.11 注意⼒机制
10.11.1 计算背景变量
10.11.1.1 ⽮量化计算
10.11.2 更新隐藏状态
10.11.3 发展
⼩结
参考⽂献
10.12 机器翻译
10.12.1 读取和预处理数据
10.12.2 含注意⼒机制的编码器—解码器
10.12.2.1 编码器
10.12.2.2 注意⼒机制
10.12.2.3 含注意⼒机制的解码器
10.12.3 训练模型
10.12.4 预测不定⻓的序列
10.12.5 评价翻译结果
⼩结
参考⽂献
图1.1 在中世纪，16名男⼦的平均脚⻓被⽤来估计男⼦的平均脚⻓