实例介绍
【实例简介】
动手学习深度学习——pytorch版本
【实例截图】【核心代码】
动⼿学深度学习 Pytorch 版(demo) 深度学习简介 起源 发展 成功案例 特点 ⼩结 练习 参考⽂献 2.1 环境配置 2.1.1 Anaconda 2.1.2 Jupyter 2.1.3 PyTorch 2.1.4 其他 2.2 数据操作 2.2.1 创建 Tensor 2.2.2 操作 算术操作 索引 改变形状 线性代数 2.2.3 ⼴播机制 2.2.4 运算的内存开销 2.2.5 Tensor 和NumPy相互转换 Tensor 转NumPy NumPy数组转 Tensor 2.2.6 Tensor on GPU 2.3 ⾃动求梯度 2.3.1 概念 2.3.2 Tensor 2.3.2 梯度 3.1 线性回归 3.1.1 线性回归的基本要素 3.1.1.1 模型定义 3.1.1.2 模型训练 (1) 训练数据 (2) 损失函数 (3) 优化算法 3.1.1.3 模型预测 3.1.2 线性回归的表示⽅法 3.1.2.1 神经⽹络图 3.1.2.2 ⽮量计算表达式 ⼩结 3.2 线性回归的从零开始实现 3.2.1 ⽣成数据集 3.2.2 读取数据 3.2.3 初始化模型参数 3.2.4 定义模型 3.2.5 定义损失函数 3.2.6 定义优化算法 3.2.7 训练模型 ⼩结 3.3 线性回归的简洁实现 3.3.1 ⽣成数据集 3.3.2 读取数据 3.3.3 定义模型 3.3.4 初始化模型参数 3.3.5 定义损失函数 3.3.6 定义优化算法 3.3.7 训练模型 ⼩结 3.4 softmax回归 3.4.1 分类问题 3.4.2 softmax回归模型 3.4.3 单样本分类的⽮量计算表达式 3.4.4 ⼩批量样本分类的⽮量计算表达式 3.4.5 交叉熵损失函数 3.4.6 模型预测及评价 ⼩结 3.5 图像分类数据集(Fashion-MNIST) 3.5.1 获取数据集 3.5.2 读取⼩批量 ⼩结 参考⽂献 3.6 softmax回归的从零开始实现 3.6.1 获取和读取数据 3.6.2 初始化模型参数 3.6.3 实现softmax运算 3.6.4 定义模型 3.6.5 定义损失函数 3.6.6 计算分类准确率 3.6.7 训练模型 3.6.8 预测 ⼩结 3.7 softmax回归的简洁实现 3.7.1 获取和读取数据 3.7.2 定义和初始化模型 3.7.3 softmax和交叉熵损失函数 3.7.4 定义优化算法 3.7.5 训练模型 ⼩结 3.8 多层感知机 3.8.1 隐藏层 3.8.2 激活函数 3.8.2.1 ReLU函数 3.8.2.2 sigmoid函数 3.8.2.3 tanh函数 3.8.3 多层感知机 ⼩结 3.9 多层感知机的从零开始实现 3.9.1 获取和读取数据 3.9.2 定义模型参数 3.9.3 定义激活函数 3.9.4 定义模型 3.9.5 定义损失函数 3.9.6 训练模型 ⼩结 3.10 多层感知机的简洁实现 3.10.1 定义模型 3.10.2 读取数据并训练模型 ⼩结 3.11 模型选择、⽋拟合和过拟合 3.11.1 训练误差和泛化误差 3.11.2 模型选择 3.11.2.1 验证数据集 3.11.2.3 折交叉验证 3.11.3 ⽋拟合和过拟合 3.11.3.1 模型复杂度 3.11.3.2 训练数据集⼤⼩ 3.11.4 多项式函数拟合实验 3.11.4.1 ⽣成数据集 3.11.4.2 定义、训练和测试模型 3.11.4.3 三阶多项式函数拟合(正常) 3.11.4.4 线性函数拟合(⽋拟合) 3.11.4.5 训练样本不⾜(过拟合) ⼩结 3.12 权重衰减 3.12.1 ⽅法 3.12.2 ⾼维线性回归实验 3.12.3 从零开始实现 3.12.3.1 初始化模型参数 3.12.3.2 定义 范数惩罚项 3.12.3.3 定义训练和测试 3.12.3.4 观察过拟合 3.12.3.5 使⽤权᯿衰减 3.12.4 简洁实现 ⼩结 3.13 丢弃法 3.13.1 ⽅法 3.13.2 从零开始实现 3.13.2.1 定义模型参数 3.13.2.2 定义模型 3.13.2.3 训练和测试模型 3.13.3 简洁实现 ⼩结 参考⽂献 3.14 正向传播、反向传播和计算图 3.14.1 正向传播 3.14.2 正向传播的计算图 3.14.3 反向传播 3.14.4 训练深度学习模型 ⼩结 3.15 数值稳定性和模型初始化 3.15.1 衰减和爆炸 3.15.2 随机初始化模型参数 3.15.2.1 PyTorch的默认随机初始化 3.15.2.2 Xavier随机初始化 ⼩结 参考⽂献 3.16 实战Kaggle⽐赛:房价预测 3.16.1 Kaggle⽐赛 3.16.2 获取和读取数据集 3.16.3 预处理数据 3.16.4 训练模型 3.16.5 折交叉验证 3.16.6 模型选择 3.16.7 预测并在Kaggle提交结果 ⼩结 4.1 模型构造 4.1.1 继承 Module 类来构造模型 4.1.2 Module 的⼦类 4.1.2.1 Sequential 类 4.1.2.2 ModuleList 类 4.1.2.3 ModuleDict 类 4.1.3 构造复杂的模型 ⼩结 4.2 模型参数的访问、初始化和共享 4.2.1 访问模型参数 4.2.2 初始化模型参数 4.2.3 ⾃定义初始化⽅法 4.2.4 共享模型参数 ⼩结 4.3 模型参数的延后初始化 4.4 ⾃定义层 4.4.1 不含模型参数的⾃定义层 4.4.2 含模型参数的⾃定义层 ⼩结 4.5 读取和存储 4.5.1 读写 Tensor 4.5.2 读写模型 4.5.2.1 state_dict 4.5.2.2 保存和加载模型 1. 保存和加载 state_dict (推荐⽅式) 2. 保存和加载整个模型 ⼩结 4.6 GPU计算 4.6.1 计算设备 4.6.2 Tensor 的GPU计算 4.6.3 模型的GPU计算 ⼩结 5.1 ⼆维卷积层 5.1.1 ⼆维互相关运算 5.1.2 ⼆维卷积层 5.1.3 图像中物体边缘检测 5.1.4 通过数据学习核数组 5.1.5 互相关运算和卷积运算 5.1.6 特征图和感受ᰀ ⼩结 5.2 填充和步幅 5.2.1 填充 5.2.2 步幅 ⼩结 5.3 多输⼊通道和多输出通道 5.3.1 多输⼊通道 5.3.2 多输出通道 5.3.3 卷积层 ⼩结 5.4 池化层 5.4.1 ⼆维最⼤池化层和平均池化层 5.4.2 填充和步幅 5.4.3 多通道 ⼩结 5.5 卷积神经⽹络(LeNet) 5.5.1 LeNet模型 5.5.2 获取数据和训练模型 ⼩结 参考⽂献 5.6 深度卷积神经⽹络(AlexNet) 5.6.1 学习特征表示 5.6.1.1 缺失要素⼀:数据 5.6.1.2 缺失要素⼆:硬件 5.6.2 AlexNet 5.6.3 读取数据 5.6.4 训练 ⼩结 参考⽂献 5.7 使⽤重复元素的⽹络(VGG) 5.7.1 VGG块 5.7.2 VGG⽹络 5.7.3 获取数据和训练模型 ⼩结 参考⽂献 5.8 ⽹络中的⽹络(NiN) 5.8.1 NiN块 5.8.2 NiN模型 5.8.3 获取数据和训练模型 ⼩结 参考⽂献 5.9 含并⾏连结的⽹络(GoogLeNet) 5.9.1 Inception 块 5.9.2 GoogLeNet模型 5.9.3 获取数据和训练模型 ⼩结 参考⽂献 5.10 批量归⼀化 5.10.1 批量归⼀化层 5.10.1.1 对全连接层做批量归⼀化 5.10.1.2 对卷积层做批量归⼀化 5.10.1.3 预测时的批量归⼀化 5.10.2 从零开始实现 5.10.2.1 使⽤批量归⼀化层的LeNet 5.10.3 简洁实现 ⼩结 参考⽂献 5.11 残差⽹络(ResNet) 5.11.2 残差块 5.11.2 ResNet模型 5.11.3 获取数据和训练模型 ⼩结 参考⽂献 5.12 稠密连接⽹络(DenseNet) 5.12.1 稠密块 5.12.2 过渡层 5.12.3 DenseNet模型 5.12.4 获取数据并训练模型 ⼩结 参考⽂献 6.1 语⾔模型 6.1.1 语⾔模型的计算 6.1.2 元语法 ⼩结 6.2 循环神经⽹络 6.2.1 不含隐藏状态的神经⽹络 6.2.2 含隐藏状态的循环神经⽹络 6.2.3 应⽤:基于字符级循环神经⽹络的语⾔模型 ⼩结 6.3 语⾔模型数据集(周杰伦专辑歌词) 6.3.1 读取数据集 6.3.2 建⽴字符索引 6.3.3 时序数据的采样 6.3.3.1 随机采样 6.3.3.2 相邻采样 ⼩结 6.4 循环神经⽹络的从零开始实现 6.4.1 one-hot向量 6.4.2 初始化模型参数 6.4.3 定义模型 6.4.4 定义预测函数 6.4.5 裁剪梯度 6.4.6 困惑度 6.4.7 定义模型训练函数 6.4.8 训练模型并创作歌词 ⼩结 6.5 循环神经⽹络的简洁实现 6.5.1 定义模型 6.5.2 训练模型 ⼩结 6.6 通过时间反向传播 6.6.1 定义模型 6.6.2 模型计算图 6.6.3 ⽅法 ⼩结 6.7 ⻔控循环单元(GRU) 6.7.1 ⻔控循环单元 6.7.1.1 ᯿置⻔和更新⻔ 6.7.1.2 候选隐藏状态 6.7.1.3 隐藏状态 6.7.2 读取数据集 6.7.3 从零开始实现 6.7.3.1 初始化模型参数 6.7.3.2 定义模型 6.7.3.3 训练模型并创作歌词 6.7.4 简洁实现 ⼩结 参考⽂献 6.8 ⻓短期记忆(LSTM) 6.8.1 ⻓短期记忆 6.8.1.1 输⼊⻔、遗忘⻔和输出⻔ 6.8.1.2 候选记忆细胞 6.8.1.3 记忆细胞 6.8.1.4 隐藏状态 6.8.2 读取数据集 6.8.3 从零开始实现 6.8.3.1 初始化模型参数 6.8.4 定义模型 6.8.4.1 训练模型并创作歌词 6.8.5 简洁实现 ⼩结 参考⽂献 6.9 深度循环神经⽹络 ⼩结 6.10 双向循环神经⽹络 ⼩结 7.1 优化与深度学习 7.1.1 优化与深度学习的关系 7.1.2 优化在深度学习中的挑战 7.1.2.1 局部最⼩值 7.1.2.2 鞍点 ⼩结 参考⽂献 7.2 梯度下降和随机梯度下降 7.2.1 ⼀维梯度下降 7.2.2 学习率 7.2.3 多维梯度下降 7.2.4 随机梯度下降 ⼩结 参考⽂献 7.3 ⼩批量随机梯度下降 7.3.1 读取数据 7.3.2 从零开始实现 7.3.3 简洁实现 ⼩结 参考⽂献 7.4 动量法 7.4.1 梯度下降的问题 7.4.2 动量法 7.4.2.1 指数加权移动平均 7.4.2.2 由指数加权移动平均理解动量法 7.4.3 从零开始实现 7.4.4 简洁实现 ⼩结 7.5 AdaGrad算法 7.5.1 算法 7.5.2 特点 7.5.3 从零开始实现 7.5.4 简洁实现 ⼩结 参考⽂献 7.6 RMSProp算法 7.6.1 算法 7.6.2 从零开始实现 7.6.3 简洁实现 ⼩结 参考⽂献 7.7 AdaDelta算法 7.7.1 算法 7.7.2 从零开始实现 7.7.3 简洁实现 ⼩结 参考⽂献 7.8 Adam算法 7.8.1 算法 7.8.2 从零开始实现 7.8.3 简洁实现 ⼩结 参考⽂献 8.1 命令式和符号式混合编程 8.1.1 混合式编程取两者之⻓ 8.2 异步计算 8.3 ⾃动并⾏计算 8.4 多GPU计算 8.4.1 多GPU计算 8.4.2 多GPU模型的保存与加载 9.1 图像增⼴ 9.1.1 常⽤的图像增⼴⽅法 9.1.1.1 翻转和裁剪 9.1.1.2 变化颜⾊ 9.1.1.3 叠加多个图像增⼴⽅法 9.1.2 使⽤图像增⼴训练模型 9.1.2.1 使⽤图像增⼴训练模型 ⼩结 9.2 微调 9.2.1 热狗识别 9.2.1.1 获取数据集 9.2.1.2 定义和初始化模型 9.2.1.3 微调模型 ⼩结 9.3 ⽬标检测和边界框 9.3.1 边界框 ⼩结 9.4 锚框 9.4.1 ⽣成多个锚框 9.4.2 交并⽐ 9.4.3 标注训练集的锚框 9.4.4 输出预测边界框 ⼩结 练习 10.1 词嵌⼊(word2vec) 10.1.1 为何不采⽤one-hot向量 10.1.2 跳字模型 10.1.2.1 训练跳字模型 10.1.3 连续词袋模型 10.1.3.1 训练连续词袋模型 ⼩结 参考⽂献 10.2 近似训练 10.2.1 负采样 10.2.2 层序softmax ⼩结 10.3 word2vec的实现 10.3.1 处理数据集 10.3.1.1 建⽴词语索引 10.3.1.2 ⼆次采样 10.3.1.3 提取中⼼词和背景词 10.3.2 负采样 10.3.3 读取数据 10.3.4 跳字模型 10.3.4.1 嵌⼊层 10.3.4.2 ⼩批量乘法 10.3.4.3 跳字模型前向计算 10.3.5 训练模型 10.3.5.1 ⼆元交叉熵损失函数 10.3.5.2 初始化模型参数 10.3.5.3 定义训练函数 10.3.6 应⽤词嵌⼊模型 ⼩结 参考⽂献 10.4 ⼦词嵌⼊(fastText) ⼩结 参考⽂献 10.5 全局向量的词嵌⼊(GloVe) 10.5.1 GloVe模型 10.5.2 从条件概率⽐值理解GloVe模型 ⼩结 参考⽂献 10.6 求近义词和类⽐词 10.6.1 使⽤预训练的词向量 10.6.2 应⽤预训练词向量 10.6.2.1 求近义词 10.6.2.2 求类⽐词 ⼩结 参考⽂献 10.7 ⽂本情感分类:使⽤循环神经⽹络 10.7.1 ⽂本情感分类数据 10.7.1.1 读取数据 10.7.1.2 预处理数据 10.7.1.3 创建数据迭代器 10.7.2 使⽤循环神经⽹络的模型 10.7.2.1 加载预训练的词向量 10.7.2.2 训练并评价模型 ⼩结 参考⽂献 10.8 ⽂本情感分类:使⽤卷积神经⽹络(textCNN) 10.8.1 ⼀维卷积层 10.8.2 时序最⼤池化层 10.8.3 读取和预处理IMDb数据集 10.8.4 textCNN模型 10.8.4.1 加载预训练的词向量 10.8.4.2 训练并评价模型 ⼩结 参考⽂献 10.9 编码器—解码器(seq2seq) 10.9.1 编码器 10.9.2 解码器 10.9.3 训练模型 ⼩结 参考⽂献 10.10 束搜索 10.10.1 贪婪搜索 10.10.2 穷举搜索 10.10.3 束搜索 ⼩结 10.11 注意⼒机制 10.11.1 计算背景变量 10.11.1.1 ⽮量化计算 10.11.2 更新隐藏状态 10.11.3 发展 ⼩结 参考⽂献 10.12 机器翻译 10.12.1 读取和预处理数据 10.12.2 含注意⼒机制的编码器—解码器 10.12.2.1 编码器 10.12.2.2 注意⼒机制 10.12.2.3 含注意⼒机制的解码器 10.12.3 训练模型 10.12.4 预测不定⻓的序列 10.12.5 评价翻译结果 ⼩结 参考⽂献 图1.1 在中世纪,16名男⼦的平均脚⻓被⽤来估计男⼦的平均脚⻓
好例子网口号:伸出你的我的手 — 分享!
小贴士
感谢您为本站写下的评论,您的评论对其它用户来说具有重要的参考价值,所以请认真填写。
- 类似“顶”、“沙发”之类没有营养的文字,对勤劳贡献的楼主来说是令人沮丧的反馈信息。
- 相信您也不想看到一排文字/表情墙,所以请不要反馈意义不大的重复字符,也请尽量不要纯表情的回复。
- 提问之前请再仔细看一遍楼主的说明,或许是您遗漏了。
- 请勿到处挖坑绊人、招贴广告。既占空间让人厌烦,又没人会搭理,于人于己都无利。
关于好例子网
本站旨在为广大IT学习爱好者提供一个非营利性互相学习交流分享平台。本站所有资源都可以被免费获取学习研究。本站资源来自网友分享,对搜索内容的合法性不具有预见性、识别性、控制性,仅供学习研究,请务必在下载后24小时内给予删除,不得用于其他任何用途,否则后果自负。基于互联网的特殊性,平台无法对用户传输的作品、信息、内容的权属或合法性、安全性、合规性、真实性、科学性、完整权、有效性等进行实质审查;无论平台是否已进行审查,用户均应自行承担因其传输的作品、信息、内容而可能或已经产生的侵权或权属纠纷等法律责任。本站所有资源不代表本站的观点或立场,基于网友分享,根据中国法律《信息网络传播权保护条例》第二十二与二十三条之规定,若资源存在侵权或相关问题请联系本站客服人员,点此联系我们。关于更多版权及免责申明参见 版权及免责申明
网友评论
我要评论