caffe学习笔记2020

【实例截图】

【核心代码】

目录
第一课  caffe介绍与编译 6
CaffeMerge代码下载地址： 6
关于帮助：README.md 8
Folders and files文件列表 8
 【注意】 11
Repository files navigation 11
 README   License 11
Windows Caffe 11
 Prebuilt binaries 12
 【注意：】 12
 Windows Setup 13
Requirements 13
Optional Dependencies 13
Configuring and Building Caffe 13
 or uninstall your copy of GCC 14
Install the caffe dependencies 15
Use cuDNN 15
Building only for CPU 16
Using the Python interface 16
Using the MATLAB interface 17
Using the Ninja generator 17
Building a shared library 18
Troubleshooting 18
 Known issues 18
 Further Details 18
Cifar10数据下载地址 19
caffe拓展库（我的略过） 19
打开CaffeMerge工程，并生成解决方案 20
【作者文件结构】 20
Build Customizations构建定制 23
打开后，选中caffe，菜单“项目”→“生成自定义” 24
我的生成解决方案 25
生成输出显示信息： 25
3>没有为此解决方案配置选中要生成的项目 25
跳过5文件，因为没有. cpp源文件： 34
开始训练 41
我的Convert_cifar10.cmd（将图片文件二值化）修改或新建为： 42
我的compute_cifar10_mean.cmd修改为： 44
如何训练？ 46
新建train.cmd脚本，进行训练 46
 我的train.cmd脚本修改为： 47
关于cifar10_quick_solver.prototxt描述文件 48
 我的修改如下 49
关于cifar10_quick_train_test.prototxt 50
 修改cifar10_quick_train_test.prototxt几个路径 50
backend: LEVELDB 51
phase: TEST 55
开始训练 56
 GPU用时1分钟；完成后生成2个文件，存放路径如下 58
整个训练流程图 58
如何保存编译过程日志 59
单张图片测试 59
新建一个synset_word.txt；识别的文本描述 59
automobile 60
新建一个test.cmd，识别率检查 60
新建classification.cmd，图片识别测试 63
作者的classification.cmd 64
我的classification.cmd 65
第二课：Caffe网络结构定义及可视化 65
Caffe网络结构定义及可视化 66
1. 层定义 66
d) BatchNormalize层定义 66
2. 网络结构可视化网站 66
3. 常用网络结构 66
b)Vgg16网络结构可视化及分析 66
2. 网络结构可视化网站 76
lenet_train_test.prototxt 可视化 76
3. 常用网络结构 77
a) Alexnet网络结构可视化 77
第三课：Caffe代码导读 203
几个重要头文件位置 205
梳理caffe代码io（十三）io.hpp解析 207
Db.hpp文件解析 222
Blob.hpp解析 223
Caffe源码导读 232
1.前言 232
2.Caffe代码结构 232
2.1 总体概述 232
2.2 代码阅读顺序建议 234
2.3 源码主线结构图 235
2.4 代码细节 236
caffe源码导读(六)layer.hpp头文件解析 248
看如下例子 262
Caffe源码导读 263
1.前言 263
2.Caffe代码结构 264
2.1 总体概述 264
2.2 代码阅读顺序建议 265
2.3 源码主线结构图 266
2.4 代码细节 266
 2.4.1 caffe.proto 266
Caffe代码导读（2）：caffe结构分析 279
【深度学习】【Caffe源代码解读3】笔记21 Caffe的基本数据结构之Net 284
2. 文件说明: 284
6. 【3】下面我们写一个Demo测试一下这个文件 284
7. 运行结果: 285
9. 【2】其中，Blob对象用于存放每个Layer的输入/输出的中间结果 285
1. 文件说明: 287
10. Net说明: 288
12. 开发环境: 288
28. #include "caffe/blob.hpp" 289
66. 函数说明: 291
68. 【2】用NetParameter对象初始化一个网络 291
72. 函数说明: 292
74. 【2】设置阶段，允许训练和测试使用同一个网络 292
98. Dtype ForwardTo(int end); 294
103. 几种不同形式的反向传播 294
第四课 Caffe代码调试 310
在visual studio 2015 中调试caffe 310
2. 将生成caffe.lib的caffe项目设置为启动项。 312
按下F10，断点处继续运行 314
第五课 Caffe获得参数内容及权重 351
新建控制台应用程序GetParam 351
Caffe模型在内存中加载（GetParam.cpp） 353
使用哪些接口进行模型参数的读取 361
第六课 Caffe获得某一层的特征值 361
#Caffe特征提取 361
1. 为什么进行特征提取 361
…………………… 362
2. 提取特征使用了哪些接口函数 362
###MemoryDataLayer 362
3. 特征抽取 362
越高层的特征抽象程度越高 语义信息 362
第八课 深度数据准备 366
目录 366
PART 01原始数据 366
PART 02 367
4.1实例 381
5.总结 381
本文内容来自网络资料与对GhatGPT的答案整理 381
1.背景 381
2.知识图谱 381
3.LabelBox介绍 381
4.使用LabelBox结构化PDF思路 382
 上传PDF文档到LabelBox 382
4.1实例 382
5.总结 387
本文只是提供一种解构思路.LabelBox平台提供了一套自动化流程: 387
PART 03 388
PART 04 389
PART 05 390
数据准备总结 391
第九课: MxnetFasterRCNN目标检测 392
深度目标检测 392
1) conv layers提取特征图： 411
2) RPN(Region Proposal Networks): 411
3) RoI Pooling： 411
4) Classifier： 412
Faster R-CNN存在的问题： 412
Faster R-CNN算法详解： 412
那么经过何种变换才能从上图中的A变为G’呢？ 比较简单的思路就是： 417
【参考】Fast R-CNN（理解） 423
0 - 背景 423
 训练分多步骤（需要SVM分类器，额外的regressors） 423
1 - 整体思路 423
1.1 - 训练 423
 经过5个卷积层 2个降采样层（分别跟在第一和第二个卷积层后面） 423
 再经过两个output都为4096维的全连接层 423
 最后接上两个损失层（分类是softmax，回归是smoothL1） 423
fast R-CNN模型的流程图如下： 423
1.1.1 - ROIPooling 424
 将region proposal划分为H×W大小的网格 424
 对每一个网格做MaxPooling（即每一个网格对应一个输出值） 424
 将所有输出值组合起来便形成固定大小为H×W的feature map 424
1.1.2 - 训练样本 424
1.1.3 - 损失函数 424
1.1.4 - 改进全连接层 425
 1.1.5 - 训练整体架构总结 425
1.2 - 测试 426
1.2.1 - 测试整体架构总结 426
2 - 思考 427
2.1 - 改进 427
 ROIPooling的提出，巧妙的解决了尺度放缩的问题 427
2.2 - 不足 427
3 - 结果 427
3.1 - mAP 427
3.2 - 速度 428
3.3 - 多任务训练（multi-task） 428
 仅采用分类训练，测试也没有回归 428
 采用论文中的分类 回归训练，测试没有回归 428
 采用分段训练，测试没有回归 428
 采用论文中的分类 回归训练，测试有回归 429
3.4 - 单尺度vs多尺度 429
4 - 参考资料 429
R-FCN 429
 针对ResNET进一步实现更多计算的共享 429
 Faster R-CNN ResNET 429
 一般的网络只包含4次下采样，但ResNET采样5次 429
 全卷积网络：在不同Rol之间共享con5的计算 430
 Faster R-CNN ResNet 430
FPN 431
 针对尺度问题引入特征金字塔 431
•直接通过不同尺度的输入构建特征金字塔 431
•时间复杂度和空间复杂度高 431
•利用CNN本身的结构来构造特征金字塔 431
Mask R-CNN 431
 检测和分割的多任务协同学习 431
 增？？？？？ 431
单阶段检测器 432
• YOLO 432
• 综合整张图的信息预测各个位置的物体 432
• YOLO (2015), YQL09000 (2016) 432
• SSD 432
• 吸纳两阶段检测器的优秀设计，并进行改良 432
• SSD (2015), DSSD (2017) 432
• RetinaNet (2017) 432
• 大幅提升单阶段检测器的精度 432
YOLO:You Only Look Once 432
 在GPU上最快能达到155 432
 存在的问题 432
 小尺度物体 432
 密集排布的物体 433
SSD:Single-Shot MultiBox Detector 433
 R-CNN系列检测器 433
 两阶段：生成候选窗口→分类 校准 433
 每个窗口需要单独的处理，速度会比较慢 433
 回顾：RPN 433
Single-Shot 434
 单阶段：不生成候选窗口，直接给出检测结果 434
 对不同长宽比的物体，用不同的predicate 434
 多尺度，在不同尺度的特征图上进行预测 434