实例介绍
【实例简介】
个人整理的CNN学习笔记，所有素材均来自于互联网。把经典的摘之以作备案，待整理好这份笔记后，发现对CNN也有了深入理解，希望对你也有帮助！
LOCALLY CONNECTED NEURAL NET CONVOLUTIONAL NET STATIONARI? Statisties is similar at dif ferent locations Learn multiple filters. Example: 1000x1000 image 1M hidden units Filter size: 10x10 E.g. 1000x1000 image 100M parameters 100 Filters Filter size: 10x10 u 鴻網互聯 EEIDEE 下面的分析来源于:htp/ log csdn. net/zouxy09/ article/details,/8781543 我们知道,隐含层的每一个神经元都连接10x10个图像区域,也就是说每一个神经元存在10x10=100个连接权值参数。那如果我 们每个神经元这100个参教是相同的呢?也就是说每个神经元用的是同一个卷积核去卷积图像。这样我们就只有多少个参数?? 只有100个参数啊!!!亲!不管你隐层的神经元个数有多少,两层间的连接我只有100个参数啊!亲!这就是权值共享啊! 亲!这就是卷积神经网络的主打卖点啊!亲!(有点烦了,呵呵)也许你会问,这样做靠谱吗?为什么可行呢? 好了,你就会想,这样提取特征也忒不靠谱吧,这样你只提取了一种特征啊?对了,頁聪明,我们需要提取多种特征对不?假 如一种滤波器,也就是一种卷积核就是提出图像的一种特征,例如某个方向的边缘。那么我们需要提取不同的特征,怎么办, 加多几种滤波器不就行了吗?对∫。所以假设我们加到100种滤波器,每种滤波器的参数不一样,表示它提出输入图像的不同特 征,例如不同的边缘。这样每种滤波器去卷积图像就得到对图像的不同特征的放映,我们称之为 Feature Map。所以100种卷积 核就有100个 Feature Map。这100个 Feature Map就组成了一层神经元。到这个时候明了了吧。我们这一层有多少个参数了? 100种卷积核x每种卷积核共享100个参数=100×100=10K,也就是1万个参数。才1万个参数啊!亲!(又来了,受不了了!)见 上图右:不同的颜色表达不同的滤波器 嘿哟,遗漏一个问题了。刚才说隐层的参数个数和隐层的神经元个数无关,只和滤波器的大小和滤波器种类的多少有关。那么 隐层的神经元个数怎么确定呢?它和原图像,也就是输入的大小(神经元个数)、滤波器的大小和滤波器在图像中的滑动步长 都有关!例如,我的图像是1000×1000像素,而滤波器大小是10×10,假设滤波器没有重叠,也就是步长为10,这样隐层的神经 元个数就是(1000×1000y(10×10}=100×100个神经元了,假设步长是8,也就是卷积核会重叠两个像素,那么……我就不算了, 思想懂了就好。注意了,这只是一种滤波器,也就是一个 Feature Map的神经元个数哦,如果100个 Feature Map就是100倍了。 由此可见,图像越大,神经元个数和需要训练的权值参数个数的贫富差距就越大。 CONV NETS: EXTENSIONS Bypool ing"(e. g. max or average)filter responses at different locations we gain Over the years. some new medes have proven to be very rubustness to the exact spatial location effective when plugged inte corv-nets of features L2 Pooling U, kEN(x,r) Local Contrast normalization h N(x y) iN(xvI Renato 总之,卷积网络的核心思想是将:局部感受野、权值共享(或者权值复制)以及时间或空间亚采样这三种结构思想结合 起来获得了某种程度的位移、尺度、形变不变性。 23实例 视觉皮层存在两类相关的细胞,S细胞( Simple Cel)和C( Complex Cell)细胞。S细胞在自身的感受野内最大限度地对图像 中类似边缘模式的剌激做出响应,而C细胞具有更大的感受野,它可以对图像中产生刺激的模式的空间位置进行精准地定位 C是卷积层,S是下采样层。 参看这个两个网址,对理解CNN非常有帮助 http://www.68idc.cn/help/buildlang/ask/20150705417730.html http://www.68idc.cn/help/buildlang/ask/20150705419299.html 涵 p C1 s2c384江蘇鴻網互刷 三 -TOLER c是卷积层,S是下采样层。输入的一幅图像,在C1层,通过和3个卷积模板做卷积运算,然后加上偏置值,再经过 sigmoid激活 函数,得到3幅输出图像,在S2层,对C1层输出的3幅图像做下采样,假设采样因子是2,也就是图中每2*2的 patch中的4个像素 进行求和,再加偏置,再通过激活函数,得到3张尺寸减小了的输出图像。同样的,再经过C3S4。将S4的输出拉成一个向量, 输入传统的神经网络中,并得到输出 24综合实例 G1: feature maps 8@28X28 C3: f. map Inp ut 20@10x10 32×32 S1: f. maps S4: f. maps @14x14 20@5x5C5:120 Output: 9 Convolutions Subsampling Subsampling connection Convolutions og. Csdn. n Convolutions 688 图中的 卷积网终Ⅰ作流程如下,输入层由32×32个感知节点组成,接收原始图像。然后,计算流程在卷积和子抽样之间交替进行,如下 所述 ·第一隐藏层进行卷积,它由8个特征映射组成,每个特征映射由28×28个神经元组成,每个神经元指定一个5×5的接受域, 这28×28个神经元共享5×5个权值参数,即卷积核 第二隐藏层实现子抽样和局部平均,它同样由8个特征映射组成,但其每个特征映射由14×14个神经元组成。每个神经元 具有一个2×2的接受域,一个可训练系数,一个可训练偏置和一个 sigmoid激活函数。可训练系数和偏置控制神经元的操 作点; 第三隐藏层进行第二次卷积,它由20个特征映射组成,每个特征映射由10×10个神经元组成。该隐藏层中的每个神经元 可能具有和下一个隐藏层几个特征映射相连的突触连接,它以与第一个卷积层相似的方式操作。 第四个隐藏层进行第二次子抽样和局部平均汁算。它由20个特征映射组成,但每个特征映射由5×5个神经元组成,它以 与第一次抽样相似的方式操作。 ●第五个隐藏层实现卷积的最后阶段,它由120个神经元组成,每个神经元指定一个5×5的接受域。 最后是个全连接层,得到输出向量。 综合起来,如下图 山辆入员/閩 张38的圈像 辆入|种特图到C 28×28 KD卷,:对应位遇相森再未和 ⊙如偏置每种图有个偏置 a老积层f同治 减函数 6↑5的卷铝k C 6个偏置值b 输邶钟培钲图 24X 0mno:22域的值平均 坐smle=2 辆入6种征图列 12|2 k 2个55的着核k Kk2 2个偏置值b 辆出12钟特钲图 8×8 8×g 年怦居 D mean pooL 斜样9=2 s输出口钟特征图 4x叶 把S园輪出的特征图垣成一年向量入,维,:平 4x×12=12 F房入节点有2个 192 资接的 神经刚络 W1,09 W 参教W: 2 0×192矩阵 爹教b h o0x1向量 o h 辆出节点有个,国为baby的度是o ·上图中28如何变成24的? 12如何变成8的? 详情见这个网址:hto:/ud. stanfordedu/wki/ index. php/ Featureextractionusing convolution 这个过程中,有这么几个参数: a.深度 depth:神经元个数,决定输出的dept厚度。同时代表滤波器个数。 *b.步长 stride:决定滑动多少步可以到边缘。 C.填充值zero- padding:在外围边缘补充若干圈0,方便从初始位置以步长为单位可以刚好滑倒末尾位置,通俗地讲就是为了 总长能被步长整除。 最左边一列是输入层,第二列是第一个滤波器(W0),第三列是第二个滤波器(W1),第四列是输出层。 *该图有两个神经元,即 depth=2,意味着有两个滤波器 数据窗口每次移动两个步长取3*3的局部数据,即stde=2。 zero-padding=1 3cNN的激励层与池化层 ReLU激励层 不要用 sigmoid,因为它容易饱和、造成终止梯度传递,且没有0中心化 ReLU的优点是收敛快,求梯度简单。 ·池化poo层 池化,简言之,即取区域平均或最大,如下图所示 Single depth slice 1124 X max pool with 2X2 filters 5678 and stride 2 68 3 22 34 3 04y 参考文献: ·htp:/ yann lecun. com/exdb/lenet/index. html( Yann securη实现的CNN演示,以动画的形式演示了位移、加噪、旋转、压缩 等识别,最有价值的是把隐层用图像显示出来了,很生动形象) 【实例截图】
【核心代码】
个人整理的CNN学习笔记，所有素材均来自于互联网。把经典的摘之以作备案，待整理好这份笔记后，发现对CNN也有了深入理解，希望对你也有帮助！
LOCALLY CONNECTED NEURAL NET CONVOLUTIONAL NET STATIONARI? Statisties is similar at dif ferent locations Learn multiple filters. Example: 1000x1000 image 1M hidden units Filter size: 10x10 E.g. 1000x1000 image 100M parameters 100 Filters Filter size: 10x10 u 鴻網互聯 EEIDEE 下面的分析来源于:htp/ log csdn. net/zouxy09/ article/details,/8781543 我们知道,隐含层的每一个神经元都连接10x10个图像区域,也就是说每一个神经元存在10x10=100个连接权值参数。那如果我 们每个神经元这100个参教是相同的呢?也就是说每个神经元用的是同一个卷积核去卷积图像。这样我们就只有多少个参数?? 只有100个参数啊!!!亲!不管你隐层的神经元个数有多少,两层间的连接我只有100个参数啊!亲!这就是权值共享啊! 亲!这就是卷积神经网络的主打卖点啊!亲!(有点烦了,呵呵)也许你会问,这样做靠谱吗?为什么可行呢? 好了,你就会想,这样提取特征也忒不靠谱吧,这样你只提取了一种特征啊?对了,頁聪明,我们需要提取多种特征对不?假 如一种滤波器,也就是一种卷积核就是提出图像的一种特征,例如某个方向的边缘。那么我们需要提取不同的特征,怎么办, 加多几种滤波器不就行了吗?对∫。所以假设我们加到100种滤波器,每种滤波器的参数不一样,表示它提出输入图像的不同特 征,例如不同的边缘。这样每种滤波器去卷积图像就得到对图像的不同特征的放映,我们称之为 Feature Map。所以100种卷积 核就有100个 Feature Map。这100个 Feature Map就组成了一层神经元。到这个时候明了了吧。我们这一层有多少个参数了? 100种卷积核x每种卷积核共享100个参数=100×100=10K,也就是1万个参数。才1万个参数啊!亲!(又来了,受不了了!)见 上图右:不同的颜色表达不同的滤波器 嘿哟,遗漏一个问题了。刚才说隐层的参数个数和隐层的神经元个数无关,只和滤波器的大小和滤波器种类的多少有关。那么 隐层的神经元个数怎么确定呢?它和原图像,也就是输入的大小(神经元个数)、滤波器的大小和滤波器在图像中的滑动步长 都有关!例如,我的图像是1000×1000像素,而滤波器大小是10×10,假设滤波器没有重叠,也就是步长为10,这样隐层的神经 元个数就是(1000×1000y(10×10}=100×100个神经元了,假设步长是8,也就是卷积核会重叠两个像素,那么……我就不算了, 思想懂了就好。注意了,这只是一种滤波器,也就是一个 Feature Map的神经元个数哦,如果100个 Feature Map就是100倍了。 由此可见,图像越大,神经元个数和需要训练的权值参数个数的贫富差距就越大。 CONV NETS: EXTENSIONS Bypool ing"(e. g. max or average)filter responses at different locations we gain Over the years. some new medes have proven to be very rubustness to the exact spatial location effective when plugged inte corv-nets of features L2 Pooling U, kEN(x,r) Local Contrast normalization h N(x y) iN(xvI Renato 总之,卷积网络的核心思想是将:局部感受野、权值共享(或者权值复制)以及时间或空间亚采样这三种结构思想结合 起来获得了某种程度的位移、尺度、形变不变性。 23实例 视觉皮层存在两类相关的细胞,S细胞( Simple Cel)和C( Complex Cell)细胞。S细胞在自身的感受野内最大限度地对图像 中类似边缘模式的剌激做出响应,而C细胞具有更大的感受野,它可以对图像中产生刺激的模式的空间位置进行精准地定位 C是卷积层,S是下采样层。 参看这个两个网址,对理解CNN非常有帮助 http://www.68idc.cn/help/buildlang/ask/20150705417730.html http://www.68idc.cn/help/buildlang/ask/20150705419299.html 涵 p C1 s2c384江蘇鴻網互刷 三 -TOLER c是卷积层,S是下采样层。输入的一幅图像,在C1层,通过和3个卷积模板做卷积运算,然后加上偏置值,再经过 sigmoid激活 函数,得到3幅输出图像,在S2层,对C1层输出的3幅图像做下采样,假设采样因子是2,也就是图中每2*2的 patch中的4个像素 进行求和,再加偏置,再通过激活函数,得到3张尺寸减小了的输出图像。同样的,再经过C3S4。将S4的输出拉成一个向量, 输入传统的神经网络中,并得到输出 24综合实例 G1: feature maps 8@28X28 C3: f. map Inp ut 20@10x10 32×32 S1: f. maps S4: f. maps @14x14 20@5x5C5:120 Output: 9 Convolutions Subsampling Subsampling connection Convolutions og. Csdn. n Convolutions 688 图中的 卷积网终Ⅰ作流程如下,输入层由32×32个感知节点组成,接收原始图像。然后,计算流程在卷积和子抽样之间交替进行,如下 所述 ·第一隐藏层进行卷积,它由8个特征映射组成,每个特征映射由28×28个神经元组成,每个神经元指定一个5×5的接受域, 这28×28个神经元共享5×5个权值参数,即卷积核 第二隐藏层实现子抽样和局部平均,它同样由8个特征映射组成,但其每个特征映射由14×14个神经元组成。每个神经元 具有一个2×2的接受域,一个可训练系数,一个可训练偏置和一个 sigmoid激活函数。可训练系数和偏置控制神经元的操 作点; 第三隐藏层进行第二次卷积,它由20个特征映射组成,每个特征映射由10×10个神经元组成。该隐藏层中的每个神经元 可能具有和下一个隐藏层几个特征映射相连的突触连接,它以与第一个卷积层相似的方式操作。 第四个隐藏层进行第二次子抽样和局部平均汁算。它由20个特征映射组成,但每个特征映射由5×5个神经元组成,它以 与第一次抽样相似的方式操作。 ●第五个隐藏层实现卷积的最后阶段,它由120个神经元组成,每个神经元指定一个5×5的接受域。 最后是个全连接层,得到输出向量。 综合起来,如下图 山辆入员/閩 张38的圈像 辆入|种特图到C 28×28 KD卷,:对应位遇相森再未和 ⊙如偏置每种图有个偏置 a老积层f同治 减函数 6↑5的卷铝k C 6个偏置值b 输邶钟培钲图 24X 0mno:22域的值平均 坐smle=2 辆入6种征图列 12|2 k 2个55的着核k Kk2 2个偏置值b 辆出12钟特钲图 8×8 8×g 年怦居 D mean pooL 斜样9=2 s输出口钟特征图 4x叶 把S园輪出的特征图垣成一年向量入,维,:平 4x×12=12 F房入节点有2个 192 资接的 神经刚络 W1,09 W 参教W: 2 0×192矩阵 爹教b h o0x1向量 o h 辆出节点有个,国为baby的度是o ·上图中28如何变成24的? 12如何变成8的? 详情见这个网址:hto:/ud. stanfordedu/wki/ index. php/ Featureextractionusing convolution 这个过程中,有这么几个参数: a.深度 depth:神经元个数,决定输出的dept厚度。同时代表滤波器个数。 *b.步长 stride:决定滑动多少步可以到边缘。 C.填充值zero- padding:在外围边缘补充若干圈0,方便从初始位置以步长为单位可以刚好滑倒末尾位置,通俗地讲就是为了 总长能被步长整除。 最左边一列是输入层,第二列是第一个滤波器(W0),第三列是第二个滤波器(W1),第四列是输出层。 *该图有两个神经元,即 depth=2,意味着有两个滤波器 数据窗口每次移动两个步长取3*3的局部数据,即stde=2。 zero-padding=1 3cNN的激励层与池化层 ReLU激励层 不要用 sigmoid,因为它容易饱和、造成终止梯度传递,且没有0中心化 ReLU的优点是收敛快,求梯度简单。 ·池化poo层 池化,简言之,即取区域平均或最大,如下图所示 Single depth slice 1124 X max pool with 2X2 filters 5678 and stride 2 68 3 22 34 3 04y 参考文献: ·htp:/ yann lecun. com/exdb/lenet/index. html( Yann securη实现的CNN演示,以动画的形式演示了位移、加噪、旋转、压缩 等识别,最有价值的是把隐层用图像显示出来了,很生动形象) 【实例截图】
【核心代码】
标签：
好例子网口号：伸出你的我的手 — 分享！
小贴士
感谢您为本站写下的评论，您的评论对其它用户来说具有重要的参考价值，所以请认真填写。
- 类似“顶”、“沙发”之类没有营养的文字，对勤劳贡献的楼主来说是令人沮丧的反馈信息。
- 相信您也不想看到一排文字/表情墙，所以请不要反馈意义不大的重复字符，也请尽量不要纯表情的回复。
- 提问之前请再仔细看一遍楼主的说明，或许是您遗漏了。
- 请勿到处挖坑绊人、招贴广告。既占空间让人厌烦，又没人会搭理，于人于己都无利。
关于好例子网
本站旨在为广大IT学习爱好者提供一个非营利性互相学习交流分享平台。本站所有资源都可以被免费获取学习研究。本站资源来自网友分享，对搜索内容的合法性不具有预见性、识别性、控制性，仅供学习研究，请务必在下载后24小时内给予删除，不得用于其他任何用途，否则后果自负。基于互联网的特殊性，平台无法对用户传输的作品、信息、内容的权属或合法性、安全性、合规性、真实性、科学性、完整权、有效性等进行实质审查；无论平台是否已进行审查，用户均应自行承担因其传输的作品、信息、内容而可能或已经产生的侵权或权属纠纷等法律责任。本站所有资源不代表本站的观点或立场，基于网友分享，根据中国法律《信息网络传播权保护条例》第二十二与二十三条之规定，若资源存在侵权或相关问题请联系本站客服人员，点此联系我们。关于更多版权及免责申明参见 版权及免责申明
网友评论
我要评论