基于SSD神经网络目标检测的交通标志牌检测（附代码）

【实例简介】
使用目标检测中流行的SSD算法，智能识别中国马路上的交通标志牌。文档末端附开源代码连接
目录 引言 相关工作 交通标志牌检测过程 任务分析及数据准各 图像数据增强 神经网终原理 层网络的实现 模型评价指标 模型训练和结果分析 优化方法 训练环境 训练过程分析 结果分析与可视化 参考文献 代码说明 引言 交通标志牌的目标检测是一种在场景图像中指出交通标志牌目标的研究问 题。它是人工智能应用领域中一个很重要的组成模块。近些年,在道路场景监控 系统,无人驾驶系统中冇着广`泛的应用。所以,优化交通标志牌目标检测问题冇 着重要的意义。最近,有很多关于在静态场景中进行交通标志牌目标检测的研宄 工作。他们用不同的方式试图更好地解决问题。通常,会提取手工特征[1],组 合特征,分类。或者将交通标志牌拆分成局部再进一步提取特征,以便得到更精 确的检测结果。但是,手工设计特征进行提取,依赖于研究人员的经验,缺乏对 问题的泛化能力,存储这些手工特征也需要一定的存储空间,再者,对分类器的 选择也十分影响最后的检测效果.当问题变换检测目标,或者延伸到复杂场景中 传统方式将面临更加严峻的挑战。为了达到更好的检测效果,整个系统框架将变 得更加复杂。 任何的场景目标发现问题,都可以看做是个和该目标相关的视觉任务。视 觉任务定义为:在某一场景中对一类或几类目标进行目标检测的任务描述。视觉 任务是由和检测目标强相关的场景样木图像构成。当希望检测某一场景中的某种 类型日标时,可以通过收集一系列该场景下的日标图像样本,组成视觉任务 木文视觉任务是:检测在城市道路背景下的交通标志牌。通过对视觉任务学 习得刭一种稳定的,与仼务强相关的日标检测模型。将新的样本图像输入日标检 测模型便可以得到检测结果。我使用了一种不依赖手工特征,在静态场景中进行 交通标志牌检测的方法,我将利用深度学习思想解决祧觉任务的训练过程。通过 卷积神经网络对样本进行计算得到卷积特征,利用SSD网络解决目标检测定位的 问题。对交通标志牌检测的问题提供了更泛化和简洁的解决思路。 相关工作 在传统模型中,棊于手工设计特征[幻]的检测模型被广泛应用于交通标志检 测问题。 等人L3利用新型的颜色变换模型对颜色特征计算,快速找到重 要的交通标志拍颜色,定位可能的候选区域。 等人[4]在做视频流中 的交通标志牌检测时,将临时的底层几何特征的时间信息与标志牌的动态信息结 合,并利用攴持问量机模型从背景中区分出目标车辆。 可以看岀,在传统检测模型中,提取图像的底层特征是至关重要的一步 传统模型有以下的缺点 1)需要针对不通的检测问题进行特征设计 2)需要对特征进行组合,选定分类器进行训练,其过程较为复杂; 3)需要存储空间对特征进行存储。 近些年,深度卷积神经网络被成功地应用于物体识别与目标检测,其中以 为代表。 年 等人在 大规模视觉识别的挑 戕赛中展现了显著提高的图像分类精确度的能力。受到 在图像处 理领域的显著效果的启发 等人提出一种深度学习模型,命名为 将运用于日标检测问尟,该模型首先使用选择性搜索算法来计算 图像的侯选区域,然后将所有的候选区域输入到 模型中提取特征,最后 在中完成分类。该模型设计了包围盒回归算法回归计算候选区域坐标,在 的目标检测集上进行测试,平均正确率比非神经网络的算法高出 大约。该模型提岀了一种模型预处珒的思路,首先在 小数据集上 初始化网终的权重,然后在 数据集上微调网络,训练效果会更好。 虽然 的正确率有了很大提升,但也存在着缺点,即由于每张图像有大约 个候选区域,导致计算量很大。 微软亚洲研究院工作者将 SPIne七[7的思想运用与目标检测中,它首先做了 一种映射,计算出候选区域映射刭最高卷积层的特征图上的位置,然后用基于 算法的池化层进行降维操作,最终会获取一个特定大小的特征层,其过程和 样,在 测试,准确率和 相近,但运行时间大大 减少。 2015年 进一步将 SPInet的思想和RCN结合提出卷积神 经网络模型 8],再用so'tmax[9]回归替代SW分类器降低空间和 时间的开销。整个训练过程不需要分级进行,检测过程更加高效,准确度更高。 经过在GPU上的训练与测试,实验结果表明提取候选区域的时间明显缩短,检测 的时间也缩短为1/10,分类精度也有所増加。 2016年, Liu Wei[10等人将YoL0网络[11的结构与 的 Faster r CNNL12」相结合,提出了 目标检测算法,SSD网络它 的速度比 Faster R-CN要快很多,但其工作方式却和 Faster r-CNN存在显著 不同。 Faster r-cnn采用区域推测来生成候选区域,然后在各个候选区域内使 用分类算法生成目标框;而SSD算法直接在整幅图像上生成各种大大小小的目标 边界框,然后使用非极大值抑制技术将高度重叠的边界框整合成一个。将处理候 选区域的问题转化为线性回归的问题,利用线性回归思想找出与目标最为接近的 预测框,该算法提高了计算速度,准确率也有一定的保证。采用这种方式的优点 就是极大地提升了运算速度,适合用于计算力较低的硬件环境。 交通标志牌检测过程 本文方法过程分为两个阶段,训练阶段和测试阶段。 训练阶段,用课程给予的5000张附有标签(∏标检测框)数据的图片对 SSD卷积神经网络进行训练,得到目标检测模型 测试阶段,将新样本输入目标检测模型得到检测结果,即在图像上画岀预 测框并与原有标签做对比。 如图所示,整个计算流程包含以下几个步骤 1)分析交通标志牌检测任务,得到结论,该项目的目的是利用已有图像以及 标签数据,将不带有标签的 2)对样本图像和标签数据进行预处理,以达到符合神经网络输入条件。具体 的操作是将课程提供的标签数据(4225个ⅫM文件)使用 pythoη进行读取 并合并成一个长列表,并图像的编号一一对应,方便模型读取。 3)分辨率调整和图像数据增强,使用 opencν的υ y thon接口,先将图片分辨 率由原图的1200×1600调整为300×400,降低分辨率可以在硬件条件不 足的情况下完成既定的训练任务;再使用图像增强的方法,加强在视角转 动的情况下日标检测的鲁棒性 4)选定神经网络结构。将训练集及其对应的标定列表作为输入,通过SSD网 终对模型进行反复迭代训练,得到最终的交通标志检测模型; 5)利用测试集新样本对交通标忐检测模型进行测试,得到新样本的检测结 果 数据预处理 图像数据增强 定义SSD网络结构 设定初始网络权重 反向传播训练迭代训练 图像样本目不检测 结可视化 图1基于SSD网络的交通标志牌检测流程 21任务分析及数据准备 本次课程作业的视觉任务是在城市道路场景中检测正面交通标志。视觉任 务确定之后需要采集示例图像枃建训练集,采集被测图像构建测试集。被检测 的场景图像和目标是与视觉任务强相关的,所以在采集示例图像和被测图像应 在相同环境下以相同的方式进行采集。在木课程作业的图像数据集中,图像采 集者驾车在不同时间不同光照条件下,在上海市内行驶使用行车记录仪将行驶 的图像存储。图像数据样木的典型场景如所示。 图2数据样本 再拿到数据样木之后,我们应该对样木进行标定,标定交通标志牌的左上 和右下角的标值,形成一个矩形框,确定目标在图像上的位置 在本次课程作业中,所有图像数据已经准备好,对应的标签数据xm1文件 也己准备好,我们需要做得是人为地划定测试集和训练集,并将分散的4225个 xml标签文件整合到一起。如表所示,表格的第一列 image name是图像的名 称;第二列到第四列代表在目标检测框的坐标; class id的值设为1,1代表着 标志牌类,如果值设为0,则代表背景类。最终,我采取了将图像编号为4的 倍数的图像作为测试集,其他的图像作为训练集的方案。这样很具有代表意 义 表1整合后的数据标签示例 image name lxmin ymin xmax ymax class id 00000jp 450 504 546 00000 345 695 473 00000ipg 737 00000 787 537 832 573 00001pg 502 326 678 00001jpQ 339 729 472 00001pg 00001pq 780 533 826 572 00002jpg 481 314 665 455 00002jpg 670 334 463 00002pg 62535 00002pq 774 530820 569 00003jpg 463298658448 2.2图像数据增强 在图像的深度学习中,为了丰富图像训练集,更好的提取图像特征,泛化 模型(防止模型过拟合),一般都会对数据图像进行薮据增强, 数据增强,常用的方式就是随机裁剪 随机镜像 随机尺度变换 颜色抖动 随机旋转 视角变换 ,扭曲图像特征,增强图像噪音 本文同时对训练数据做了数据增强和数据增广[15]。每一张训练图像,随 机的进行如下一种或几种变换: 使用原始的图像 采样一个候选区域( patch),与区域之间最小的重叠为:0.1,0.3, 0.5,0.7与0.9 ●随机的采样一个候选区域( patch),并进行视角转换 采样的 是原始图像大小比例是 ,视角转换比例 1与之间。 当日标检测框的中心( center)在采样的候选区域( patch)中时,保留重叠 部分。在这些釆样步骤之后,每一个采样的候选区域( patch)被拉伸到固定的大 小,并且以0.5的概率随机的水平翻转( horizontally flipped)。 在本课程项目中,以上的图像操作使用了 中的 接口集 成库。在某些角度上相当于我将原来的张图片数量变为几万张,增强了数 据的广泛性和普遍性,使模型更加具有鲁棒性和泛化能力 23SSD神经网络原理 模型来源于发表在 的一篇文章,是 (北卡 罗来纳大学教堂山分校)的 教授的新作。也是最近在目标检测领域炙手 可热的方法之 模型的特点就在既保证了目标检测的速度,乂保证了精度 过去老旧的目标检测模型通常是将候选区域寻找和在区域内进行分类检测分为 两个较为独立的网络结构,这种网络训练较为困难,且实吋监测性不好;与这种 传统网络结构不同,模型将整个检测过程整合成了一个相对简单的深度神 经网络。 现今流行的效果较出色的检测系统大致都是如下步骤,先生成一些假设的 边界框,然后在这些边界框中提取特征,之后再经过一个分类器,来判断里面是 不是物体,是什么物体。 从年 等人的 开始, 年发表的基于 这类方法的特点就是检测过程按部 就班,导致检测精度很高,其中 在 数 【实例截图】
【核心代码】