晶圆缺陷检测与分类的卷积神经网络

【实例简介】
晶圆缺陷检测与分类的卷积神经网络；针对晶圆检验时扫描电镜图像的缺陷检测和缺陷分类两问题，采用了“ ZFNet”的卷积神经网络来分 类晶圆缺陷，并基于该分类器实现了一种“基于块的卷积神经网络”缺陷检测算法。为了提高准确率和加快速度，又改动“更快的区域卷积神经网络”实现了另一种检测算法。
第卷第期 邡鑫,史峥:晶圆缺陌检测与分类的卷积神经网络 ZENet classifier Darker ImIn.ril” Hump Bitel 检测算法示意图 在训练 检测器时,数据集是 检测器 原始尺寸的图像,且包含标记好的缺陷区域和类型。我们 结构 通过·系列数据扩张操作,得到组数据,随机选取 相比于 检测算法 主 作为训练集,作为测试集。 要从以下三方面进行了针对性的改进 算法中需要优化的参数有滑动窗口尺寸 滑 ()针对重复计算卷积的缺点, 采用先 动步幅 、概率阙值、面积阙值,由于无法求出统一计算特征图,再按 )进行映射 各参数与检测结果的明确关系式,所以采用遍历法优化参截取的办法。如图,先通过卷积网络( 数。因为检测到的缺陷尽量正确和尽量检测到所有缺陷是 )对输入图像计算得到其特征图,因为在输入图像 矛盾的,故以精确率和召回率的调和平均值作为优上的都能映射到特征图上,所以从输入图像上按 化目标,也可根据实际需要调整两者权重满足不同侧重。割取图像进行卷积运算可以替代为直接从特征图上按 测试结果 映射后的范围割取,从而避免多次重复计算卷积。由于 用训练好的 检测模型对测试集检 的大小形状不·,而全连接层的神经元连接数是固定的, 测,计算模式下每张图大概耗时如果检测到的缺所以对割取得到的子特征图,通过 层次采样到统 陷与标准答案的 且类型相同,则判为正确,否 尺寸以连接到全连接层。 则判为错误。得到结果如表,计算得: laut Image 精确率 Feature Map 召回率 ROI 其屮正确缺陷的平均 表 检测器测试结果 数量 正确 错误 network 有缺陷(正类) 图 映射示意图 从检测结果来看该算法基本实现∫对图像上晶圆 ()针对滑动窗口尺寸单·的缺点, 增 缺陷的检测和分类,但是 值较低,缺陷检测位置不 加了滑动窗口的尺寸类型,并且增加由一个全卷积网络 准确,检测耗时较长,分析其原囚如下 )组成的 ()检测出错的数据中,缺陷较大的类型易判断错, )来预判断是否有缺陷。本文采用面积 缺陷较小的容易被漏掉,说明只使用一种尺寸的滑动框很分别为 ,长宽比分别为、 共 难适应尺寸变化范围较大的缺陷 种尺寸的滑动窗口,依次计算其中有缺陷的概率,再从中 )滑动框步幅减小则算法耗时平方倍增加,而步幅筛选出一定数量最有可能有缺陷的区域,进行非极大值抑 过长造成缺陷概率分布图分辨率较差,从而检测到缺陷位制( ),最后得到一定数 置准确度较差 量的候选区域。 ()相邻滑动框都有大量重叠,所以每个区域都被多 ()针对缺陷检测位置准确度差的缺点, 次重复送入计算卷积,导致算法耗吋较长。 在全连接层后连接一个边界回归层 在与上述检测算法相似的图像目标检测领域,近来出用来修正缺陷位置,该回归层与分类层并列。 现的 很好的克服了以上缺点并取得了很好的 针对本文的缺陷检测问题,直接套用标准 效果,所以下面介绍如何通过改动 实现品圆 并不能解决问题。因为判断晶圆的缺陷类型通常需 缺陷的检测与分类。 要结合缺陷区域周围的图形信息,而在预判断是否有 C1994-2017ChinaAcademicJournalElcctronicPublishinghOusc.Allrightsrescrved.http://www.cnki.nct 计算机工程 年月日 缺陷吋还进行了边界回归。虽然更加准确的给出缺陷的位 ()将原尺寸为 的图像调整为 置,但送入检测网络的特征儿乎不包含缺陷周围图肜信息,使得滑动窗口尺寸能够适应缺陷大小的变化范围,也可以 导致缺陷分类不准。故木文对标准 徹了一些根据实际情况来具体调整。 改动: 得到缺陷检测算法如图,卷积网络( ()将改为只判断滑动窗口内是否有缺陷,而 ,)将输入图僚转换成多种特征图;根据 不进行边界回归,也就是只计算所有滑动窗口有缺陷的概特征图从滑动窗口中选出最有可能存在缺陷的 率,选取可能性最大的个,做非极大值抑制,再选出 层根据特征图中抽取出对应特征组成特 可能性最大的个进行检测。 征向量;检测网络( )根据特征向 ()将卷积层的尺寸加大为,加大感受野量判断缺陷类型,并进行边界回归;最后通过和概率 ),从而在判断滑动框內是否有缺陷吋能参阈值对候选缺陷进行过滤即可得到最终缺陷。 考更多的周围信息。 Detection Network onFolutionnl actor Softmax RuI Puling liver ,e Prop卟 edMS+ Prubilit ession Input Image 1024*1024 Fully 10 dyer crect Ccrvchrional Laver size 747 图 检测算法示意图 模型训练 和平均值 作为优化目标,并且使用相同的训练集和 图中的检测算法也是基于架构实现,因为卷测试集 积网络提取的特征类型对相似普遍有效,故其卷积网络的 测试结果 参数是直接迁移第章分类器的卷积层参数。但是 用训练好的 检测模型对测试集检测, 和的参数则需要通过方法进行训练,标准 计算模式下每张图大概耗时,采用相同判定标准, 提供了分开和联合两种训练方式。为了节约得到检测结果如表(其中负类总数与表中总数不同是因 时间,本文采用联合训练方式,并结合缺陷检测问题的实为同一张图屮可能检测到多个缺陷),计算得 际情况调整超参数 精确率 在训练时,对每张输入图像,要计算的滑动窗口 召回率 数量庞大(种尺寸的滑动窗口,滑动步幅)。所以从中 随机抽取个作为训练集,其中正例 其中正确缺陷的平均 负例 ,且正例占比不超过。分类器采用 表 检测器测试结果 损失函数 数量 正确 错误 在训练时,设置提供个,从中随 有缺陷(正类) 机选取个作为训练集,其屮正例 无缺陷(负类) 负例 ,且正例占比不超过。另外设置学 从结果来看该算法各方面都优于 检测算 习率 分类器采用 损失函数,而边界回法 和 值更高说明检测检测缺陷类型正确 归采用 函数。 且位置准确,而且速度也大大提高(检测一张图像耗时从 为了与 检测算法对比,在最后通过遍历法 缩小到)。如图为检测缺陷示例,共中标注了缺陷 优化和概率阈值时,同样以精确率和召回率的调位置、类型和对应概率 C1994-2017ChinaAcademicJournalElcctronicPublishinghOusc.Allrightsrescrved.http://www.cnki.nct 邡鑫,史峥:晶圆缺陷检测与分类的卷积神经网络 I I 图检测结果示例图 结束语 而对图像上的缺陷检测和缺陷分类这两个问题, 本文提出的改动后的 检测算法能够精准、快 速地从图像中检测出缺陷并同吋进行分类。得益于卷 积神经网络良好的特征学习能力,该检测算法能够根据标 记好缺陷位置和类型的数据自动学习特征,从而尽量避免 人工千预,使算法具有较强的适应能力。 参考文献 徐姗姗刘应安徐昇基于卷积神经网络的木材缺陷识别 山东大学学报工学版 刘云杨建滨王传旭基于卷积神经网络的苹果缺陷检测算法 电子测量技术 江帆刘辉王彬等基于 模型的图像识别计算 机工程 C1994-2017ChinaAcademicJournalElcctronicPublishinghOusc.Allrightsrescrved.http://www.cnki.nct 【实例截图】
【核心代码】