基于面部特征的驾驶员疲劳检测

【实例简介】
基于面部特征的驾驶员疲劳检测
浙江工业大学硕士学位论文 欠的持续时间来判断驾驶员是否处在疲劳状态。 本文所用图片主要来自于自行拍摄和人脸数据库,利用 MATLAB70和VC++60对 人脸、人眼及嘴巴的定位和状态进行了相应的仿真实验,实验的结果证明了疲劳检测方法 的可行性。 关键词:驾驶员疲劳,人脸检测,光照补偿,人眼定位, Adaboost 浙江工业大学硕士学位论文 BASED ON THE FACIAL CHARACTERISTICS OF THE DRIVER FATIGUE DETECTION ABSTRACT A large part of traffic accidents result from the driver fatigue. Therefore, the detection of driver fatigue has received more and more attention. Although much effort has been paid to the research of the detection method of fatigue, two problems are still challenging, First, the drivers specific environment is seriously affected by the illumination. Second, it is difficult to assess fatigue by a single indicator, thus a composite indicator is quite necessary. Therefore, the detection of driver fatigue problem remains unsolved and it still can not be applied in real world recen The most obvious change of driver fatigue is that the eyes open and close in an abnormal way. Moreover, the face will change at the same time. Therefore, the key of an effective way to detect the driver fatigue is how to improve the driver's face and eyes detection efficiency in different context, and detect the fatigue state in accordance with the laws of their changes The work and main contribution of this paper are listed as follows: 1. A literature review on driver fatigue detection is given. A framework of a driver fatigue method by detecting the eyes and facial changes proposed 2. For color images, this paper proposes a complexion partition approach called"sub-level light compensation adaptive threshold selection" based on y Cr color space. a self-adaptive nonlinear transformation compensation scheme is employed, which compensates the illumination according to the different levels of illumination, a color model is established and a skin likelihood image is provided. Then face segment is accomplished by using an adaptive threshold value approach. The experimental results show that the complexion segmentation method can effectively overcome the usage of fixed threshold segmentation defects 3. For gray-scale images, a geometric characteristics and enhanced classifier cascade method has been introduced. We adopt the "Haar eigenvalue adaBoost "classifier method to detect the driver face. For the selection of Ada boost weak classifier, we propose an Adaboost express training solutions based on the adaboost face detection algorithm. The proposed method conquers the time-consuming problem of the adaboost face detection 浙江工业大学硕土学位论文 4. In order to determine the position and the status of the eyes, an unscented Kalman filter is introduced to track the eye of the driver in this paper. By employing geometric features and projection methods to locate the eyes, driver fatigue can be determined by judging whether the eyes close for more than 5 frames or not. The experimental results show the effectiveness of the eye detection tracking method in different circumstances 5. The detection of the driver's mouths is used to determine the status of driver s fatigue state. By determining the ratio between the height and width of the mouth and the duration of yawn, we can judge whether the dover is tired or not. The images used in this paper are pictures taken by our own and from the face database Based on MATLAB7.0 and VC++ 6.0, experiments have been carried out to detect the position and status of face, eyes and mouth. The experimental results show the effectiveness of the proposed fatigue detecting method. Key Words: driver fatigue, face detection, illumination compensation, eye location Adaboost 浙江工业大学 学位论文原创性声明 本人郑重声明:所提交的学位论文是本人在导师的指导下,独立进行研究作 所取得的研究成果。除文中已经加以标注引用的内容外,本论文不包含其他个人或 集体已经发表或撰写过的研究成果,也不含为获得浙江工业大学或其它教育机构的 学位证书而使用过的材料。对本文的研究做出重要贡献的个人和集体,均已在文中 以明确方式标明。本人承担本声明的法律责任。 作者签名: 日明5月日 学位论文版权使用授权书 本学位论文作者完全了解学校有关保留、使用学位论文的规定,同意学校保留 并向国家有关部门或机构送交论文的复印件和电子版,允许论文被查阅和借阅。本 人授权浙江工业大学可以将本学位论文的全部或部分内容编入有关数据库进行检 索,可以采用影印、缩印或扫描等复制手段保存和汇编本学位论文。 本学位论文属于 保密口,在年解密后适用本授权书。 2、不保密口。 (请在以上相应方框内打“y) 作者签名 像 日期9m0年月冯日 导师签名: 期年(月22日 浙江工业大学硕士学位论文 第一章绪论 近年来交通事故率不断上升,其中疲劳驾驶造成的交通事故尤为突出。疲劳驾驶已经 成为汽车安全的重要隐患,严重地威胁着人们的生命和财产安全。因此,“疲劳驾驶检测 问题”越来越受到人们的关注,许多研究人员在此方面做了深入的工作,因此疲劳检测技 术也得到了很大的进展叫。 本章首先阐述了论文的研究背景,其次研究了疲劳驾驶的研究现状,并指出了目前疲 劳驾驶研究中所存在的问题,最后具体介绍了论文的主要研究工作和论文的章节安排。 11研究背景及意义 近些年来随着运输和交通的需要,汽车工业以飞快的速度成长,交通肇事的问题也越 来越复杂,传统的交通运输系统己不能满足现代化的要求。因此,结合了大量先进通信技 术与信息系统的智能运输系统( Intelligent Transportation System),已成为各大运输研究单位 的热门话题。而驾驶员疲劳报警系统就属于IS中交通工具主动安全系统中的一部分。 当车辆性能不断地提升,不管是引擎马力增加或是整体悬吊系统的改良,目标均是使 驾驶员能够更轻松更舒适地驾驶车子,但也愈容易放松心情,使得驾驶员产生疲劳而不自 觉。目前,疲劳驾驶在车辆肇事中占了相当大的一部分。美国国家公路交通安全管理局保 守估计,每年因疲劳驾驶导致的车祸至少有10万起;法国国家警察总署事故报告表明, 因疲劳驾驶导致的意外占人身伤害事故的149、死亡事故的206%。我国每年因道路交 通伤亡人数居世界首位,而且以每年10%的速度递增,疲劳驾驶所导致的交通事故也以相 当快的速度递增。以北京为例,因疲劳所导致的交通事故占到事故总数的20%以上 据有关部门统计,在各种道路交通事故肇事主要原因统计中,疲劳驾驶占了最大的比 例。许多疲劳的驾驶员常常不知道自己已经处在瞌睡的危险状态中,实际上疲劳的驾驶员 随时都可能昏昏欲睡,甚至短暂失去知觉经过一段时间再醒来。当驾驶者疲劳时,会产生 以下状态2 1)头重、频频点头,很难保持抬头姿势 2)视觉模糊、眼睛发红发干 3)频繁眨眼或眼睛时开时闭; 浙江工业大学硕士学位论文 4)视野变窄、漏看错看信息增多; 5)哈欠连天却无法控制、表情变化少; 6)精神不振、反应迟钝、判断迟缓; 7)注意力无法集中、思维能力下降; 8)动作僵硬、节奏失调; 9)心情郁闷、急躁,容易激动; 10)分辨不清方位,车速盲目提高。 其中,状态1,2,3会造成思考能力下降及动作迟缓疲劳直接影响人的思维过程及速 度,引起头脑不清醒及判断能力减弱。疲劳亦会使驾驶动作失调,车辆操控失准。状态4, 5,6,7会造成注意力下降,疲劳亦会导致视力模糊或者使视野变得狭窄、仪表判读能力 下降,疲倦的驾驶员通常会有瞌睡的感觉,难于集中精神驾驶,大大提高了发生意外的机 会。状态8,9,10会造成驾驶员自制力减退,相对于瞌睡的感觉,疲劳的驾驶者或会失 去耐性,容易激动和急躁。不当的加速或者慢驶,均会严重影响其他驾驶员及交通运输。 以上种种由于驾驶员疲劳造成的结果和情形都是非常危险的,特别是现在的车速和生 活节奏的加快,常常一不注意,就会酿成大祸 12疲劳驾驶的研究现状 20世纪90年代起,驾驶员疲劳程度检测方法和理论的研究有了很大的进展。自2000 年以来,随着计算机和集成电路制造技术的提高,使驾驶员疲劳检测的技术研究有了进 步的发展。 目前常见的疲劳监测分为三类:第一类是利用驾驶员疲劳时的驾驶行为来监测驾驶 员的疲劳状态,如眨眼、打哈欠、车辆的行驶轨迹等;第二类是利用驾驶员疲劳时的生理 特征来检测驾驶员的疲劳状态,如脑电图、心电图、眼部状态等:最后一类是结合疲劳时 驾驶员的驾驶行为和生理特征的综合监测方法。 121基于驾驶行为的监测方法 (1)打瞌睡驾驶员检测系统。由美国研制,采用多普勒雷达和复杂的信号处理方法, 根据检测出的驾驶员情绪活动、眨眼频率和持续时间等一些疲劳数据,来对驾驶员是否打 瞌睡或睡着进行判断 (2)转向盘监视系统。用于对转向盘非正常运动进行监测的传感器系统,适用于各种 浙江工业大学硕士学位论文 车辆。在方向盘转动异常时,比如转向盘4s不运动就会发出报警声,直到转向盘继续正常 运动为止。该系统固定在车内录音机旁,转向般下面的杆上装有一条磁性带,用以监测转 向运动。 (3)路面警告系统。一种设置在高速公路上用计算机控制的红外监测系统,当行驶车 辆摆过道路中线或路肩时,向驾驶员发出警告。 (4)反应时测试仪。根据驾驶员对仪器屏幕上随机出现的光点来触发键盘,以敲击键 盘的速度测试驾驶员的反应时间,用以判断其疲劳程度向。 (5)日本成功研制了电子“清醒带”。使用时固定在驾驶员头部,将其一端的插头插 入车内点烟器的插座,装在带子里的半导体温差电偶使平展在前额部位的芯片变凉,使驾 驶员睡意消除,精神振作。但此“清醒带”只能使驾驶员尽量保持清醒状态,只能“提神”, 而不能真正实现“预警” 122基于驾驶员生理特征的监测方法 (1)美国华盛顿大学通过自选开发的专用照相机、脑电图仪和其他仪器来精确测量 头部运动、瞳孔直径变化和眨眼率,如图所示,用以研究驾驶行为等问题。研究表明: 般情况下人们眼睛闭合的时间在0.2-0.3秒之间,驾驶时若眼睛闭合时间达到05秒就很 容易发生交通事故。 图1-1测量瞳孔直径变化和眨眼频率系统 (2)宾夕法尼亚大学智能交通实验室采用 PERCLOS作为精神生理疲劳程度的测量 指标,测量的参数是在1分钟时间内眼睛闭合程度超过80%以上的时间占总时间的百分比, 在设计原理上进行了创新,提供一个很好的跟踪人眼的测量方法,充分利用人眼的基本生 理特点,即视网膜对不同波长的红外光能够反射量的不同。此方法是最早报道的能自动测 量和跟踪被测者的睁闭眼情况,并且能检测到疲劳现象出现的系统,它连续跟踪测量眼睑 浙江工业大学硕士学位论文 的睁闭,并且根据相应的阈值提醒可能发生的瞌睡 (3)驾驶员眼睛的追踪和定位系统,由明尼苏达大学计算机科学与工程学院开发, 系统通过安置在车内的一个摄像头监视驾驶员的脸部,实现以下功能:1)用快速简单的算 法确定驾驶员眼睛在脸部图像中的确切位置和其他脸部特征;2)逦通过追踪多幅正面脸部特 征图像来监控驾驶员是否驾驶疲劳:3)追踪多幅侧面脸部特征图像来检测驾驶员是否处于 疲劳驾驶状态。同年3月,他对上述系统进行了改进,改用红外线彩色摄像头并加滤波器 滤除图像的噪声和非脸部的图像,使搜索脸部图像的次数减少,加快了系统处理图像的速 度。采用灰度模式匹配方法追踪输入图像序列来搜寻并确定眼睛区域,然后用同样的模式 匹配方法来确定眼睛是睁开还是闭合,若搜索失败,系统可自动重新开始搜索。 (4)日本先锋公司最近开发出防止驾驶员开车打瞌睡的系统。据《日经产业新闻》 报道,这一系统的核心技术之一是贴在方向盘上的纸状心跳感应器,司机握方向盘时可以 握住它。感应器每隔10秒检测一次司机的心跳速度。一般说来,人在打瞌睡之前,心跳 速度下降。对心跳速度的检测可以大体判断司机是否瞌睡。另外,这一系统还安装有汽车 内置感应器,可以检测汽车速度的变化和方向盘操作频率的变化,汽车导航设备还可以检 测汽车是否蛇行。这一系统把上述情况综合起来分析,就可大体上判断司机是否有睡意。 一旦确认司机很快有睡意袭来,它就通过改变音乐等方式提醒司机。 (5)测量头部位置的传感器。设计安装在司机座位上方,如图1-2所示,每个传感 器都能输出司机头部距离传感器的位置,然后计算出头部在X、Y、Z三维空间中的位置, 也能够实时跟踪头部的位置,根据每个时间段头部位置的变化特征,来检测出司机是否处 于清醒状态。该传感器的原理是:由人体这个高导体可以改变电极之间的电容(人相当于 这个电容中的导体),通过测量电压计算头部与传感器之间的距离。当人体进入电容区域 时,临近的电容改变同距离之间的关系,利用3个传感器,就可以利用三角代数计算出头 的ⅹ、Y、Z三维空间坐标。在此基础上,对司机的头部位置进行实时跟踪。 【实例截图】
【核心代码】