摘 要

　　隨著(zhù)汽車(chē)保有量的增加和人們生活節奏的加快，因駕駛者疲勞而引發(fā)的交通事故屢屢發(fā)生。我們應該認識到，疲勞駕駛所帶來(lái)的嚴重后果并不亞于酒駕，它是交通安全的巨大隱患，嚴重威脅著(zhù)社會(huì )財產(chǎn)與生命安全。所以研究可靠且有效的疲勞駕駛檢測技術(shù)，能夠提前預測和判斷出駕駛者的疲勞狀態(tài)，及時(shí)預警，并讓車(chē)輛自動(dòng)減速，做到防患于未然，從而可以避免交通事故的發(fā)生。

　　本文通過(guò)研究目前國內外關(guān)于疲勞駕駛檢測技術(shù)的各類(lèi)方法，總結其優(yōu)勢與不足。考慮到部分駕駛者存在佩戴眼鏡的情況，提出基于眼睛、嘴部與頭部狀態(tài)相結合的方法識別疲勞狀態(tài)。主要內容包括以下幾部分：

　　1.視頻圖像預處理。駕駛者的面部區域在行車(chē)過(guò)程中會(huì )受到不同光照的影響，同時(shí)由于視頻圖像在獲取與傳輸過(guò)程中會(huì )產(chǎn)生噪聲與模糊。因此本文預先對圖像進(jìn)行濾波去噪和光照均衡處理，保障人臉區域的準確檢測。

　　2.人臉檢測與運動(dòng)目標跟蹤。在綜合分析比較了各類(lèi)人臉檢測方法之后，本文采用基于 Adaboost 算法的人臉?lè )诸?lèi)器檢測視頻圖像中駕駛員的面部區域。

　　該方法通過(guò) Haar-Like 特征與積分圖像法迭代訓練人臉?lè )诸?lèi)器。與傳統的基于膚色或模板匹配的人臉檢測方法相比，其檢測效率更高、準確性更好。基于人臉檢測的結果，采用粒子濾波運動(dòng)目標跟蹤算法實(shí)時(shí)追蹤駕駛員的面部目標區域。

　　3.眼睛檢測與狀態(tài)識別。首先，利用面部器官的幾何分布規則粗略分割眼部的候選區域。其次，基于大律法對雙眼區域進(jìn)行圖像自適應二值化。通過(guò)垂直積分投影并計算連通區域個(gè)數，判斷駕駛者是否佩戴眼鏡。最后，分兩種情況選擇對應的算法識別睜眼或閉眼狀態(tài)。如果駕駛員佩戴眼鏡，則提出基于局部直方圖統計特征的算法識別眼部狀態(tài)；如果駕駛員未佩戴眼鏡，則采取基于A(yíng)daboost 算法的人眼分類(lèi)器直接定位眼睛，對單眼區域二值化后提取最大矩形并得到眼睛的近似張角，由閾值判斷眼睛睜開(kāi)或閉合狀態(tài)。

　　4.嘴部檢測與狀態(tài)識別。嘴部相對于人臉其他區域來(lái)說(shuō)具有特殊的顏色與亮度信息。本文為了簡(jiǎn)化計算、提高檢測效率，首先根據嘴部在面部的分布位置，粗定位嘴部候選區。其次二值化獲得嘴部面積，利用 Sobel 邊緣檢測法提取嘴部邊緣獲得嘴部周長(cháng)。最后計算似圓度，識別嘴部張開(kāi)或閉合狀態(tài)。

　　5.頭部狀態(tài)識別。人在打瞌睡時(shí)，頭部會(huì )出現突發(fā)性的上仰、下沉或規律性的上下往復運動(dòng)。這部分主要利用已經(jīng)定位到的眼睛與嘴部中心點(diǎn)位置信息，6.疲勞狀態(tài)判斷。該過(guò)程利用持續閉眼時(shí)間、眨眼頻率、PERCLOS 參數、打哈欠持續時(shí)間、打哈欠次數和點(diǎn)頭頻率等指標綜合判斷駕駛者是否瞌睡。最后根據疲勞狀態(tài)各等級對應的面部表情行為特征，構建疲勞駕駛檢測系統流程圖，當檢測到疲勞狀態(tài)時(shí)，及時(shí)預警并讓機動(dòng)車(chē)自動(dòng)減速。實(shí)驗中對 4 組模擬駕駛場(chǎng)景下的視頻圖像進(jìn)行檢測，結果表明本文疲勞駕駛檢測算法的檢測效率較高，準確性較好，且滿(mǎn)足系統對于實(shí)時(shí)性的要求。

　　關(guān)鍵詞：疲勞檢測，眼鏡判斷，自適應，粒子濾波，直方圖局部特征

Abstract

　　With the increase of vehicle holdings and the acceleration of living rhythm, traffic accidents due to the driver fatigue were frequently happened. We should pay attention to the serious consequences caused by drowsy driving as well as drunk driving. It is a great hidden trouble of traffic safety and an important issue that threatens the safety of people's life and property. Therefore, it is necessary and important to research on a reliable and effective technology of fatigue driving detection. The fatigue detection system can make early warning and deceleration through forecast and judgment of driver’s drowsiness in advance to avoid traffic accidents.

　　This paper has summarized the advantages and disadvantages of the different approaches of fatigue driving detection in domestic and overseas. Considering the situation of wearing glasses, the paper presents a comprehensive method based on eyes, mouth and the track of head to identify the fatigue state.The main contributions are as follows:

　　1. Video image pre-processing. The region of driver’s face will be affected by different illumination when driving. And the noise and blurring may generate from the process of acquisition and transmission. So this article makes denoising filter and illumination equilibrium for image in advance to insure the accuracy of face detection.

　　2. After the comprehensive analysis and comparison of different method on face detection, the paper adopts face detection technology which based on Adaboost algorithm to locate the driver’s facial area. It utilizes Haar-Like features and integral image to train the facial classifier iteratively. Compared with the method based on skin color or template, this Adaboost classifier can detect with high efficiency and accuracy. We use the particle filter to track the region of moving target in real time.

　　3. Eyes detection and state recognization. First, the candidate area of the eye is roughly divided by the geometric distribution rule of the facial organ. Second, an adaptive binarization method called OTSU is used. According to vertical integral projection and the number of connected domain, it can judge whether the driver wear glasses or not. Finally, it has two ways to identify the state of eyes(open/closed). It chooses the method of histogram’s local statistical features to recognize eyes state when driver wearing glasses. Getting eyes region with eyes’ classifier based on Adaboost algorithm when not wearing glasses. Then, this paper binarize the eyes’ area，extract the largest rectangle from one eye and calculate the approximate angle of eye. Judge the state of eye whether open or not by threshold value.

　　4. Mouth detection and state recognization. Mouth has special color and brightness information compared with the other areas of face. In order to simplify the calculation and increase the detection rate, we choose a candidate area of mouth according to the geometric distribution rules of facial organs. Extracting mouth edge with Sobel edge detection. Computing roundness e to identify the state of mouth. This method has rotation invariance.

　　5. The detection of head motion locus. The head will nod when people in the situation of drowsy. This article utilizes the center position of eyes and mouth which are located in previous section to identify the head status.

　　6. Fatigue judging. In this section, the duration time, blink frequency, PERCLOS parameter, yawning duration and times, nod frequency had been defined and taken to detect drowsiness and fatigue synthetically. According to the different level of fatigue on facial expression, this paper builds a fatigue detection flow chart. The system will warn and decelerate the vehicle automatically when detecting fatigue. We took four groups of videos which simulate driving situation to testing. The results show that the fatigue detection algorithm is more efficient and accurate,and satisfies the requirement of real-time system.

　　Keywords：Fatigue detection,Glasses judging,Self-adaption,Particle filter,Local histogram features

　　多年來(lái)，因疲勞駕駛而導致的交通事故頻頻發(fā)生。疲勞駕駛已經(jīng)成為造成交通事故的第二大誘因。研究顯示，睡眠不足對駕駛員的影響近似于酒后駕車(chē)[1],存在很大的安全隱患。根據 2005-2011 年我國道路交通事故統計數據可知[2]，僅2011 年我國因疲勞駕駛而導致的交通事故死亡人數超過(guò) 1000 人，造成的經(jīng)濟損失達到近 5000 萬(wàn)元。駕駛員疲勞與發(fā)生交通事故的 Pearson 相關(guān)性達到 99%。

　　美國國家公路交通安全管理局統計，美國每年因瞌睡導致約 10 萬(wàn)起交通事故，造成人身傷害的交通事故占 71%，其中有 1500 起事故直接導致死亡。據德國保險公司統計，25%左右的交通事故是因疲勞駕駛引起的[3]。法國警察總署統計20.6%的交通事故是由瞌睡導致的[4]。一項針對美國 1.03 億人的調查結果顯示，有超過(guò)三分之一的駕駛者在開(kāi)車(chē)過(guò)程中出現過(guò)打瞌睡的現象。

　　導致駕駛員出現疲勞現象的主要因素有：睡眠質(zhì)量差、長(cháng)時(shí)間開(kāi)車(chē)、服用了帶有鎮痛或安眠的藥物、飲用了含有酒精成分的飲料等。這些因素均會(huì )引起駕駛員瞌睡困乏，使身體的感知機能弱化，出現視線(xiàn)模糊、注意范圍變小、反應時(shí)間明顯延長(cháng)、動(dòng)作不協(xié)調等現象。駕駛者進(jìn)入疲勞狀態(tài)時(shí)，動(dòng)作遲緩、反應不及時(shí)，尤其是在進(jìn)入重度疲勞時(shí)，駕駛員甚至會(huì )忘記操控車(chē)輛，非常容易發(fā)生撞擊、追尾等交通事故，后果不堪設想。疲勞駕駛不僅會(huì )造成一定的經(jīng)濟財產(chǎn)損失，威脅社會(huì )公共交通安全，更會(huì )導致車(chē)內人員傷亡，危害自身與他人的生命安全，造成巨大的精神傷害。

　　當駕駛員感到疲勞時(shí)，單純依靠功能飲料、吹冷氣或者大聲播放音樂(lè )、同伴隨行聊天和監督等方式來(lái)克服疲勞的效果并不顯著(zhù)。如何能夠提前預測駕駛員的疲勞狀態(tài)，從而避免交通事故的發(fā)生，已經(jīng)成為目前在疲勞駕駛檢測技術(shù)研究領(lǐng)域中的熱點(diǎn)與難點(diǎn)。由于根據腦電、心電和脈搏等生理信號監測疲勞狀態(tài)需在駕駛員身上配備接觸裝置，這會(huì )妨礙駕駛員的操作。而基于車(chē)輛行駛軌跡的疲勞檢測方法對道路標線(xiàn)的要求較高。所以考慮非接觸式的方法，通過(guò)研究數字視頻圖像處理與識別技術(shù)，利用人臉表情和頭部運動(dòng)信息檢測駕駛員的疲勞狀態(tài)具有一定的可行性。

　　綜上所述，通過(guò)研究一種可靠且有效的疲勞駕駛檢測算法與系統，預先識別出駕駛員的疲勞狀態(tài)，及時(shí)預警并使車(chē)輛自動(dòng)減速，可以降低安全風(fēng)險，盡可能避免因疲勞駕駛而發(fā)生的交通事故，這對保障人們的生命和財產(chǎn)安全具有非常重要的意義。

　　近年來(lái)隨著(zhù)人們安全意識的增強和科研水平的提高，疲勞駕駛檢測技術(shù)因其對預防交通事故、降低道路安全風(fēng)險具有積極作用，所以受到國內外研究者的廣泛關(guān)注和深入研究，并取得不錯的效果。目前疲勞駕駛檢測技術(shù)主要包括三類(lèi)，分別為基于生理指標的疲勞檢測方法、基于操作行為和行車(chē)軌跡的疲勞檢測方法和基于機器視覺(jué)的疲勞檢測方法[5]。

　　（1）基于生理指標的疲勞檢測方法生理指標檢測法主要應用心電圖(ECG)、腦電圖(EEG)和脈搏等生理信號特征，讓駕駛員佩戴接觸式的裝置實(shí)時(shí)測量人體生理參數。例如 ErikaAbe，KoichiFujiwara 等通過(guò)對 27 名實(shí)驗對象的心電圖進(jìn)行心率變化分析，結合多元統計過(guò)程控制原理，提前預測瞌睡的發(fā)生[6]。Aihua Zhang 等發(fā)現在瞌睡狀態(tài)下從腦電信號中提取出的能量特征明顯升高而樣本熵明顯降低的現象，利用該特性可以反映出腦部的活動(dòng)狀態(tài)，判斷是否疲勞[7]。此類(lèi)方法雖然準確度高，但是需要穿戴檢測設備，會(huì )在一定程度上妨礙駕駛操作，因此應用范圍并不十分廣泛。

　　（2）基于操作行為和行車(chē)軌跡的疲勞檢測方法該類(lèi)方法主要分析車(chē)輛的方向盤(pán)轉動(dòng)、踏板操作和行車(chē)軌跡等特征，判斷駕駛員是否疲勞。當駕駛者打瞌睡時(shí)，往往會(huì )因神經(jīng)放松而導致對車(chē)輛的操控能力減弱，比如方向盤(pán)長(cháng)時(shí)間未被修正等。例如將腦電圖信號和對應的方向盤(pán)操縱數據相結合檢測駕駛員的疲勞狀態(tài)[8]。另外一種方法是通過(guò)傳感器測量手對方向盤(pán)的握力，判斷駕駛員是否疲勞。當檢測到握力減弱，說(shuō)明駕駛員可能出現疲勞狀態(tài)。華盛頓州立大學(xué)波坎分校的研究人員發(fā)現，通過(guò)分析方向盤(pán)的轉動(dòng)情況并預測行車(chē)軌跡可以判斷司機是否處于疲勞狀態(tài)。當前不少汽車(chē)廠(chǎng)商也借助攝像頭監測系統監測車(chē)輛是否漂移出車(chē)道，借此判斷司機是否精神渙散。

　　但是這種系統既繁瑣又昂貴，而且對車(chē)道線(xiàn)的要求較高。例如在被冰雪覆蓋或車(chē)道標記褪色的道路上，攝像頭監測系統將會(huì )失效。這類(lèi)方法雖不妨礙駕駛操作，能達到一定檢測效果。但根據每個(gè)人駕車(chē)習慣與行車(chē)環(huán)境的不同，檢測的魯棒性會(huì )受到影響。

　　（3）基于機器視覺(jué)的疲勞檢測方法此類(lèi)方法通過(guò)圖像傳感器采集人臉圖像，利用圖像識別與機器視覺(jué)技術(shù)分析面部表情，計算人眼的眨眼時(shí)間、眨眼頻率、嘴部打哈欠頻率以及點(diǎn)頭頻率等指標，檢測駕駛員疲勞并發(fā)出預警。例如利用人的眼睛被紅外光源照射時(shí)的紅外效應檢測眼睛位置，分析眼睛閉合程度，判斷是否疲勞；Vural E 等通過(guò)機器學(xué)習訓練分類(lèi)器，對打哈欠、眨眼等表情進(jìn)行識別，判斷駕駛員的疲勞狀態(tài)[9]；王豪榮等定位嘴部完整輪廓后使用 Harris 角點(diǎn)檢測嘴角并校正方向，通過(guò)計算嘴部張開(kāi)度和張嘴的持續時(shí)間判斷駕駛員是否疲勞[10]；熊池亮等對壓縮感知算法進(jìn)行研究，利用稀疏矩陣提取人臉特征，并使用改進(jìn)的 AAM（ActiveAppearance Model）算法實(shí)現人眼輪廓定位，判斷疲勞狀態(tài)[11]；Masrullizam MatIbrahim 等利用復合 LBP 紋理特征判斷嘴部是否有遮擋，并計算嘴部圖像二值化后高度與嘴部感興趣區域高度的比值，設定閾值判斷打哈欠情況[12]；基于嘴部?jì)容喞�角點(diǎn)檢測與曲線(xiàn)擬合的哈欠檢測方法。對打哈欠狀態(tài)進(jìn)行判決[13]。

　　這些方法雖均能達到一定的檢測效果，但大多未考慮到駕駛員戴眼鏡的情況，且一般僅針對眼睛或嘴部單一部位進(jìn)行檢測與識別。本文將以非接觸的方式，基于圖像處理與面部信息分析的方法，首先對駕駛員是否佩戴眼鏡進(jìn)行判斷，分兩種情況識別眼睛狀態(tài)，并檢測嘴部與頭部狀態(tài)，綜合分析駕駛員疲勞時(shí)的面部和頭部表現特征，識別疲勞狀態(tài)，保證系統的檢測效率，提高準確率，降低誤報和漏報的可能性。

　　在疲勞駕駛檢測方法的研究中存在較多難題，包括不同光照影響、駕駛員配戴眼鏡情況下眼睛的檢測與狀態(tài)識別、多部位疲勞信息融合等問(wèn)題。本文通過(guò)研究圖像濾波去噪、光照均衡、人臉檢測、眼睛、嘴部與頭部目標定位和跟蹤、特征提取、疲勞狀態(tài)識別等方面的算法，對駕駛員進(jìn)行實(shí)時(shí)準確的疲勞檢測。研究的主要包括：

　　第 1 章，緒論。說(shuō)明基于表情與頭部信息的疲勞駕駛檢測算法的研究背景與意義，闡述國內外疲勞檢測技術(shù)的研究現狀以及各類(lèi)方法的優(yōu)點(diǎn)與劣勢。分析在利用面部表情與頭部運動(dòng)狀態(tài)進(jìn)行疲勞檢測的過(guò)程中存在哪些難點(diǎn)，明確本文的研究方向與方法。

　　第 2 章，視頻圖像預處理。分析并對比傳統的均值與中值濾波、高斯模板濾波方法的去噪平滑效果。最后選擇采用自適應中值濾波算法對采集到的駕駛室內的視頻圖像進(jìn)行去噪濾波處理，并選取自適應閾值光照均衡法對偏暗和偏亮的視頻圖像進(jìn)行光照均衡處理，以降低噪聲和光線(xiàn)因素對圖像識別產(chǎn)生的不良影響。

　　第 3 章，首先簡(jiǎn)要闡述了人臉檢測技術(shù)的不同方法。在綜合對比各類(lèi)人臉檢測方法之后，采用基于 Adaboost 算法的人臉?lè )诸?lèi)器定位視頻圖像中駕駛員的人臉區域。通過(guò) Haar-Like 特征與積分圖像法，提高人臉檢測的效率和正確率；其次介紹了運動(dòng)目標跟蹤的方法，本文重點(diǎn)研究粒子濾波運動(dòng)目標跟蹤算法的基本原理與實(shí)現方法。最后通過(guò)實(shí)驗仿真對人臉、眼睛和嘴部的運動(dòng)目標進(jìn)行跟蹤驗證，得到的跟蹤效果較好。

　　第 4 章，（1）眼睛狀態(tài)識別。利用面部器官幾何分布規則粗略檢測眼睛區域。基于大律法對雙眼區域進(jìn)行自適應二值化。利用垂直積分投影法判斷駕駛員是否佩戴眼鏡，分兩種情況識別眼睛狀態(tài)，若駕駛員佩戴眼鏡，則采用基于直方圖局部統計特征的算法識別眼睛狀態(tài)；若駕駛員未佩戴眼鏡，則利用基于A(yíng)daboost 算法的人眼分類(lèi)器檢測眼睛區域。閾值二值化后計算眼睛的近似張角，判斷眼睛的睜閉狀態(tài)。在駕駛員佩戴眼睛時(shí)，上述方法可以提高檢測眼部睜閉狀態(tài)的準確率。（2）嘴部狀態(tài)識別。根據嘴部在面部中的幾何分布規則，粗定位嘴部區域，設定閾值進(jìn)行二值化，計算嘴部區域面積。利用 Sobel 邊緣檢測法提取嘴部邊緣得到周長(cháng)。計算似圓度，如果似圓度超過(guò)閾值，則判斷嘴部處于張開(kāi)狀態(tài)，反之判斷嘴部為閉合狀態(tài)。該方法能夠提高判斷嘴部張閉狀態(tài)的準確性。

　　第 5 章，疲勞狀態(tài)識別。該過(guò)程利用持續閉眼時(shí)間、眨眼頻率、PERCLOS指標、打哈欠持續時(shí)間、打哈欠次數和點(diǎn)頭頻率，建立疲勞駕駛檢測系統流程。綜合判斷駕駛員是否疲勞，并及時(shí)預警。

　　第 6 章，總結本文的研究?jì)热荩�分析疲勞檢測算法的缺點(diǎn)與不足，提出改進(jìn)和完善措施。

　　按表情與頭部狀態(tài)識別算法開(kāi)發(fā)疲勞駕駛檢測系統實(shí)現：

基于A(yíng)daboost 算法的人臉檢測結果

夜間面部跟蹤效果圖

白天面部跟蹤效果圖

不同光照下雙眼區域檢測結果

基于大律法的雙眼圖像二值化圖

雙眼垂直積分投影法判斷眼鏡結果圖

嘴部閉合與張開(kāi)粗檢結果圖

一次眨眼過(guò)程圖示

目 錄

　　第 1 章 緒 論
　　　　1.1 疲勞駕駛檢測的研究背景與意義
　　　　1.2 疲勞檢測的研究方法與現狀
　　　　1.3 本文的研究?jì)热菁敖Y構安排
　　第 2 章 視頻圖像預處理
　　　　2.1 圖像濾波去噪
　　　　　　2.1.1 傳統濾波算法的分析與比較
　　　　　　2.1.2 基于自適應中值濾波的圖像去噪
　　　　2.2 基于自適應閾值的圖像光照均衡
　　　　2.3 圖像預處理的實(shí)驗結果分析
　　　　2.4 本章小結
　　第 3 章 人臉區域檢測與目標跟蹤
　　　　3.1 人臉檢測方法分類(lèi)
　　　　3.2 基于 Adaboost 分類(lèi)器的人臉檢測算法的研究
　　　　3.3 人臉檢測實(shí)驗結果分析
　　　　3.4 基于粒子濾波的面部目標跟蹤
　　　　　　3.4.1 運動(dòng)目標跟蹤算法分類(lèi)
　　　　　　3.4.2 結合 Adaboost 與粒子濾波算法的面部目標跟蹤
　　　　　　3.4.3 面部跟蹤實(shí)驗結果與分析
　　　　3.5 本章小結
　　第 4 章 眼睛與嘴部狀態(tài)識別
　　　　4.1 人眼狀態(tài)識別
　　　　　　4.1.1 基于改進(jìn)的幾何分布規則的雙眼區域粗定位
　　　　　　4.1.2 基于大律法的眼部自適應二值化
　　　　　　4.1.3 基于積分投影法的眼鏡判斷
　　　　　　4.1.4 基于近似張角與直方圖局部特征的眼睛狀態(tài)判斷
　　　　4.2 嘴部狀態(tài)識別
　　　　　　4.2.1 常用的嘴部狀態(tài)識別方法介紹
　　　　　　4.2.2 基于似圓度與近似張角的嘴部狀態(tài)識別
　　　　4.3 本章小結
　　第 5 章 駕駛員疲勞狀態(tài)識別
　　　　5.1 多指標融合的眼部疲勞判斷
　　　　5.2 嘴部疲勞判斷
　　　　5.3 點(diǎn)頭瞌睡的疲勞判斷
　　　　5.4 疲勞識別流程與實(shí)驗分析
　　　　5.5 本章小結
　　第 6 章 總結與展望
　　　　6.1 總結
　　　　6.2 展望
　　參考文獻
　　作者簡(jiǎn)介及科研成果
　　致 謝

（如您需要查看本篇畢業(yè)設計全文，請您聯(lián)系客服索取）