駕駛員行為與狀態(tài)監(jiān)測(cè)系統(tǒng)作為一種監(jiān)測(cè)預(yù)警技術(shù),在先進(jìn)的駕駛輔助系統(tǒng)發(fā)展過程中起著舉足輕重的作用,比如對(duì)于要求在自動(dòng)駕駛輔助過程的特定運(yùn)行區(qū)域中可以實(shí)現(xiàn)長(zhǎng)時(shí)間脫手、脫眼,則需要通過駕駛員監(jiān)控系統(tǒng)實(shí)時(shí)采集駕駛員頭部及臉部狀態(tài)信息,以便分析駕駛當(dāng)前的接管能力。
目前關(guān)于駕駛員行為與疲勞狀態(tài)監(jiān)測(cè)預(yù)警技術(shù)可以分為如下三類:
1) 從駕駛員自身特征觸發(fā),通過某種設(shè)備獲取駕駛?cè)说纳硇盘?hào)特征或者利用駕駛員正常狀態(tài)和疲勞狀態(tài)下的特征模式的不同,通過視覺傳感器采集駕駛員面部各種器官特征,利用相應(yīng)的模式識(shí)別技術(shù)分類進(jìn)行判別駕駛員是否處于疲勞狀態(tài)。
2) 根據(jù)車輛的狀態(tài)參數(shù)間接判斷駕駛員是否處于疲勞狀態(tài),這類方法從駕駛員對(duì)車輛的操控情況以及采集到的車輛運(yùn)行狀態(tài)參數(shù)來判斷是否疲勞或注意力分散。比如車輛是否超過道路標(biāo)識(shí)線,轉(zhuǎn)向是否連貫,是否處于超速行駛,車輛之間的距離是否太近等。
3) 采用信息融合的方法,結(jié)合駕駛員生理特征參數(shù)檢測(cè)結(jié)果、車輛狀態(tài)參數(shù)或駕駛員行為信號(hào),從而判斷駕駛員精神集中狀態(tài)。
基于駕駛員生理信號(hào)的方法
研究表明,駕駛員在疲勞狀態(tài)下其生理指標(biāo)與正常值相比會(huì)發(fā)生變化?;隈{駛員生理檢測(cè)的方法可以通過專業(yè)設(shè)備檢測(cè)駕駛員相關(guān)生理信號(hào)如腦電圖(EEG)、心電圖(ECG)、肌電圖(EMG)、眼電圖(ECG),根據(jù)參數(shù)變化情況來判斷駕駛員是否疲勞。
1、腦電圖
通過對(duì)腦電信號(hào)(腦電節(jié)律、事件相關(guān)電位)的分析,反應(yīng)人體疲勞程度,研究發(fā)現(xiàn),人在瞌睡的時(shí)候θ波(頻率為3-7Hz)有比較明顯的增加,而在清醒的是否β波(頻率大于13Hz)比較多。但是在腦電圖人的頭部轉(zhuǎn)動(dòng)、喝水等動(dòng)作出現(xiàn)時(shí)其值變化會(huì)比較劇烈。故在使用腦電圖檢測(cè)疲勞是,可以通過區(qū)分波段反應(yīng)疲勞情況。而潑譜的提取及分類情況對(duì)于識(shí)別效果會(huì)有很大的影響,目前的研究均集中在對(duì)于波段數(shù)據(jù)的特征提取及分類上。而其中使用小波分析提取腦電波數(shù)據(jù)特征,利用支持向量機(jī)對(duì)腦電波進(jìn)行分類,或者使用小波分析與該學(xué)習(xí)方法進(jìn)行疲勞的自動(dòng)識(shí)別,或者利用駕駛疲勞是腦電圖譜分量的可再現(xiàn)性及重復(fù)性來檢測(cè)疲勞。
2、心電圖
通過心電信號(hào)(包括心率HR、心率變異性HRV)的分析,反映人體的疲勞程度。駕駛員的心率變化與其駕駛狀態(tài)有很大關(guān)系。強(qiáng)行超車、加減速、無視信號(hào)、慢行等駕駛行為都會(huì)增加心臟和血管等循環(huán)器官的負(fù)擔(dān),一定程度上加速心跳。
3、肌電圖
肌電圖信號(hào)中的功率中值頻率、肌電圖積分值分析可以反映人體疲勞程度,且肌電圖的頻率隨著疲勞的產(chǎn)生和程度的加深呈現(xiàn)下降趨勢(shì),而肌電圖的幅值增大則表明疲勞程度加大。
4、眼電圖
眼電圖通過在眼睛的上下各放置電極,取得垂直方向的眼電圖數(shù)據(jù)。在眼睛閉合時(shí),其電極值達(dá)到最大值,對(duì)應(yīng)于波形圖中的尖峰幅值,上升時(shí)間為閉眼時(shí)刻持久度,下降時(shí)間為睜眼時(shí)間持久度,根據(jù)此刻尖峰值、閉眼時(shí)間以及睜眼時(shí)間參數(shù)可以對(duì)眼電圖波形進(jìn)行聚類,從而得出各個(gè)狀態(tài)下的眼電圖波形。
基于駕駛員生理反應(yīng)特征的方法
基于駕駛員生理反應(yīng)特征的檢測(cè)方法跟蹤和分析眼瞼狀態(tài)和眼睛的注視位置,在疲勞狀態(tài)的識(shí)別精度和實(shí)用性上都較好。
基于駕駛員生理反應(yīng)特征的檢測(cè)方法一般采用非接觸式檢測(cè)途徑,利用實(shí)時(shí)圖像處理技術(shù),通過分析駕駛員的眨眼信息、眼球運(yùn)動(dòng)和頭部運(yùn)動(dòng)特性等推斷駕駛員的疲勞狀態(tài),其中眨眼幅度、眨眼頻率和平均閉合時(shí)間都可以直接用于檢測(cè)疲勞狀態(tài)。
目前基于駕駛員生理反應(yīng)的駕駛疲勞檢測(cè)算法有很多種,利用面部識(shí)別技術(shù)定位眼睛和嘴部位置,將眼睛和嘴部位置結(jié)合起來,再根據(jù)駕駛員視線跟蹤可以獲得駕駛員注意力方向,并判斷駕駛員的注意力是否分散。
1、PERCLOS檢測(cè)
關(guān)于疲勞狀態(tài)檢測(cè)廣泛采用的算法包括了PERCLOS,即將眼睛閉合時(shí)間占據(jù)一段時(shí)間的百分比作為判斷疲勞的指標(biāo)??▋?nèi)基梅隆研究所通過反復(fù)試驗(yàn)和論證,指出PERClOS的P80(單位時(shí)間內(nèi)眼睛閉合程度超過80%時(shí)間占總時(shí)間的百分比以上的)與駕駛疲勞程度相關(guān)性最好。先進(jìn)一點(diǎn)的方法是利用人的視網(wǎng)膜對(duì)不同波長(zhǎng)紅外光反射量的不同生理特點(diǎn),在相同照度的情況下,利用兩個(gè)攝像頭同時(shí)采集人臉圖像,分析差分后瞳孔圖像的大小和位置,來計(jì)算PERCLOS,可實(shí)現(xiàn)對(duì)駕駛員疲勞狀況的全天候監(jiān)測(cè)。另外,采用紅外光源和DSP嵌入式系統(tǒng)采集駕駛員人臉圖像,利用模板匹配算法對(duì)睜眼和閉眼狀態(tài)進(jìn)行識(shí)別,可將如上改進(jìn)后的PERCLOS算法作為判斷駕駛員是否疲勞的標(biāo)準(zhǔn)。
德爾福公司開發(fā)了基于視覺實(shí)時(shí)駕駛狀態(tài)評(píng)分系統(tǒng)DSM(Driver State Monitor),他在儀表上安裝了正對(duì)駕駛員的單目攝像機(jī)和兩個(gè)紅外光源,以實(shí)現(xiàn)對(duì)駕駛員眼睛閉合狀態(tài)的檢測(cè)和對(duì)頭部姿態(tài)的估計(jì)。通過對(duì)1min內(nèi)眼睛平均閉合時(shí)間的測(cè)量,該系統(tǒng)可以實(shí)現(xiàn)在多種光照條件下估計(jì)駕駛員姿態(tài)。
2、嘴部狀態(tài)監(jiān)測(cè)
駕駛員在正常駕駛、說話及打哈欠(瞌睡)等狀態(tài)下嘴部張開程度有所不同,一種較好的駕駛員狀態(tài)識(shí)別方法是利用機(jī)器視覺的方法提取嘴部形狀的幾何特征并將其作為你特征值,根據(jù)BP神經(jīng)網(wǎng)絡(luò)來識(shí)別駕駛員疲勞狀態(tài)。此外,利用模板匹配算法檢測(cè)人臉,通過灰度投影算法檢測(cè)到嘴巴得左右角點(diǎn),并用小波變換算法抽取嘴部角點(diǎn)紋理特征,最后利用線性判別識(shí)別駕駛員是否打哈欠,并將其作為駕駛員是否疲勞的判斷依據(jù)。
當(dāng)然,對(duì)于打哈欠這一種較為常見的駕駛員狀態(tài),我們需要規(guī)避一些誤識(shí)別,比如識(shí)別到一定時(shí)間內(nèi)哈欠的次數(shù)超過一定閾值才算做是真正的疲勞狀態(tài)識(shí)別。且每一次哈欠所影響的疲勞探測(cè)的權(quán)重會(huì)隨著該時(shí)間窗口中的哈欠次數(shù)而增加。
3、頭部位置檢測(cè)
頭部位置探測(cè)是利用計(jì)算駕駛員頭部位置傳感器,設(shè)計(jì)安裝在駕駛員駕駛?cè)俗簧系囊粋€(gè)相鄰的電容電極傳感器陣列,每個(gè)傳感器都能輸出駕駛員頭部距離傳感器的位置,可以計(jì)算出頭部在X,Y,Z三維空間中的位置。
假設(shè)以頭部朝向近似為視線方向?yàn)榍疤醽硌芯狂{駛員頭部朝向角度與注意力分散之間的關(guān)系,則頭部朝向偏離路面的持續(xù)時(shí)間和時(shí)間比例兩個(gè)注意力分散指標(biāo),建立了基于駕駛員面部特征點(diǎn)(如眼睛、鼻孔)的模型,該模型對(duì)頭部朝向角度的估算和對(duì)注意力分散程度的判別。根據(jù)人臉形狀和面部器官的分布,利用機(jī)器視覺檢測(cè)技術(shù)和橢圓擬合方法獲得駕駛員的面部三維朝向信息,由面部朝向可間接反映駕駛員的視線方向。
4、視線方向檢測(cè)
通常駕駛員清醒,注意力集中時(shí),其眼睛會(huì)注釋前方,而當(dāng)其視線出現(xiàn)一定程度的偏移時(shí),則表現(xiàn)出一定的疲勞或注意力分散狀態(tài)。故此,對(duì)于眼睛視線方向的檢測(cè)顯得尤為重要。
如下介紹一種視線檢測(cè)方法。
1)利用“顏色分析法”在人臉圖中首先確定嘴唇的位置;
2)根據(jù)“人臉膚色區(qū)域”進(jìn)行邊緣檢測(cè)定位雙眼;
3)根據(jù)“瞳孔圖像比周圍像素較暗”的事實(shí)確定瞳孔的位置;
4)根據(jù)瞳孔和眼角的相對(duì)位置關(guān)系確定視線方向,如果人眼視線偏離正前方,則認(rèn)為駕駛員可能出現(xiàn)疲勞或注意力分散;
基于車輛運(yùn)行狀態(tài)的方法
基于車輛運(yùn)行狀態(tài)的疲勞檢測(cè)方法不是從駕駛員本人出發(fā)去研究自身狀態(tài),而是基于車輛操控情況去間接判斷駕駛員狀態(tài)。該方法依據(jù)的原理是用線路跟蹤或結(jié)合駕駛車輛與前車的距離等車輛行為表現(xiàn)出的狀態(tài)進(jìn)行疲勞檢測(cè)。當(dāng)駕駛員疲勞時(shí),其駕駛行為與正常狀態(tài)通常存在較大差異,比如反應(yīng)遲鈍、動(dòng)作遲緩、應(yīng)急能力下降;失去方向感,駕車左右搖擺,行駛速率不穩(wěn)定,亦或者車輛離開白線的時(shí)間和程度、駕駛時(shí)車輛航道保持、轉(zhuǎn)向盤控制、制動(dòng)踏板、車輛速度、駕車時(shí)的橫向加速度、車輛側(cè)向位移都可用于檢測(cè)駕駛員是否處于疲勞或注意力分散狀態(tài),進(jìn)而提出警告提醒或用于其他駕駛功能控制輸入。
1、方向盤轉(zhuǎn)動(dòng)情況檢測(cè)
研究發(fā)現(xiàn),正常路況下,當(dāng)駕駛員清醒時(shí),轉(zhuǎn)向盤的調(diào)整幅度一般較小,而車輛的行駛軌跡相對(duì)較平穩(wěn),反之,當(dāng)駕駛員疲勞或注意力分散時(shí),轉(zhuǎn)向盤轉(zhuǎn)動(dòng)幅度較大,車輛的行駛軌跡也變化較為劇烈。另外,通過檢測(cè)方向盤轉(zhuǎn)角速率也可以在一定工況下預(yù)估駕駛員駕駛員疲勞狀態(tài),例如,在正常駕駛條件下駕駛員對(duì)轉(zhuǎn)向盤調(diào)整時(shí)較為緩慢,而在疲勞駕駛時(shí),駕駛員很可能突然調(diào)整轉(zhuǎn)向盤,當(dāng)然這種檢測(cè)方式實(shí)時(shí)性較差,可以作為其他檢測(cè)方式的補(bǔ)充。
以上提到的檢測(cè)方式針對(duì)駕駛輔助來說有如下區(qū)別,在L1級(jí)自動(dòng)駕駛中,允許駕駛員放開雙腳,其縱向控制可交由系統(tǒng)進(jìn)行,雙手仍需控制車輛轉(zhuǎn)向,此方法的檢測(cè)結(jié)果較為有效。而針對(duì)L2級(jí)自動(dòng)駕駛,允許駕駛員松開雙手雙腳,其橫縱向均交由系統(tǒng)進(jìn)行控制,以上方法則需要一定的改進(jìn)措施,比如對(duì)于方向盤轉(zhuǎn)動(dòng)的檢測(cè)可放在TJAICA進(jìn)行脫手報(bào)警之后進(jìn)行,分不同的脫手報(bào)警級(jí)別顯示不同的疲勞和注意力等級(jí)結(jié)果。
2、車輛行駛速度檢測(cè)
有研究表明,通過實(shí)時(shí)監(jiān)測(cè)車輛的行駛速度,判斷車輛是處于有效控制狀態(tài)還是失控狀態(tài),從而可間接反映駕駛員狀態(tài)。具體的方式是通過對(duì)車速、車輛橫向位置、轉(zhuǎn)向盤轉(zhuǎn)角和航偏角的測(cè)量,利用前饋神經(jīng)網(wǎng)絡(luò)FFNN對(duì)測(cè)得的疲勞特征參數(shù)進(jìn)行分類,進(jìn)而通過參數(shù)匹配來判斷駕駛員是否疲勞。
3、車道偏離檢測(cè)
對(duì)于自動(dòng)駕駛而言,車道偏離檢測(cè)已經(jīng)是一個(gè)比較基礎(chǔ)的安全預(yù)警功能,而出現(xiàn)這一車道偏離的原因大部分是因?yàn)轳{駛員疲勞駕駛,或注意力分散導(dǎo)致反應(yīng)遲鈍造成的。我們通過一套前視攝像頭系統(tǒng)實(shí)時(shí)檢測(cè)駕駛員行車軌跡與車道線的距離,當(dāng)車輛運(yùn)行軌跡與車道中心距離出現(xiàn)偏離且持續(xù)一定時(shí)間時(shí),則判斷駕駛員出現(xiàn)疲勞或注意力分散狀態(tài)。
基于信息融合技術(shù)的方法
基于信息融合技術(shù)方法,旨在于將駕駛行為的檢測(cè)方法和基于駕駛員生理特征的檢測(cè)方法相結(jié)合。通過主輔結(jié)合的檢測(cè)方式,以駕駛員生理信號(hào)及生理反應(yīng)檢測(cè)(包括PERCLOS檢測(cè)、頭部位置、嘴巴張合狀態(tài)、視線方向)為基礎(chǔ)判別數(shù)據(jù),結(jié)合駕駛員行為數(shù)據(jù)(包括方向盤轉(zhuǎn)向、握力、車道跟蹤、制動(dòng)、油門等)為輔助判別數(shù)據(jù)提升基礎(chǔ)判別數(shù)據(jù)的檢測(cè)效果。
以上識(shí)別過程可通過制定一套完整的傳感器探測(cè)來進(jìn)行檢測(cè)。比如瑞士一家汽車設(shè)計(jì)公司通過在汽車主駕位置設(shè)計(jì)一種駕駛室,該駕駛室采用了最新的靈敏表面技術(shù),以及各種先進(jìn)的發(fā)光膜材料、傳感器等,駕駛員需要在手腕上佩戴一個(gè)生物統(tǒng)計(jì)測(cè)量表,以測(cè)量其脈搏變化,而安裝在車上的攝像頭將檢測(cè)汽車速度、變線頻率以及與前車的距離,當(dāng)然主要的測(cè)量手段還是利用安裝在儀表盤周邊位置的攝像頭組檢測(cè)駕駛員頭部、臉部相關(guān)信息,將所有這些傳感監(jiān)控?cái)?shù)據(jù)匯總到車載計(jì)算機(jī)中,計(jì)算機(jī)對(duì)駕駛員精神狀態(tài)做出快速評(píng)估,并迅速啟動(dòng)應(yīng)對(duì)程序。
總結(jié)
基于駕駛員生理信號(hào)的疲勞檢測(cè)技術(shù)優(yōu)點(diǎn)是客觀性強(qiáng),能比較準(zhǔn)確地反映人體的疲勞狀態(tài),但其準(zhǔn)確性與生理參數(shù)檢測(cè)儀器有比較大的關(guān)系,同時(shí)一般都為接觸式檢查方法,在自動(dòng)駕駛設(shè)計(jì)中產(chǎn)生很多局限性。
基于駕駛員生理反應(yīng)特征的檢測(cè)方法一般采用非接觸式檢測(cè)途徑,利用實(shí)時(shí)圖像處理技術(shù),跟蹤和分析眼瞼狀態(tài)和眼睛注視位置,在疲勞和注意力檢測(cè)精度都較好。但是缺點(diǎn)是檢測(cè)識(shí)別算法比較復(fù)雜,疲勞特征提取困難,且檢測(cè)結(jié)果收到光線變化和個(gè)體生理狀況的影響較大。
以上提到的非接觸式檢測(cè),信號(hào)容易提取,不會(huì)對(duì)駕駛員產(chǎn)生干擾,但由于車輛運(yùn)行狀態(tài),除了與駕駛員操作有關(guān)外,還與車輛特性,操作技能、道路環(huán)境、駕駛經(jīng)驗(yàn)、駕駛條件、行駛速度、道路等很多環(huán)境因素相關(guān),安全駕駛與非安全駕駛很難界定。同時(shí),在低速駕駛過程中這些參數(shù)也很難反映駕駛員疲勞狀態(tài)。
對(duì)于自動(dòng)駕駛而言,對(duì)駕駛員疲勞或注意力分散的檢測(cè)都可依托于其安全緊急報(bào)警無法得到響應(yīng)來體現(xiàn),但這種方式均存在一定的滯后性,因此,如何提高駕駛員狀態(tài)的預(yù)測(cè)精度是此類間接檢測(cè)駕駛員疲勞方法的關(guān)鍵。