艙內(nèi)感知技術(shù)（In-Cabin Sensing，以下簡(jiǎn)稱ICS），通過(guò)檢測(cè)追蹤包括頭部朝向、面部表情、視線方向、手勢(shì)及肢體關(guān)鍵點(diǎn)等人體視覺(jué)特征，分析駕駛員及乘客的身份信息、意圖和行為，同時(shí)關(guān)注駕艙內(nèi)的人員活動(dòng)以及與之相關(guān)的物品檢測(cè)，致力于提供更安全、智能的車內(nèi)體驗(yàn)。在這篇文章內(nèi)，我們將介紹艙內(nèi)感知技術(shù)。

功能應(yīng)用

具體來(lái)說(shuō)，ICS技術(shù)需要精確檢測(cè)出駕乘人員的身份、性別年齡、五官、視線方向、頭部朝向、手勢(shì)、肢體關(guān)節(jié)點(diǎn)等信息以及他們的隨身物品。通過(guò)對(duì)這些關(guān)鍵信息的檢測(cè)，ICS技術(shù)可以應(yīng)用在不同的功能上，比如：駕駛員監(jiān)控、乘客監(jiān)控、艙內(nèi)物品檢測(cè)和駕艙人機(jī)交互。



ICS技術(shù)的一個(gè)核心應(yīng)用就是駕駛員行為監(jiān)測(cè)（Driver Monitor System, 以下簡(jiǎn)稱DMS），監(jiān)測(cè)并分析駕駛員的狀態(tài)和行為，并提供對(duì)應(yīng)的預(yù)警信息。其包含的主要功能有：疲勞分析、分神分析、動(dòng)作分析（打電話、抽煙）等。



特征信息檢測(cè)

DMS最基礎(chǔ)也是最核心的，是要得到面部的特征信息，例如：眼睛的位置以及張閉程度、嘴巴的位置以及張閉程度、耳朵的位置、面部的朝向等等。這些信息直接決定了整個(gè)算法的準(zhǔn)確性。

在檢測(cè)這些關(guān)鍵信息之前，首先需要完成駕駛員檢測(cè)，實(shí)現(xiàn)畫面中駕駛員的定位。我們采用的人臉檢測(cè)算法經(jīng)過(guò)實(shí)測(cè)，精度指標(biāo)AP（Average Precision）高達(dá)97.4%。第二步分析五官特征，我們基于神經(jīng)網(wǎng)絡(luò)自主研發(fā)的臉部特征點(diǎn)回歸網(wǎng)絡(luò)，可以精確定位出臉部特征，比如眼睛、鼻子、嘴、眉毛等。最重要的是，我們的算法不僅僅只分析畫面中的人臉，他還會(huì)根據(jù)自己分析到的人臉信息進(jìn)行迭代、演進(jìn)和修正，保證了算法對(duì)不同特性人臉的適應(yīng)性。


檢測(cè)算法能夠適應(yīng)不同人種、膚色

臉部特征信息是作為行為/狀態(tài)分析的“原材料”。如果要判斷駕駛員是否處于疲勞駕駛狀態(tài)，我們需要分析出一系列的外部特征表現(xiàn)，比如眼睛開合度的變化、眨眼頻率的變化、打哈欠頻率的變化、頭部運(yùn)動(dòng)規(guī)律與節(jié)奏等。舉個(gè)例子，我們會(huì)統(tǒng)計(jì)司機(jī)開車時(shí)間內(nèi)正常的眼睛開合度。當(dāng)他疲勞時(shí)，眼睛的開合度會(huì)在一個(gè)時(shí)間段內(nèi)緩慢地逐步變小，這就是疲勞的典型特征。

視線追蹤

我們ICS技術(shù)的亮點(diǎn)之一是視線追蹤，利用攝像頭分析眼球的成像信息，從而得到視線的朝向，從而精準(zhǔn)地判斷司機(jī)的注意力。


下面是我們的視線追蹤Demo，從瞳孔中“發(fā)射”出的兩條線就代表著視線方向。這是通過(guò)構(gòu)建眼球的3D模型，得到視線的原點(diǎn)；再通過(guò)分析眼睛的成像以及光斑信息得到目標(biāo)點(diǎn)。原點(diǎn)到目標(biāo)點(diǎn)的連線就是我們的視線方向。

視線精度的誤差我們能夠控制在3-5度，這是因?yàn)榫C合利用了精確視線與魯棒視線兩種算法。當(dāng)眼睛成像清晰、光斑穩(wěn)定可見的時(shí)候，會(huì)采用精確視線算法以提升算法的精度；當(dāng)成像模糊時(shí)我們采用穩(wěn)定視線，通過(guò)犧牲精度的方式來(lái)保證算法的穩(wěn)定性以及不同場(chǎng)景的適應(yīng)性。

• 精確視線:

視線矢量原點(diǎn)= 角膜虛擬球心 (由光斑推算得出)

精確度高但可獲得性低

• 穩(wěn)定視線:

視線矢量原點(diǎn)= 瞳孔中心 (由3D眼球模型推算得出)

精確度相對(duì)較低但可獲得性高



紅外補(bǔ)光燈照射人眼時(shí)，此時(shí)角膜相當(dāng)于一個(gè)凸面鏡，紅外燈的反射像會(huì)形成一個(gè)可見亮斑

同時(shí)，我們的算法可以支持不同光源條件下的識(shí)別檢測(cè)，光源的變化會(huì)令司機(jī)的眼球形成亮瞳或暗瞳。當(dāng)光源靠近成像裝置的視軸時(shí)，會(huì)產(chǎn)生亮瞳現(xiàn)象，就和拍照時(shí)出現(xiàn)的紅眼現(xiàn)象相同；反之會(huì)產(chǎn)生暗瞳現(xiàn)象，瞳孔的亮度比虹膜暗。



活體身份識(shí)別

活體身份識(shí)別是ICS的另一重要應(yīng)用，系統(tǒng)需確認(rèn)當(dāng)前司機(jī)是否為車主，許多車隊(duì)利用這一功能來(lái)加強(qiáng)對(duì)司機(jī)的管理。然而一些人會(huì)利用漏洞，通過(guò)照片等手段蒙蔽攝像頭。

如Demo所展現(xiàn)，我們的算法能夠識(shí)別照片、銅版紙、3D假人模型等，識(shí)別率達(dá)到99%以上，避免司機(jī)對(duì)系統(tǒng)進(jìn)行干擾。

并且，我們的活體檢測(cè)技術(shù)是非配合式的，也就是說(shuō)不需要用戶進(jìn)行點(diǎn)頭、搖頭、眨眼、張嘴等動(dòng)作就能完成活體的判斷，在用戶體驗(yàn)上來(lái)說(shuō)節(jié)省了司機(jī)很多時(shí)間。



目前，這種駕駛員監(jiān)控技術(shù)已經(jīng)廣泛運(yùn)用在了許多商用車隊(duì)上，已為超過(guò)3萬(wàn)臺(tái)巴士、物流車、網(wǎng)約車提供安全保障。在未來(lái)，ICS技術(shù)不僅可以完成對(duì)車內(nèi)的人和物的監(jiān)控，還將引領(lǐng)座艙的智能化變革。

ICS對(duì)車內(nèi)駕乘人員和物品的檢測(cè)、分析，可以看作是一種單向的行為；但在此基礎(chǔ)上，駕駛員和汽車可以利用ICS技術(shù)進(jìn)行交互，實(shí)現(xiàn)雙向的溝通，這也是目前行業(yè)正在著力打造的產(chǎn)品。它可以通過(guò)駕駛員的視線、手勢(shì)、頭部動(dòng)作等進(jìn)行交互，比如通過(guò)視線方向開啟空調(diào)，通過(guò)手勢(shì)來(lái)切歌、靜音等等。


駕艙交互的應(yīng)用示范：小手一比，立馬靜音