廣告
座艙內(nèi)感知系統(tǒng)的算法及集成方式
2021-07-08 01:20:05· 來源：Astroys
上周簡單介紹了座艙內(nèi)感知系統(tǒng)中用到的攝像頭，這次談談算法和集成的部分。座艙內(nèi)感知系統(tǒng)涉及到的主要算法算法部分筆者不是特別專業(yè)，只能簡單談一談對一些企業(yè)
上周簡單介紹了座艙內(nèi)感知系統(tǒng)中用到的攝像頭，這次談談算法和集成的部分。
座艙內(nèi)感知系統(tǒng)涉及到的主要算法
算法部分筆者不是特別專業(yè)，只能簡單談一談對一些企業(yè)做法的理解。
Face ID的算法部分重要的就是數(shù)據(jù)源的質(zhì)量和數(shù)量，大部分公司用開源數(shù)據(jù)集，那么如果有一些量產(chǎn)項目的真實場景視頻數(shù)據(jù)的公司就會有優(yōu)勢。商用車領(lǐng)域已要求強制安裝DMS，一些公司是有大量商用車領(lǐng)域積累下來的數(shù)據(jù)的。
DMS算法部分一般是采用Landmark方法來判斷疲勞和困倦狀態(tài)，我看現(xiàn)在行業(yè)一般采用68個key point。
視線追蹤一般是先判斷眼睛和眼球輪廓的位置，然后再判斷瞳孔的位置。如果采用IR攝像頭，在LED照射的情況下會出現(xiàn)角膜的反射現(xiàn)象，做的好的公司會在這部分做一些補償方法。
現(xiàn)在流行的多模感知的部分，有一項代表性的功能就是利用讀唇來提高各聲區(qū)語音識別準確率。這部分其實也只是能夠判斷哪個位置的人在講話，僅限于識別少數(shù)幾個關(guān)鍵詞。當然關(guān)鍵詞可以根據(jù)客戶需求來增減，會涉及到成本。
對于一些吸煙、吃東西、打電話等危險動作的判斷，采用的基本上是計算機視覺中的物體識別的方法，需要對具體功能需求進行物體標注，才能識別。
手勢識別這部分其實也比較有限，人的手和胳膊必須要在攝像頭的FoV范圍內(nèi)做動作才能夠根據(jù)關(guān)節(jié)key points來識別動作。
另外現(xiàn)在歐美那邊對識別空車里的小孩有強制要求，很多車廠在此功能基礎(chǔ)上拓展，想要對遺落在車里的其它物體也進行識別，并利用手機app推送消息給車主。但這部分也需要采用物體識別的方法，只能識別設定的幾個物體，錢包、手機、電腦、鑰匙之類，沒辦法識別無限種物體。如果要求那種無限種物體都可識別，就要采用Semantic Segmentation，但是車內(nèi)場景光線、陰影條件變化多端，很多座椅的材質(zhì)等都會影響到算法，效果并不好。
座艙內(nèi)感知系統(tǒng)的集成方式
一些DMS廠商在自己開發(fā)單獨的芯片，比如Seeing Machines有自己的FOVIO ASIC（同時也可以單獨提供算法），國內(nèi)地平線也是采用征程2芯片做多模感知控制。
之前DMS廠商較多考慮的平臺有NXP的S32V系列/i.MX8系列，安霸的H22、H32，英特爾的Atom，OV的OA8000，賽靈思的Zynq-7000，TI的TDA2P/TDA3x/DRA726，瑞薩的R-Car E3/M3/H3/V2H/M2等，MTK的Autus I20/T10等。但未來無論是座艙還是ADAS/AV域控SoC這塊可能少數(shù)幾家勝出，座艙是高通占大頭，ADAS/AV這一塊則是英偉達和Mobileye的天下。Mobileye從EyeQ5開始就可以集成域控制器了。
所以車廠就有了兩個選擇，DMS這塊要么集成在座艙域，要么集成到ADAS/AV域。比如高通平臺的DMS合作伙伴是Seeing Machines，Mobileye的合作伙伴是Cipia。集成到座艙域或ADAS/AV域分別有各自的利弊。
DMS集成到座艙域則有利于與座艙內(nèi)的其它HMI或是硬件結(jié)合，比如現(xiàn)在很多車廠都要求根據(jù)視線集中在顯示屏幕上的時間，來自動激活顯示畫面等。或者視線追蹤和AR-HUD相結(jié)合，實時調(diào)整Eyebox的位置等。但如果DMS涉及到比較復雜的計算機視覺算法，座艙域的SoC相比ADAS/AV域的SoC的計算能力較弱，會面臨計算能力吃緊的情況。反之如果集成到ADAS/AV域的好處是計算能力會比較強，而且有利于DMS和ADAS的一些安全信息相結(jié)合，但和座艙內(nèi)的其它系統(tǒng)相結(jié)合就沒那么靈活了。
座艙內(nèi)感知系統(tǒng)涉及到的主要算法
算法部分筆者不是特別專業(yè)，只能簡單談一談對一些企業(yè)做法的理解。
Face ID的算法部分重要的就是數(shù)據(jù)源的質(zhì)量和數(shù)量，大部分公司用開源數(shù)據(jù)集，那么如果有一些量產(chǎn)項目的真實場景視頻數(shù)據(jù)的公司就會有優(yōu)勢。商用車領(lǐng)域已要求強制安裝DMS，一些公司是有大量商用車領(lǐng)域積累下來的數(shù)據(jù)的。
DMS算法部分一般是采用Landmark方法來判斷疲勞和困倦狀態(tài)，我看現(xiàn)在行業(yè)一般采用68個key point。
視線追蹤一般是先判斷眼睛和眼球輪廓的位置，然后再判斷瞳孔的位置。如果采用IR攝像頭，在LED照射的情況下會出現(xiàn)角膜的反射現(xiàn)象，做的好的公司會在這部分做一些補償方法。
現(xiàn)在流行的多模感知的部分，有一項代表性的功能就是利用讀唇來提高各聲區(qū)語音識別準確率。這部分其實也只是能夠判斷哪個位置的人在講話，僅限于識別少數(shù)幾個關(guān)鍵詞。當然關(guān)鍵詞可以根據(jù)客戶需求來增減，會涉及到成本。
對于一些吸煙、吃東西、打電話等危險動作的判斷，采用的基本上是計算機視覺中的物體識別的方法，需要對具體功能需求進行物體標注，才能識別。
手勢識別這部分其實也比較有限，人的手和胳膊必須要在攝像頭的FoV范圍內(nèi)做動作才能夠根據(jù)關(guān)節(jié)key points來識別動作。
另外現(xiàn)在歐美那邊對識別空車里的小孩有強制要求，很多車廠在此功能基礎(chǔ)上拓展，想要對遺落在車里的其它物體也進行識別，并利用手機app推送消息給車主。但這部分也需要采用物體識別的方法，只能識別設定的幾個物體，錢包、手機、電腦、鑰匙之類，沒辦法識別無限種物體。如果要求那種無限種物體都可識別，就要采用Semantic Segmentation，但是車內(nèi)場景光線、陰影條件變化多端，很多座椅的材質(zhì)等都會影響到算法，效果并不好。
座艙內(nèi)感知系統(tǒng)的集成方式
一些DMS廠商在自己開發(fā)單獨的芯片，比如Seeing Machines有自己的FOVIO ASIC（同時也可以單獨提供算法），國內(nèi)地平線也是采用征程2芯片做多模感知控制。
之前DMS廠商較多考慮的平臺有NXP的S32V系列/i.MX8系列，安霸的H22、H32，英特爾的Atom，OV的OA8000，賽靈思的Zynq-7000，TI的TDA2P/TDA3x/DRA726，瑞薩的R-Car E3/M3/H3/V2H/M2等，MTK的Autus I20/T10等。但未來無論是座艙還是ADAS/AV域控SoC這塊可能少數(shù)幾家勝出，座艙是高通占大頭，ADAS/AV這一塊則是英偉達和Mobileye的天下。Mobileye從EyeQ5開始就可以集成域控制器了。
所以車廠就有了兩個選擇，DMS這塊要么集成在座艙域，要么集成到ADAS/AV域。比如高通平臺的DMS合作伙伴是Seeing Machines，Mobileye的合作伙伴是Cipia。集成到座艙域或ADAS/AV域分別有各自的利弊。
DMS集成到座艙域則有利于與座艙內(nèi)的其它HMI或是硬件結(jié)合，比如現(xiàn)在很多車廠都要求根據(jù)視線集中在顯示屏幕上的時間，來自動激活顯示畫面等。或者視線追蹤和AR-HUD相結(jié)合，實時調(diào)整Eyebox的位置等。但如果DMS涉及到比較復雜的計算機視覺算法，座艙域的SoC相比ADAS/AV域的SoC的計算能力較弱，會面臨計算能力吃緊的情況。反之如果集成到ADAS/AV域的好處是計算能力會比較強，而且有利于DMS和ADAS的一些安全信息相結(jié)合，但和座艙內(nèi)的其它系統(tǒng)相結(jié)合就沒那么靈活了。
廣告 編輯推薦
最新資訊
-
“汽車爬坡試驗方法”將有國家標準
2026-03-03 12:44
-
十年耐久監(jiān)管時代：電池系統(tǒng)開發(fā)策略將如何
2026-03-03 12:44
-
聯(lián)合國法規(guī)R59對機動車備用消聲系統(tǒng)的工程
2026-03-03 12:08
-
聯(lián)合國法規(guī)R58對后下部防護裝置的工程化約
2026-03-03 12:07
-
聯(lián)合國法規(guī)R57對摩托車前照燈配光性能的工
2026-03-03 12:07
