日本无码免费高清在线|成人日本在线观看高清|A级片免费视频操逼欧美|全裸美女搞黄色大片网站|免费成人a片视频|久久无码福利成人激情久久|国产视频一二国产在线v|av女主播在线观看|五月激情影音先锋|亚洲一区天堂av

  • 手機(jī)站
  • 小程序

    汽車測試網(wǎng)

  • 公眾號

    • 汽車測試網(wǎng)

    • 在線課堂

    • 電車測試

ADAS的MR混合現(xiàn)實應(yīng)用

2020-01-10 19:31:56·  來源：佐思汽車研究  
　
增強(qiáng)現(xiàn)實AR是把把虛擬世界疊加到現(xiàn)實世界，混合現(xiàn)實MR（Mixed Reality）則是把真實的東西疊加到虛擬世界。微軟在今后的5到10年，將全力做MR。微軟在MR領(lǐng)域鋪了50
增強(qiáng)現(xiàn)實AR是把把虛擬世界疊加到現(xiàn)實世界，混合現(xiàn)實MR（Mixed Reality）則是把真實的東西疊加到虛擬世界。微軟在今后的5到10年，將全力做MR。微軟在MR領(lǐng)域鋪了5000多研發(fā)人員，蘋果有3000多人。
 
AR和MR聽起來好像差不多，都是把現(xiàn)實和虛擬混到一起，其實差別很大。因為把虛擬疊加到現(xiàn)實里比較容易，現(xiàn)在連游戲都有了，就是在真實的畫面上顯示虛擬的東西就行。
 
MR要把現(xiàn)實疊加到虛擬里，就比較難。因為首先得把現(xiàn)實的東西虛擬化，也就是先得用攝像頭捕捉畫面，但攝像頭捕捉的畫面都是二維的，畫面是扁平的，沒有立體感，所以還得把二維的圖像通過計算機(jī)形成三維的虛擬圖像，叫3D建模。只有把現(xiàn)實物體虛擬化之后，才能把它很好地融合進(jìn)虛擬3D世界里面。
 
2020CES上， Futurus展出了混合現(xiàn)實全景顯示器，這款產(chǎn)品獲得了 CES 2020 創(chuàng)新獎。據(jù)Futurus介紹，它能將道路信息、娛樂信息及人工智能助理形象等投射到透明擋風(fēng)玻璃上，還能整合包括激光雷達(dá)、毫米波雷達(dá)、攝像頭在內(nèi)的諸多傳感器，透明顯示ADAS功能。
 
本文摘編自德國汽車軟件公司Apostera技術(shù)負(fù)責(zé)人Sergii Bykov 在2019年發(fā)表的演講。Apostera總部位于德國慕尼黑，在東歐設(shè)有研發(fā)中心，亞洲有辦事處，主要產(chǎn)品是以ADAS為基礎(chǔ)的MR方案。Apostera為ARHUD、導(dǎo)航供應(yīng)商和原始設(shè)備制造商提供混合現(xiàn)實（MR）解決方案，這一方案基于增強(qiáng)現(xiàn)實、機(jī)器學(xué)習(xí)、計算機(jī)視覺和傳感器融合技術(shù)，為傳統(tǒng)導(dǎo)航系統(tǒng)增加智能分析能力。
 
Apostera公司的軟件將現(xiàn)實世界與虛擬世界結(jié)合起來，基于前視相機(jī)和全景顯示的幫助與數(shù)據(jù)智能融合，提供混合現(xiàn)實導(dǎo)航，保障行車路徑安全和事故提醒。Apostera已經(jīng)可以與TomTom導(dǎo)航工具集成，在駕駛時應(yīng)用混合現(xiàn)實，以在HUD中突出顯示最佳路線的車道。
Apostera參與實施的項目包括：
一、ADAS的挑戰(zhàn)和Apostera的應(yīng)對方案
當(dāng)前的ADAS嵌入式平臺面臨如下挑戰(zhàn)：
  • 能耗及性能
  • --側(cè)重于性能且能耗較低
  • 低延遲及高頻率響應(yīng)
  • --對環(huán)境變化做出快速反應(yīng)對于實時工作至關(guān)重要
  • 魯棒性及質(zhì)量
  • --在有難度的操作情況下保證魯棒性及高質(zhì)量
  • --要求一系列驗證場景及自適應(yīng)探索(heuristics)
  • 需要專用嵌入式實時系統(tǒng)架構(gòu)
  • --為實時要求和可移植性設(shè)計以適合最有效的硬件平臺
  • 硬件及軟件傳感器融合
  • --融合可用的數(shù)據(jù)源（傳感器，地圖等）以保證魯棒性及質(zhì)量
  • 大數(shù)據(jù)分析
  • --大量數(shù)據(jù)需存儲用于開發(fā)及測試
  • 現(xiàn)場和非現(xiàn)場自動駕駛測試
  • --自適應(yīng)啟發(fā)式開發(fā)
  • --系統(tǒng)驗證
  • --收集特殊案例
ADAS機(jī)器學(xué)習(xí)（Machine Learning, ML）也面臨以下五個方面的挑戰(zhàn)：
  • 機(jī)器學(xué)習(xí)需要大量高質(zhì)量數(shù)據(jù)
  • --有必要保證ML更高穩(wěn)定性及精確度；
  • --某些任務(wù)沒有海量數(shù)據(jù)，限制了ML使用
  • AI 及期望
  • --理解技術(shù)的局限性
  • --解決替代人類工作的期望
  • 即將量產(chǎn)
  • --從模型化過渡到量產(chǎn)化的AI解決方案
  • 目前的ML不理解語境
  • --實時本地數(shù)據(jù)分析需求增加
  • --需快速再培訓(xùn)ML模型以理解新的數(shù)據(jù)
  • 機(jī)器學(xué)習(xí)安全性
  • --解決安全問題，比如信息完整性
Apostera系統(tǒng)的亮點在于
  • 硬件與傳感器無關(guān)；
  • 融合/可視化可信度估計；
  • 實時且資源消耗低；
  • 延遲補(bǔ)償及預(yù)測模型：
  • 可為不同的OEM設(shè)計不同的配置；
  • 可配置邏輯需求（包括模型及地區(qū)）：
  • --用戶界面邏輯考慮可信度及輸入數(shù)據(jù)的可能性；
  • --考慮動態(tài)環(huán)境和物體遮擋的邏輯
  • 與不同的導(dǎo)航系統(tǒng)和地圖格式集成
  • --地圖數(shù)據(jù)不精確補(bǔ)償；
  • --精確、相對及絕對定位
 
MR對ADAS攝像頭有一定的要求：低延遲，占用空間小，低能耗，高可靠度。
下表是部分ADAS攝像頭采用的傳感器參數(shù)對比：
ADAS混合現(xiàn)實應(yīng)用中，傳感器融合至關(guān)重要。Apostera開發(fā)了融合濾波器參數(shù)調(diào)整問題的解決方案，以適應(yīng)具有不同底盤和轉(zhuǎn)向輪模型/參數(shù)的不同車型。方案有以下功能特點：
  • 絕對及相對定位；
  • 導(dǎo)航推算；
  • 與車規(guī)級傳感器（如GPS，方向盤，方向盤速度，輪轂傳感器）融合；
  • 導(dǎo)航數(shù)據(jù)融合；
  • 復(fù)雜的方向盤模型確認(rèn)，且可與現(xiàn)有模型集成；
  • GPS糾錯；
  • 復(fù)雜條件（隧道，城市峽谷）下具備穩(wěn)定性及魯棒性
該方案利用先進(jìn)增強(qiáng)目標(biāo)定位技術(shù)，解決地圖精度問題。
MR混合現(xiàn)實中的車道檢測包括如下工作：
  • 低水平不變特征：
  • --單一攝像頭；
  • --雙目數(shù)據(jù)；
  • --點云
  • 結(jié)構(gòu)分析
  • 概率模型：
  • --真實世界特征；
  • --實物；
  • --3D場景重建；
  • --道路情況
  • 3D空間場景融合（不同傳感器輸入）
  • 環(huán)境模型傳播
Apostera正在進(jìn)行的工作包括更多種類（物體）檢測及可行駛區(qū)域檢測。道路物體檢測在保證當(dāng)前檢測質(zhì)量的基礎(chǔ)上，增加了交通信號識別（探測器+分類器） 和交通信號燈識別。
可行駛區(qū)域檢測運(yùn)用語義分割，模型基于Squeeze-net 和U-net, 目前運(yùn)行參數(shù) （Jetson TX2）為 輸入640*320（lowres）,處理速度75ms/frame。
二、目標(biāo)檢測算法
目標(biāo)檢測常用的深度神經(jīng)網(wǎng)絡(luò)算法（DNN）的對比如下圖所示，檢測框架包括SSD、Faster RCNN、R-FCN，特征提取器采用了MobileNet，Inception V3, Resnet 101等進(jìn)行對比。
SSD（Single shot multibox detector）將邊界框的輸出空間離散化為不同長寬比的一組默認(rèn)框和并縮放每個特征映射的位置。在預(yù)測時，網(wǎng)絡(luò)會在每個默認(rèn)框中為每個目標(biāo)類別的出現(xiàn)生成分?jǐn)?shù)，并對框進(jìn)行調(diào)整以更好地匹配目標(biāo)形狀。
相對于需要目標(biāo)提出的方法，SSD非常簡單，因為它完全消除了提出生成和隨后的像素或特征重新采樣階段，并將所有計算封裝到單個網(wǎng)絡(luò)中。這使得SSD易于訓(xùn)練和直接集成到需要檢測組件的系統(tǒng)中。
SSD模型架構(gòu)
MobileNet作為一個特征提取器，使用深度可分離的卷積來構(gòu)建輕量級深度神經(jīng)網(wǎng)絡(luò)。通過兩個全局超參數(shù)，可以在延遲和準(zhǔn)確性之間高效地進(jìn)行折衷。這些超參數(shù)允許模型構(gòu)建者根據(jù)問題的約束為其應(yīng)用程序選擇合適的大小模型。在資源和精度折衷方面進(jìn)行了廣泛的實驗，并且與ImageNet分類上的其他流行模型相比，顯示了強(qiáng)大的性能。MobileNets有廣泛的應(yīng)用和案例，包括對象檢測，細(xì)粒度分類，人臉屬性和大規(guī)模地理定位等方面證明有效。
SSD-MobileNet組合模型的質(zhì)量從以下幾個方面考慮：
  • 速度及精確度：SSD-MobileNet 在針對實時處理的模型中擁有mAP優(yōu)勢。
  • 特征提?。禾卣魈崛∑鞯木_度決定探測器的精度，但對于SSD來說不是很重要。
  • 目標(biāo)體積：對于體積大的目標(biāo)，SSD在只有一個簡單提取器的情況下表現(xiàn)更好，在有更好的提取器情況下甚至能夠匹配其他探測器的精度。但對于體積小的目標(biāo)而言SSD和其他方法相比不具備優(yōu)勢。
  • 輸入圖像的分辨率：更高的分辨率可極大地改善體積較小的目標(biāo)檢測，對于體積較大的目標(biāo)也有幫助。分辨率減少2倍，精度將降低；減少3倍，推理時間也將減少。
  • 內(nèi)存使用：MobileNet占用很小的RAM空間，總計內(nèi)存少于1Gb。
SSD-MobileNet 檢測質(zhì)量
SSD-MobileNet基本推理性能
推理優(yōu)化方案從ROI、模型深度、運(yùn)行時間三個方面進(jìn)行。
1）將輸入水平分辨率減少至640p以下時會導(dǎo)致狹窄對象（比如行人）的精度大幅降低。針對此采取的推理優(yōu)化方案為僅通過高度進(jìn)一步減少ROI , 將體積較小的對象從訓(xùn)練中移除：大多數(shù)道路對象占據(jù)中心框架的一半；使用水平方向動態(tài)幀；SSD可處理被截斷/遮擋的近距離物體。
2）MobileNet 提供2個超參數(shù)，寬度乘數(shù)和分辨率乘數(shù)。寬度乘數(shù)α的作用是在每層均勻地減薄網(wǎng)絡(luò)。通過減少寬度乘數(shù)α，減薄網(wǎng)絡(luò)并移除多余的卷積。目前道路對象數(shù)據(jù)庫選擇的寬度乘數(shù)為0.75。
MobileNet精度及寬度乘數(shù)
2）運(yùn)行時間和更新從CUDA8.0+cuDNN6 到CUDA9.0 +cuDNN7, 通過低開發(fā)成本實現(xiàn)性能升級。
運(yùn)行時間性能比較
SSD-MobileNet優(yōu)化后性能比較
三、HMI 人機(jī)交互
增強(qiáng)對象基元
HUD與LCD在硬件局限性（HUD在市場上少見，F(xiàn)OV和體積不同），時間控制（零延遲，司機(jī)眼睛位置），及司機(jī)感知（虛擬圖像距離，信息平衡）方面都有所不同。
 
HUD及LCD上導(dǎo)航界面設(shè)計就不一樣：
HUD及LCD上ADAS界面設(shè)計也完全不同：
MR混合現(xiàn)實系統(tǒng)需糾正HUD圖像中微小的失真，通過拍攝一張由HUD投影的測試圖案的圖像，并由攝像頭記錄定制變形地圖。
應(yīng)用演示
最后總結(jié)一下，混合現(xiàn)實MR系統(tǒng)的技術(shù)要點：
1）深刻理解基本理論結(jié)果和最終需求之間的交叉與協(xié)同；
2）正規(guī)數(shù)學(xué)方法輔以深度學(xué)習(xí)；
3）堅實的GPU優(yōu)化；
4）集成了車載數(shù)據(jù)的車規(guī)級解決方案，融合所有數(shù)據(jù)源；
5）在不同的天氣和道路條件下具有高魯棒性；
6）設(shè)計并執(zhí)行閉環(huán)，以增強(qiáng)每個組件的速度和魯棒性；
7）與V2X及各種導(dǎo)航系統(tǒng)集成；
8）系統(tǒng)架構(gòu)支持分布式硬件設(shè)置，如有需要可與現(xiàn)有的車載組件 (環(huán)境模型，物體檢測，導(dǎo)航，定位系統(tǒng)等）集成；
9）分層算法框架設(shè)計極大優(yōu)化嵌入式平臺計算；
10）與科研機(jī)構(gòu)協(xié)作，整合前沿方法
 
 
分享到：
 
反對 0 舉報 0 收藏 0 評論 0
滬ICP備11026917號-25