日本无码免费高清在线|成人日本在线观看高清|A级片免费视频操逼欧美|全裸美女搞黄色大片网站|免费成人a片视频|久久无码福利成人激情久久|国产视频一二国产在线v|av女主播在线观看|五月激情影音先锋|亚洲一区天堂av

  • 手機(jī)站
  • 小程序

    汽車(chē)測(cè)試網(wǎng)

  • 公眾號(hào)
    • 汽車(chē)測(cè)試網(wǎng)

    • 在線課堂

    • 電車(chē)測(cè)試

閑話自動(dòng)駕駛的工程化落地

2022-02-15 19:11:58·  來(lái)源:汽車(chē)ECU開(kāi)發(fā)  作者:黃裕  
 
引言大家有一種認(rèn)知,覺(jué)得自動(dòng)駕駛進(jìn)入了“下半場(chǎng)”。類(lèi)似demo或者POC的早期工作已經(jīng)不是人們關(guān)心的,這里所謂“上半場(chǎng)”大多是解決常見(jiàn)的問(wèn)題,比如感知、定位
引言
大家有一種認(rèn)知,覺(jué)得自動(dòng)駕駛進(jìn)入了“下半場(chǎng)”。類(lèi)似demo或者POC的早期工作已經(jīng)不是人們關(guān)心的,這里所謂“上半場(chǎng)”大多是解決常見(jiàn)的問(wèn)題,比如感知、定位、預(yù)測(cè)、規(guī)劃決策和控制在典型場(chǎng)景(即高速、街道和停車(chē)場(chǎng)等)的解決算法和執(zhí)行方案(線控底盤(pán)技術(shù))。
另外,在“上半場(chǎng)”期間,計(jì)算平臺(tái)(AI芯片及其SOC)和傳感器技術(shù)的研發(fā)進(jìn)程也初現(xiàn)成果,比如英偉達(dá)的Xavier和Orin(見(jiàn)附錄)、HDR攝像頭、固態(tài)激光雷達(dá)和4D毫米波雷達(dá)等。
而“下半場(chǎng)”意味著要解決罕見(jiàn)的“長(zhǎng)尾”場(chǎng)景,同時(shí)構(gòu)建數(shù)據(jù)閉環(huán)的持續(xù)高效研發(fā)框架,也已經(jīng)成為行業(yè)的共識(shí)。在這個(gè)過(guò)程中,如何實(shí)現(xiàn)自動(dòng)駕駛的技術(shù)工程化落地才是關(guān)鍵,包括開(kāi)發(fā)標(biāo)準(zhǔn)化和平臺(tái)化、量產(chǎn)規(guī)?;吐涞厣虡I(yè)化(成本、車(chē)規(guī)和OTA)的工作。
01.自動(dòng)駕駛工程化的一些要素
線控底盤(pán)
底盤(pán)系統(tǒng)約占整車(chē)成本的10%,而線控底盤(pán)是自動(dòng)駕駛的關(guān)鍵部件,因?yàn)槿绻荒芩闹С?,自?dòng)駕駛最終輸出的控制信號(hào)不一定能夠真正得到正確執(zhí)行。
線控(Drive-by-wire 或 X-by-wire),即用電線(電信號(hào))的形式來(lái)取代機(jī)械、液壓或氣動(dòng)等形式的連接,從而不需要依賴(lài)駕駛員的力或扭矩輸入。
線控底盤(pán)主要包括制動(dòng)系統(tǒng)、轉(zhuǎn)向系統(tǒng)、驅(qū)動(dòng)系統(tǒng)和懸架系統(tǒng)。其具備響應(yīng)速度快、控制精度高、能量回收強(qiáng)的特點(diǎn),是實(shí)現(xiàn)自動(dòng)駕駛不可缺少的零部件。
線控底盤(pán)技術(shù)的安全性對(duì)于自動(dòng)駕駛來(lái)說(shuō),是最基礎(chǔ)最核心的要素。曾經(jīng)的純機(jī)械式控制雖然效率低,但可靠性高;線控技術(shù)雖然適用于自動(dòng)駕駛,但同時(shí)也面臨電子軟件的故障所帶來(lái)的隱患。只有實(shí)現(xiàn)功能雙重甚至多重冗余,才能保證在故障情況下仍可實(shí)現(xiàn)其基本功能。
E2A(電子電氣架構(gòu))
伴隨著汽車(chē)行業(yè)“網(wǎng)聯(lián)化、智能化、共享化和電動(dòng)化(CASE)”趨勢(shì)推動(dòng)下的智能化發(fā)展,促使汽車(chē)分布式架構(gòu)向著集中式架構(gòu)轉(zhuǎn)變。E2A是整合汽車(chē)各類(lèi)傳感器、處理器、電子電氣分配系統(tǒng)和軟硬件的總布置方案(包括數(shù)據(jù)中心平臺(tái)和高性能計(jì)算平臺(tái))。
通過(guò)E2A,可以將動(dòng)力總成、驅(qū)動(dòng)信息以及娛樂(lè)信息等,轉(zhuǎn)化為實(shí)際電源分配的物理布局、信號(hào)網(wǎng)絡(luò)、數(shù)據(jù)網(wǎng)絡(luò)、診斷、容錯(cuò)、功耗管理等電子電氣解決方案。
汽車(chē)E2A基本劃分為三個(gè)時(shí)代:分布式多MCU組網(wǎng)架構(gòu)、功能集群式域控制器(Domain Controller)和區(qū)域連接域控制器(Zone Controller)及中央平臺(tái)計(jì)算機(jī)(CPC)。
自動(dòng)駕駛汽車(chē)需要使用大量傳感器,車(chē)內(nèi)線束也在迅速增長(zhǎng)。車(chē)內(nèi)需要傳輸?shù)臄?shù)據(jù)量激增,同時(shí)線束不僅承載的信號(hào)更多,而且數(shù)據(jù)傳輸速率要求更快。
自動(dòng)駕駛在新一代E2A平臺(tái)下,通過(guò)標(biāo)準(zhǔn)化API接口實(shí)現(xiàn)了軟硬件的真正解耦,可以更加獲得更強(qiáng)算力的支持,同時(shí)數(shù)據(jù)通信的帶寬也得到增強(qiáng),資源分配和任務(wù)調(diào)度更加靈活,另外也方便OTA(over-the-air)。
針對(duì)智能汽車(chē)電子電氣架構(gòu),Aptiv提出“大腦”與“神經(jīng)”結(jié)合的方案,包括三個(gè)部分:中央計(jì)算集群、標(biāo)準(zhǔn)電源和數(shù)據(jù)主干網(wǎng)絡(luò)以及電源數(shù)據(jù)中心。這個(gè)智能汽車(chē)架構(gòu)關(guān)注三大特性:靈活性、生命周期內(nèi)持續(xù)更新性和系統(tǒng)架構(gòu)相對(duì)容錯(cuò)性和魯棒性。
特斯拉Model3的E2A分為域控制架構(gòu)和電源電源分配架構(gòu)。駕駛輔助與娛樂(lè)系統(tǒng)AICM控制合并到CCM中央計(jì)算模塊當(dāng)中,而電源分配架構(gòu)則考慮自動(dòng)駕駛系統(tǒng)所需要的電源冗余要求。
Middleware(中間件)軟件平臺(tái)
中間件是基礎(chǔ)軟件的一大類(lèi),在操作系統(tǒng)、網(wǎng)絡(luò)和數(shù)據(jù)庫(kù)之上,應(yīng)用軟件的下層,其作用是為應(yīng)用軟件提供運(yùn)行與開(kāi)發(fā)的環(huán)境,便于靈活、高效地開(kāi)發(fā)和集成復(fù)雜的應(yīng)用軟件。在不同的技術(shù)之間共享資源并管理計(jì)算資源和網(wǎng)絡(luò)通信。
另外中間件的定位不是操作系統(tǒng),而是一套軟件框架,雖然包括了RTOS、MCAL、服務(wù)通信層等協(xié)議和服務(wù)。
中間件的核心是“統(tǒng)一標(biāo)準(zhǔn)、分散實(shí)現(xiàn)、集中配置”。其具備如下功能:解決汽車(chē)功能的可用性和安全性需求;保持汽車(chē)電子系統(tǒng)一定的冗余;移植不同平臺(tái);實(shí)現(xiàn)標(biāo)準(zhǔn)的基本系統(tǒng)功能;通過(guò)網(wǎng)絡(luò)共享軟件功能;集成多個(gè)開(kāi)發(fā)商提供的軟件模塊;在產(chǎn)品生命期內(nèi)更好地進(jìn)行軟件維護(hù);更充分利用硬件平臺(tái)處理能力;實(shí)現(xiàn)汽車(chē)電子軟件的更新和升級(jí)等。
面向服務(wù)的軟件架構(gòu)SOA(Service-Oriented Architecture) 具有松耦合的系統(tǒng),即有著中立的接口定義,這意味 著應(yīng)用程序的組件和功能沒(méi)有被強(qiáng)制綁定,應(yīng)用程序的不同組件和功能 于結(jié)構(gòu)的聯(lián)系并不緊密。應(yīng)用程序服務(wù)的內(nèi)部結(jié)構(gòu)和實(shí)現(xiàn)逐漸改變時(shí), 軟件架構(gòu)并不會(huì)受到過(guò)大的影響。
“接口標(biāo)準(zhǔn)可訪問(wèn)”和“拓展性?xún)?yōu)秀”的 SOA 使得服務(wù)組件的部 署不再依賴(lài)于特定的操作系統(tǒng)和編程語(yǔ)言,一定程度上實(shí)現(xiàn)軟硬件的分 離。SOA 軟件架構(gòu)開(kāi)發(fā)從用戶(hù)的角度進(jìn)行功能考慮,以業(yè)務(wù)為中心,將業(yè)務(wù) 邏輯進(jìn)行抽象和封裝。
新一代中間件平臺(tái)支持的自動(dòng)駕駛軟件,通過(guò)SOA進(jìn)行適當(dāng)顆粒度的功能抽象、軟件代碼插件化(獨(dú)立的開(kāi)發(fā)、測(cè)試、部署及發(fā)布) 、軟件功能服務(wù)化以及功能之間松耦合。
AI模型壓縮和加速
AI模型壓縮和加速是兩個(gè)不同的話題,壓縮重點(diǎn)在于減少網(wǎng)絡(luò)參數(shù)量,加速目的在降低計(jì)算復(fù)雜度、提升并行能力等。
目前壓縮和加速AI模型的技術(shù)大致分為四種方案如下。
1) 參數(shù)修剪和共享:探索模型參數(shù)中的冗余,并嘗試去除冗余和不重要的參數(shù);
2) 低秩分解:使用矩陣/張量分解來(lái)估計(jì)深度CNN模型的信息參數(shù);
3) 遷移/緊致卷積濾波器:設(shè)計(jì)特殊的結(jié)構(gòu)卷積濾波器,以減少參數(shù)空間并節(jié)省存儲(chǔ)/計(jì)算;
4) 知識(shí)蒸餾:學(xué)習(xí)蒸餾模型并訓(xùn)練更緊湊的神經(jīng)網(wǎng)絡(luò)以再現(xiàn)更大網(wǎng)絡(luò)的輸出。
通常,參數(shù)修剪和共享、低秩分解和知識(shí)蒸餾方法可以用于具有全聯(lián)接層和卷積層的深度神經(jīng)網(wǎng)絡(luò)模型;另一方面,使用遷移/緊致濾波器的方法僅適用于具有卷積層的模型。低秩分解和基于遷移/緊致濾波器的方法提供了端到端流水線,可在CPU / GPU環(huán)境中輕松實(shí)現(xiàn)。參數(shù)修剪和共享會(huì)使用不同的方法,如矢量量化,二進(jìn)制編碼和稀疏約束等??傊?,實(shí)現(xiàn)壓縮和加速需要多個(gè)步驟來(lái)進(jìn)行。
至于訓(xùn)練方式,可以從預(yù)訓(xùn)練方式中提取基于參數(shù)修剪/共享低秩分解的模型,或者從頭開(kāi)始訓(xùn)練(train from scratch)。遷移/緊致卷積濾波器和知識(shí)蒸餾模型只能從頭開(kāi)始訓(xùn)練。這些方法是獨(dú)立設(shè)計(jì)的,相互補(bǔ)充。例如,可以一起使用遷移網(wǎng)絡(luò)層以及參數(shù)修剪和共享,也可以將模型量化和二值化與低秩分解近似一起使用。
知識(shí)蒸餾將深度寬度網(wǎng)絡(luò)壓縮成較淺網(wǎng)絡(luò),其中壓縮模型模擬了復(fù)雜模型所學(xué)習(xí)的函數(shù)?;谡麴s方法的主要思想是通過(guò)學(xué)習(xí)得到softmax輸出的類(lèi)分布,將知識(shí)從大教師模型轉(zhuǎn)變?yōu)樾W(xué)生模型。一種蒸餾框架通過(guò)遵循“學(xué)生-教師”范式來(lái)簡(jiǎn)化深度網(wǎng)絡(luò)的訓(xùn)練,其中學(xué)生根據(jù)教師輸出的軟版本受到懲罰;該框架將教師網(wǎng)絡(luò)(teacher network)集成到一個(gè)有類(lèi)似深度的學(xué)生網(wǎng)絡(luò)(student network)中,訓(xùn)練學(xué)生預(yù)測(cè)輸出和分類(lèi)標(biāo)簽。
車(chē)載自動(dòng)駕駛芯片
自動(dòng)駕駛芯片以及SOC(system on chip),目的是實(shí)現(xiàn)高效、低成本、低功耗的自動(dòng)駕駛計(jì)算平臺(tái)。而工控機(jī)實(shí)現(xiàn)的自動(dòng)駕駛平臺(tái),是很難實(shí)現(xiàn)量產(chǎn)規(guī)?;涂刂瞥杀镜摹?
一個(gè)SOC可能會(huì)包括自動(dòng)駕駛芯片(深度學(xué)習(xí)模型實(shí)現(xiàn))、CPU/GPU、DSP芯片、ISP芯片和CV(計(jì)算機(jī)視覺(jué))芯片等。在芯片基礎(chǔ)上,還有一個(gè)支持深度學(xué)習(xí)模型實(shí)現(xiàn)的編譯器需要開(kāi)發(fā)來(lái)最大效率地提高芯片的利用率,避免處理器等待或者數(shù)據(jù)瓶頸堵塞。
其中算法的適配性(模塊和進(jìn)程分解)、自動(dòng)駕駛軟件的高效運(yùn)行(包括進(jìn)程數(shù)據(jù)通信、深度學(xué)習(xí)模型加速、任務(wù)調(diào)度和資源管理等)及其安全(功能安全/預(yù)期功能安全)保障,都是需要很多工程性的艱苦努力和必要付出的代價(jià)(比如系統(tǒng)冗余)。
數(shù)據(jù)閉環(huán)平臺(tái)
AI的最挑戰(zhàn)應(yīng)用之一,自動(dòng)駕駛,是一個(gè)長(zhǎng)尾效應(yīng)的典型。大量少見(jiàn)的極端情況(corner case)往往是缺乏搜集的訓(xùn)練數(shù)據(jù),這樣要求我們?cè)谝粋€(gè)閉環(huán)中不斷地發(fā)現(xiàn)這些有價(jià)值的數(shù)據(jù),標(biāo)注后放入訓(xùn)練集中,同時(shí)也放入我們的測(cè)試集或者仿真場(chǎng)景庫(kù);在NN模型得到迭代升級(jí)后,會(huì)再交付到自動(dòng)駕駛車(chē)進(jìn)入新的循環(huán),即數(shù)據(jù)閉環(huán)。
如圖就是特斯拉的數(shù)據(jù)閉環(huán)框架:確認(rèn)模型誤差、數(shù)據(jù)標(biāo)注和清洗、模型訓(xùn)練和重新部署/交付。
如圖是谷歌waymo的數(shù)據(jù)閉環(huán)平臺(tái):數(shù)據(jù)挖掘、主動(dòng)學(xué)習(xí)、自動(dòng)標(biāo)注、自動(dòng)化模型調(diào)試優(yōu)化、測(cè)試校驗(yàn)和部署發(fā)布。
數(shù)據(jù)閉環(huán)需要一個(gè)云計(jì)算/邊緣計(jì)算平臺(tái)和大數(shù)據(jù)的處理技術(shù),這個(gè)不可能在單車(chē)或單機(jī)實(shí)現(xiàn)的。大數(shù)據(jù)云計(jì)算發(fā)展多年,在數(shù)據(jù)批處理/流處理、工作流管理、分布式計(jì)算、狀態(tài)監(jiān)控和數(shù)據(jù)庫(kù)存儲(chǔ)等方面提供了數(shù)據(jù)閉環(huán)的基礎(chǔ)設(shè)施支持。
模型訓(xùn)練平臺(tái),主要是機(jī)器學(xué)習(xí)(深度學(xué)習(xí))而言,開(kāi)源的最早有Caffe,目前最流行的是Tensorflow和Pytorch(Caffe2并入)。在云平臺(tái)部署深度學(xué)習(xí)模型訓(xùn)練,一般采用分布式。按照并行方式,分布式訓(xùn)練一般分為數(shù)據(jù)并行和模型并行兩種。當(dāng)然,也可采用數(shù)據(jù)并行和模型并行的混合。
  • 模型并行:不同GPU負(fù)責(zé)網(wǎng)絡(luò)模型的不同部分。例如,不同網(wǎng)絡(luò)層被分配到不同的GPU,或者同一層不同參數(shù)被分配到不同GPU。
  • 數(shù)據(jù)并行:不同GPU有模型的多個(gè)副本,每個(gè)GPU分配不同的數(shù)據(jù),將所有GPU計(jì)算結(jié)果按照某種方式合并。
模型并行不常用,而數(shù)據(jù)并行涉及各個(gè)GPU之間如何同步模型參數(shù),分為同步更新和異步更新。同步更新等所有GPU的梯度計(jì)算完成,再計(jì)算新權(quán)值,同步新值后,再進(jìn)行下一輪計(jì)算。異步更新是每個(gè)GPU梯度計(jì)算完無(wú)需等待,立即更新權(quán)值,然后同步新值進(jìn)行下一輪計(jì)算。
分布式訓(xùn)練系統(tǒng)包括兩種架構(gòu):Parameter Server Architecture(PS,參數(shù)服務(wù)器)和Ring -AllReduce Architecture(環(huán)-全歸約)。
主動(dòng)學(xué)習(xí)(active learning)的目標(biāo)是找到有效的方法從無(wú)標(biāo)記數(shù)據(jù)池中選擇要標(biāo)記的數(shù)據(jù),最大限度地提高準(zhǔn)確性。主動(dòng)學(xué)習(xí)通常是一個(gè)迭代過(guò)程,在每次迭代中學(xué)習(xí)模型,使用一些啟發(fā)式方法從未標(biāo)記數(shù)據(jù)池中選擇一組數(shù)據(jù)進(jìn)行標(biāo)記。因此,有必要在每次迭代中為了大子集查詢(xún)所需標(biāo)簽,這樣即使對(duì)大小適中的子集,也會(huì)產(chǎn)生相關(guān)樣本。
機(jī)器學(xué)習(xí)模型往往會(huì)在out-of-distribution(OOD) 數(shù)據(jù)上失敗。檢測(cè)OOD是確定不確定性(Uncertainty)的手段,既可以安全報(bào)警,也可以發(fā)現(xiàn)有價(jià)值的數(shù)據(jù)樣本。
不確定性有兩種來(lái)源:任意(aleatoric)不確定性和認(rèn)知(epistemic)不確定性。導(dǎo)致預(yù)測(cè)不確定性的數(shù)據(jù)不可減(Irreducible)不確定性,是一種任意不確定性(也稱(chēng)為數(shù)據(jù)不確定性)。另一類(lèi)不確定性是由于知識(shí)和數(shù)據(jù)不適當(dāng)造成的認(rèn)知不確定性(也稱(chēng)為知識(shí)/模型不確定性)。
最常用的不確定性估計(jì)方法是貝葉斯近似(Bayesian approximation)法和集成學(xué)習(xí)(ensemble learning)法。
一類(lèi) OOD 識(shí)別方法基于貝葉斯神經(jīng)網(wǎng)絡(luò)推理,包括基于 dropout 變分推理(variational inference)法、馬爾可夫鏈蒙特卡羅 (MCMC) 和蒙特卡羅 dropout法等。另一類(lèi)OOD識(shí)別方法包括 (1) 輔助損失或NN 架構(gòu)修改等訓(xùn)練方法,以及 (2) 事后統(tǒng)計(jì)(post hoc statistics)方法。
數(shù)據(jù)樣本中有偏離正常的意外情況,即所謂的極端情況(corner case)。在線檢測(cè)可以用作安全監(jiān)控和警告系統(tǒng),在corner case情況發(fā)生時(shí)進(jìn)行識(shí)別。線下檢測(cè)可應(yīng)用于大量收集的數(shù)據(jù),選擇合適的訓(xùn)練和相關(guān)測(cè)試數(shù)據(jù)。
DevOps
DevOps,簡(jiǎn)單地來(lái)說(shuō),就是更好的優(yōu)化開(kāi)發(fā)(DEV)、測(cè)試(QA)、運(yùn)維(OPS)的流程,開(kāi)發(fā)運(yùn)維一體化,通過(guò)高度自動(dòng)化工具與流程,使得軟件構(gòu)建、測(cè)試、發(fā)布更加快捷、頻繁和可靠。
DevOps 是一個(gè)完整面向IT運(yùn)維的工作流,IT 自動(dòng)化以及持續(xù)集成(CI)/持續(xù)部署(CD)作為基礎(chǔ),來(lái)優(yōu)化程式開(kāi)發(fā)、測(cè)試、系統(tǒng)運(yùn)維等所有環(huán)節(jié)。
主干開(kāi)發(fā)是CI前提,自動(dòng)化以及代碼集中管理是實(shí)施CI的必要條件。DevOps是CI思想的延伸,CD/CI是 DevOps 的技術(shù)核心。
MLOps
MLOps的核心目標(biāo)是使得AI模型從訓(xùn)練到布署的整條端到端鏈路能夠穩(wěn)定,高效地運(yùn)行在生產(chǎn)環(huán)境中,滿(mǎn)足客戶(hù)的終端業(yè)務(wù)需求。
為了達(dá)到這個(gè)目標(biāo),其對(duì)AI系統(tǒng)核心技術(shù)也提出了相應(yīng)的需求。比如布署自動(dòng)化,對(duì)AI框架的前端設(shè)計(jì)會(huì)提出明確的需求,如果AI框架的前端設(shè)計(jì)不利于導(dǎo)出完整的模型文件,會(huì)使得大量的下游不得不在布署環(huán)節(jié)引入針對(duì)各自業(yè)務(wù)場(chǎng)景需求的”補(bǔ)丁”。
布署自動(dòng)化的需求,也會(huì)催生一些圍繞AI核心系統(tǒng)的軟件組件,比如模型推理布署優(yōu)化、模型訓(xùn)練預(yù)測(cè)結(jié)果的可復(fù)現(xiàn)性和AI生產(chǎn)的系統(tǒng)可伸縮性。
場(chǎng)景庫(kù)建設(shè)和測(cè)試
基于場(chǎng)景的自動(dòng)駕駛汽車(chē)測(cè)試方法是實(shí)現(xiàn)加速測(cè)試、加速評(píng)價(jià)的有效途徑。
“場(chǎng)景作為行駛環(huán)境與汽車(chē)駕駛情景的一種綜合體現(xiàn),描述了車(chē)輛外部行駛環(huán)境的道路場(chǎng)地、周邊交通、氣象(天氣和光照)和車(chē)輛自身的駕駛?cè)蝿?wù)和狀態(tài)等信息,是影響和判定智能駕駛功能與性能因素集合的一種抽象與映射,具有高度的不確定、不可重復(fù)、不可預(yù)測(cè)和不可窮盡等特征”。
測(cè)試場(chǎng)景的分類(lèi)方法有所不同:
1)按照?qǐng)鼍暗某橄蟪潭?,可分為功能?chǎng)景、邏輯場(chǎng)景、具體場(chǎng)景;
2)按照測(cè)試場(chǎng)景數(shù)據(jù)來(lái)源,可分為自然駕駛場(chǎng)景、危險(xiǎn)工況場(chǎng)景、標(biāo)準(zhǔn)法規(guī)場(chǎng)景和參數(shù)重組場(chǎng)景。
一個(gè)場(chǎng)景庫(kù)的維度包括:
  • 場(chǎng)景:靜態(tài)部分和動(dòng)態(tài)部分
  • 交通:駕駛行為和VRU(行人、自行車(chē))等非機(jī)動(dòng)行為
  • 天氣:傳感器(攝像頭、雷達(dá)、激光雷達(dá))和干擾
場(chǎng)景庫(kù)建設(shè),基本上基于真實(shí)、虛擬以及專(zhuān)家數(shù)據(jù)等不同的數(shù)據(jù)源,通過(guò)場(chǎng)景挖掘、場(chǎng)景分類(lèi)、場(chǎng)景演繹等方式分層構(gòu)建成一個(gè)完整的體系。
德國(guó)PEGASUS項(xiàng)目(2016~2019年5月)聚焦于高速公路場(chǎng)景的研究和分析,基于事故以及自然駕駛數(shù)據(jù)建立場(chǎng)景數(shù)據(jù)庫(kù),以場(chǎng)景數(shù)據(jù)庫(kù)為基礎(chǔ)對(duì)系統(tǒng)進(jìn)行驗(yàn)證。
該研究定義了場(chǎng)景(scenario)“功能—邏輯—具體”(functional-logical-concrete)三級(jí)分層體系,以及面向概念—開(kāi)發(fā)—測(cè)試—標(biāo)定 (concept-development-testing-calibration) 的場(chǎng)景庫(kù)構(gòu)建流程及智能駕駛測(cè)試方法。
PEGASUS通過(guò)開(kāi)發(fā)OpenScenario接口試圖建立可用于模擬仿真、試驗(yàn)場(chǎng)和真實(shí)環(huán)境中測(cè)試和試驗(yàn)高級(jí)智能駕駛系統(tǒng)的標(biāo)準(zhǔn)化流程。
該項(xiàng)目分四個(gè)階段:1)場(chǎng)景分析&質(zhì)量評(píng)估,定義一種系統(tǒng)的場(chǎng)景生成方法以及場(chǎng)景文件的的語(yǔ)法結(jié)構(gòu),計(jì)算場(chǎng)景的KPI,定義一套基于專(zhuān)家經(jīng)驗(yàn)的場(chǎng)景困難(危險(xiǎn))程度評(píng)價(jià)方法;2)實(shí)施流程,以安全為基礎(chǔ),設(shè)計(jì)一套足夠靈活的、魯棒性強(qiáng)的適用于自動(dòng)駕駛功能的設(shè)計(jì)實(shí)施流程;3)測(cè)試,輸出為一套用于實(shí)驗(yàn)室(仿真軟件,臺(tái)架等)以及真實(shí)交通場(chǎng)景的方法和工具鏈;4)結(jié)果驗(yàn)證&集成,對(duì)前三個(gè)階段的結(jié)果進(jìn)行分析。
PEGASUS建立三種測(cè)試場(chǎng)景格式標(biāo)準(zhǔn),即OpenCRG、OpenDRIVE和OpenSCENARIO,定義了測(cè)試場(chǎng)景的六層模型:道路層、交通基礎(chǔ)設(shè)施、前兩層的臨時(shí)操作(如道路施工現(xiàn)場(chǎng))、對(duì)象、環(huán)境和數(shù)字信息。
02.結(jié)束語(yǔ)
自動(dòng)駕駛進(jìn)入一個(gè)工程化落地的時(shí)期,這里提到了一些必要的工程化要素,如線控底盤(pán)、電子電氣架構(gòu)、中間件軟件平臺(tái)、模型壓縮加速、車(chē)載自動(dòng)駕駛芯片(計(jì)算平臺(tái))、數(shù)據(jù)閉環(huán)、DevOps/MLOps和場(chǎng)景庫(kù)建設(shè)及其測(cè)試等。
另外,這里還有沒(méi)提到的工程問(wèn)題,比如傳感器清洗、計(jì)算平臺(tái)的內(nèi)存/指令優(yōu)化和安全冗余設(shè)計(jì)等等。
附錄A:自動(dòng)駕駛工程化舉例
Pony AI(小馬科技)
2021 年 2 月,小馬宣布最新一代的自動(dòng)駕駛車(chē)輛從一套標(biāo)準(zhǔn)化產(chǎn)線正式下線,開(kāi)啟全天候自動(dòng)駕駛的公開(kāi)道路測(cè)試,并加入到各地的 Robotaxi 車(chē)隊(duì)中做規(guī)?;倪\(yùn)營(yíng)。
這批車(chē)輛從設(shè)計(jì)、開(kāi)發(fā)到產(chǎn)線生產(chǎn)、標(biāo)定和驗(yàn)證,經(jīng)歷非常嚴(yán)格的標(biāo)準(zhǔn)化流程。整個(gè)流程里面大概涉及 40 多道工序(如攝像頭和激光雷達(dá)清洗、震動(dòng)和防水等)200多項(xiàng)質(zhì)檢項(xiàng)目,盡可能保證整個(gè)系統(tǒng)的一致性。
比起以前的系統(tǒng),在硬件穩(wěn)定性方面大概有 30 倍到 50 倍提升的效果,整個(gè)自動(dòng)駕駛系統(tǒng)的生產(chǎn)效率和前一年相比大概能夠提升 6 倍。
AutoX(安途)
2021年12月22日,AutoX(安途)對(duì)外揭曉AutoX RoboTaxi超級(jí)工廠的內(nèi)部視頻。該超級(jí)工廠由Auto X獨(dú)立設(shè)計(jì)、投建。而RoboTaxi則是AutoX與克萊斯勒FCA集成合作打造,具備車(chē)規(guī)級(jí)冗余線控,支持量產(chǎn)。
AutoX無(wú)人車(chē)零部件進(jìn)入倉(cāng)庫(kù)后,先進(jìn)行質(zhì)量檢測(cè),通過(guò)檢測(cè)的零件走上部裝線,進(jìn)行局部集成。
總裝線由半自動(dòng)化滑板傳輸線和吊裝輸送線組成,采用ABB 7軸機(jī)器人。電控系統(tǒng)與傳動(dòng)系統(tǒng)則是由西門(mén)子、歐姆龍、施耐德、飛利浦、三菱、SEW等提供。從車(chē)內(nèi)操作界面可以對(duì)系統(tǒng)的全部軟硬件模塊進(jìn)行質(zhì)檢。
下線時(shí),車(chē)間內(nèi)自動(dòng)化多傳感器在轉(zhuǎn)盤(pán)、四輪定位等方面進(jìn)行標(biāo)定,并在廠內(nèi)完成恒溫房、噴淋房等車(chē)規(guī)級(jí)檢測(cè),在出廠時(shí)即可進(jìn)入無(wú)人駕駛狀態(tài)。
附錄B:英偉達(dá)自動(dòng)駕駛芯片
Xavier
Xavier被NVIDIA稱(chēng)作為“世界上最強(qiáng)大的SoC(片上系統(tǒng))”,有高達(dá) 32 TOPS的峰值計(jì)算能力和 750 Gbps 的高速 I/O 性能。
Xavier SoC基于臺(tái)積電12nm工藝, CPU采用NVIDIA自研8核ARM64架構(gòu)(代號(hào)Carmel),GPU采用512顆CUDA的Volta,支持FP32/FP16/INT8,20W功耗下單精度浮點(diǎn)性能1.3TFLOPS,Tensor核心性能20TOPs,解鎖到30W后可達(dá)30TOPs。
Xavier 內(nèi)有六種不同的處理器:Volta TensorCore GPU,八核ARM64 CPU,雙NVDLA 深度學(xué)習(xí)加速器(DLA),圖像處理器,視覺(jué)處理器和視頻處理器。
Orin
和Xavier相比,Orin的算力提升到接近7倍,從30TOPS提升到了200TOPS。CPU部分從ARM Cortex A57到A78。Xavier的功耗大概30W,Orin功耗僅為45W左右。
Orin多芯片方案版本用兩個(gè)Orin + 兩個(gè)7nmA100 GPU,算力達(dá)到2000TOPS。Orin 系統(tǒng)級(jí)芯片集成NVIDIA 新GPU 架構(gòu)Ampere、Arm Hercules CPU 內(nèi)核、新深度學(xué)習(xí)加速器(DLA)和計(jì)算機(jī)視覺(jué)加速器(PVA),每秒運(yùn)行200萬(wàn)億次計(jì)算。
DRIVE AGX系列推出一款新型Orin SoC。其功率僅為5瓦,但性能卻可達(dá)到10 TOPS。
Hyperion
NVIDIA 構(gòu)建并開(kāi)放 DRIVE Hyperion 平臺(tái)。該平臺(tái)配置高性能計(jì)算機(jī)和傳感器架構(gòu),滿(mǎn)足自動(dòng)駕駛汽車(chē)的安全要求。DRIVE Hyperion 采用適用于軟件定義汽車(chē)的冗余 NVIDIA DRIVE Orin 系統(tǒng)級(jí)芯片,持續(xù)改善和創(chuàng)建各種基于軟件和服務(wù)的新業(yè)務(wù)模式。
新平臺(tái)采用 12 個(gè)環(huán)繞攝像頭、12 個(gè)超聲波模塊、9 個(gè)普通雷達(dá)、3 個(gè)內(nèi)部感知攝像頭和 1 個(gè)前置激光雷達(dá)打造。是有功能安全的架構(gòu)設(shè)計(jì),具備故障備份。
不少汽車(chē)制造商、卡車(chē)制造商、一級(jí)供應(yīng)商和無(wú)人駕駛出租車(chē)服務(wù)公司采用了此 DRIVE Hyperion 架構(gòu)。
附錄C:車(chē)載中間件AUTOSAR
AUTOSAR (AUTomotive Open System ARchitecture) 由各大整車(chē)廠商和零部件廠商聯(lián)合制定軟件的標(biāo)準(zhǔn)化接口,由BMW、BOSCH、Continental、DAIMLER、Ford、OPEL、PSA、TOYOTA、VW等共同制定,俗稱(chēng)AUTOSAR Classic (CP),基本上做為MCU/ECU的標(biāo)準(zhǔn),包 括發(fā)動(dòng)機(jī)控制機(jī)和電機(jī)控制器。
CP主要包含微控制器層(Microcontroller)、基礎(chǔ)軟件層(Basic Software)、中間件層(Runtime Environment,RTE)以及應(yīng)用層(Application)?;A(chǔ)軟件層再分為服務(wù)層(Services Layer)、ECU抽象層(ECU Abstraction Layer)、微控制器抽象層(Microcontroller Abstraction Layer)和復(fù)雜驅(qū)動(dòng)(Complex Device Drivers)。
具體講,服務(wù)層主要提供各類(lèi)維持系統(tǒng)運(yùn)行的基礎(chǔ)服務(wù),如監(jiān)控,診斷,通信,以及實(shí)時(shí)操作系統(tǒng)等;ECU抽象層主要功能是封裝微處理器及其外圍設(shè)備;微處理器抽象層主要功能是對(duì)微控制器進(jìn)行分裝,例如I/O、ADC、SPI等;復(fù)雜驅(qū)動(dòng)用于那些不能進(jìn)行統(tǒng)一封裝的復(fù)雜硬件,為上層RTE訪問(wèn)硬件提供支持。
AUTOSAR Adaptive platform (AP),更多的應(yīng)用于 ADAS 和自動(dòng)駕駛等對(duì)于計(jì)算能力和帶寬通信要求更高的領(lǐng)域中,盡可能從其他領(lǐng)域 (如消費(fèi)電子產(chǎn)品) 的發(fā)展中獲益,同時(shí)仍然考慮汽車(chē)的特定要求,如功能安全。
AP平臺(tái)主要提供高性能計(jì)算與通訊機(jī)制,并且提供靈活的軟件配置,例如軟件遠(yuǎn)程更新(OTA)等,包括如下主要部分:(1)用戶(hù)應(yīng)用,一個(gè)應(yīng)用可以為其他應(yīng)用提供服務(wù),這樣的服務(wù)稱(chēng)為非平臺(tái)服務(wù);(2)支持用戶(hù)應(yīng)用的AUTOSAR Runtime(ARA,Autosar Runtime for Adaptive Application),其由功能集群提供的一系列應(yīng)用接口組成,其中有兩種類(lèi)型的功能集群,即自適應(yīng)平臺(tái)基礎(chǔ)功能和自適應(yīng)平臺(tái)服務(wù);(3)硬件視作機(jī)器(Machine),可以通過(guò)各種管理程序相關(guān)技術(shù)虛擬化,并且可以實(shí)現(xiàn)一致的平臺(tái)視圖。
AP需要支持E2A的兩個(gè)關(guān)鍵特征:異構(gòu)軟件平臺(tái)的集成和面向服務(wù)的通信。AP組件封裝面向服務(wù)SOA軟件底層的通訊細(xì)節(jié) (包括SOME/IP協(xié)議,IPC等),同時(shí)提供代理(Proxy)-骨架(Skeleton)模型,方便應(yīng)用開(kāi)發(fā)人員調(diào)用標(biāo)準(zhǔn)服務(wù)接口(API)進(jìn)行開(kāi)發(fā)。
AP選擇POSIX PSE 51作為OS要求,避免底層OS過(guò)于復(fù)雜,上層應(yīng)用限制使用一些復(fù)雜功能,避免overspec。
作者 | 計(jì)算機(jī)視覺(jué)深度學(xué)習(xí)和自動(dòng)駕駛
分享到:
 
反對(duì) 0 舉報(bào) 0 收藏 0 評(píng)論 0
滬ICP備11026917號(hào)-25