自動駕駛汽車的工作原理與人類駕駛員駕駛原理相同。人類駕駛員用感知器官了解周邊環(huán)境，并通過神經(jīng)系統(tǒng)進行處理和融合，從而提供提供合乎邏輯和安全的最優(yōu)的行為決策。類似的概念也適用于自動駕駛汽車，其中傳感器提供探測車輛周圍環(huán)境并提取目標信息，而決策控制系統(tǒng)與人體的神經(jīng)系統(tǒng)類型，為自動駕駛車輛提供決策輸入。

自動駕駛汽車通過傳感器感知周圍環(huán)境，并將信息傳輸?shù)铰窂揭?guī)劃階段，決定和預(yù)測未來的行為，并相應(yīng)地控制車輛的橫向和縱向的驅(qū)動系統(tǒng)。為了讓自動駕駛汽車在真實道路上順利行駛，并提高感知的準確度，多傳感器感知和融合技術(shù)得到了廣泛應(yīng)用，為準確了解周圍環(huán)境并相應(yīng)地傳輸數(shù)據(jù)奠定了基礎(chǔ)。

自動駕駛汽車中使用了多類傳感器，例如攝像頭、雷達、激光雷達、超聲波等，可用于多種不同用途和探測范圍，如圖1所示。

實際的自動駕駛系統(tǒng)，需要通過傳感器融合技術(shù)實現(xiàn)高可靠性環(huán)境感知，以便有效地完成路徑規(guī)劃和行為預(yù)測。


圖1 自動駕駛車輛配備的多種傳感器

傳感器融合技術(shù)是自動駕駛汽車中最關(guān)鍵的技術(shù)之一，其用途非常廣泛，例如 360 °環(huán)視、高精定位和目標檢測。對于自動駕駛車輛，感知系統(tǒng)首先具備高可靠，高準確的數(shù)據(jù)的處理和傳輸能力。傳感器融合十分有助于提高數(shù)據(jù)質(zhì)量和可靠性，預(yù)測未知變量的狀態(tài)，并增加車輛周圍的檢測覆蓋范圍。然而，在傳感器融合系統(tǒng)商業(yè)化應(yīng)用之前，它們必須經(jīng)過嚴格的測試。一般需要多個傳感器輸入來測試這些系統(tǒng)，由于相關(guān)的硬件成本和執(zhí)行重復測試的限制，基于真實傳感器的測試效率會非常低。通過基于用戶感知系統(tǒng)方案來構(gòu)建的多傳感器仿真解決方案可以克服真實傳感器測試方案的不足，有效解決重復測試和開發(fā)時間以及降低成本的問題。

當前，客戶面臨的主要挑戰(zhàn)之一是如何構(gòu)建基于場景的Camera、Lidar、mmRadar和超聲波等多傳感器的高精度模型和虛擬場景，用于硬件在環(huán) (HiL) 和軟件在環(huán) (SiL) 測試和傳感器融合的測試。

以攝像頭為例，真實世界Camera捕獲的原始數(shù)據(jù)針對場景的低光、白平衡、色調(diào)曲線等進行了校正。在虛擬試駕 (VTD) 中，模擬攝像機還必須調(diào)整捕獲場景的光線、白平衡、色調(diào)曲線等，以匹配原始圖像的特定 HiL 測試要求。而原始圖像的校正和調(diào)整是與光學模組本身特性以ISP強相關(guān)。在仿真測試中，需要解決如何構(gòu)建與攝像頭光學模組和 ISP 相關(guān)的傳感器模型的問題。因此，需要通過工程化方法來模擬鏡頭存在色差或光學畸變問題，模擬ISP的準確輸入從而保證ISP輸出的準確性，避免生成圖像質(zhì)量過低，導致測試無法進行。另外，被測系統(tǒng)還需要來自模擬相機模塊的特定數(shù)據(jù)。數(shù)據(jù)格式包括 BayerPattern、YUV等不同的數(shù)據(jù)格式。同時，真實攝像頭為HDR圖像，需要傳感器模型具備HDR圖像的實時仿真能力。與真正的相機模塊相比，可以通過校準被測系統(tǒng)中的 ISP 來滿足此要求。

VTD 支持對用于 HiL 測試的模擬相機進行 ISP 調(diào)整，以提高色彩準確度、對比度和分辨率?？梢詫⒋藞D像解釋為與來自 VTD 的模擬相機的真實世界圖像有強相關(guān)性（圖 2）。為解決仿真鏡頭的相關(guān)問題，進行了光學畸變仿真模型研究。通過這項研究，VTD現(xiàn)在提供了基于真實相機特征參數(shù)獲取畸變參數(shù)的方法。它還提供了長焦距鏡頭的圖像模型，增強了鏡頭設(shè)計和陰影的相機校準能力。


圖2 使用相機進行基于物理的渲染

VTD基于被測系統(tǒng)（SUT）進行驗證，提供針孔、失真、魚眼、非魚眼等不同的攝像頭模塊，甚至可以產(chǎn)生噪聲。

為了準確分析傳感器融合套件，需要多個傳感器輸入，其中還包括模擬的 RADAR、LiDAR 和超聲波傳感器。VTD 中的 RADAR 和 LiDAR 模型配備了類似于真實傳感器的光線追蹤功能。當定義材料屬性和需要照片般逼真的圖像時，光線追蹤功能在模擬中非常有用（圖 3 和 4）。


圖3（左）使用LIDAR 進行基于物理的渲染
圖4（右）帶光線追蹤的雷達

VTD 最新的毫米波雷達技術(shù)允許客戶實時配置和模擬模數(shù)轉(zhuǎn)換器 (ADC) / 快速傅立葉變換 (FFT) 數(shù)據(jù)。借助軟件開發(fā)套件，客戶可以設(shè)計和開發(fā)自己的基于物理的雷達模型。生成的 ADC/FFT 可以直接饋入（電子控制單元）ECU 進行聚類、目標檢測、跟蹤和分類的原始信號處理。VTD 單射線和多射線傳感器為客戶提供實時設(shè)計和模擬基于物理的超聲波傳感器數(shù)據(jù)；生成的數(shù)據(jù)可以直接輸入ECU進行感知驗證。

為了測試傳感器融合算法，VTD 支持多路傳感器模型的實時并行仿真，現(xiàn)在可以針對軟件在環(huán)進行擴展。隨著傳感器仿真技術(shù)的發(fā)展，VTD 支持具有確定性行為的分布式傳感器仿真，以根據(jù)特定要求將同步傳感器數(shù)據(jù)盡可能多地提供給被測傳感器融合系統(tǒng)。分布式多傳感器的實時并行仿真測試系統(tǒng)，當前得到了非常廣泛的應(yīng)用，例如某用戶，基于VTD構(gòu)建了多傳感器仿真測試平臺，其中使用了 13 個攝像頭、5 個 LiDAR、12 個超聲波雷達理想傳感器和 6 個毫米波雷達來配置模擬設(shè)置。

除了當前在傳感器融合方面的應(yīng)用，VTD 還致力于開發(fā)用于車內(nèi)監(jiān)控系統(tǒng)的技術(shù)。車內(nèi)監(jiān)控系統(tǒng)由駕駛員監(jiān)控系統(tǒng)和乘客監(jiān)控系統(tǒng)組成。駕駛員監(jiān)控系統(tǒng)主要用于幫助駕駛員減少由于分心、困倦和不警覺而導致的錯誤。駕駛員輔助系統(tǒng)包括駕駛員睡意檢測、駕駛員監(jiān)控系統(tǒng)、前方碰撞警告、交叉路口輔助、錯誤方向駕駛警告等。

在試驗場或現(xiàn)實世界中測試所有這些功能是一項昂貴的業(yè)務(wù)，并且存在駕駛員的適應(yīng)問題。通過提供虛擬環(huán)境，可以使用模擬器有效地測試這些功能。

VTD 正在研究 ADAS 功能的技術(shù)，作為車內(nèi)的駕駛輔助功能，將提供逼真的虛擬環(huán)境。 為了讓駕駛員在具有前后視圖的駕駛模擬器中獲得真實的駕駛感覺，VTD 可以提供 360 度投影，可以改變天氣條件、一天中的時間等。安裝在模擬器駕駛室中的真實傳感器，將從 VTD 連接到虛擬環(huán)境。 這些傳感器將監(jiān)控駕駛員以及有關(guān)汽車（模擬器）行駛中周圍環(huán)境的信息。如果駕駛員分心并且虛擬環(huán)境中出現(xiàn)危急情況，駕駛員將收到警報。 這只是 VTD 現(xiàn)在著眼于未來多種選擇的一個例子。