智能汽車是汽車?電子?信息通信?道路交通運輸?shù)刃袠I(yè)深度融合的新型產(chǎn)業(yè)形態(tài)?當前, 我國智能汽車產(chǎn)業(yè)進入快車道, 技術創(chuàng)新日益活躍, 新型應用蓬勃發(fā)展, 產(chǎn)業(yè)規(guī)模不斷擴大,而相應的測試技術體系也在不斷完善, 推動產(chǎn)業(yè)進步?本書首先立足于整體現(xiàn)狀對智能汽車測試體系架構進行綜述, 并針對測試技術的發(fā)展趨勢和整個核心技術進行詳細描述;然后, 針對測試體系中每一測試過程的概念?核心思想?關鍵技術?測試方法?發(fā)展趨勢等進行詳細描述?

注：本文節(jié)選自《智能汽車測試技術》第五章節(jié)，由機械工業(yè)出版社于2025年6月份出版

https://mp.weixin.qq.com/s/MlQwkx8HzGRqa4meVhUteQ

《智能汽車測試技術》目錄 

第1 章

導論

1.1 背景與需求/ 001

1.2 基本概念/ 003

1.2.1 測試與評價的基本概念/ 003

1.2.2 產(chǎn)品全生命周期中的測評技術/ 004

1.3 現(xiàn)狀與挑戰(zhàn)/ 005

1.4 本書章節(jié)安排/ 006

第2 章

智能汽車

測評概述

 2.1 測評需求分析/ 009

2.1.1 安全性測試與驗證/ 009

2.1.2 智能性測試與評價/ 012

2.2 測試方法論/ 015

2.2.1 安全性測試驗證框架/ 015

2.2.2 智能性測試評估框架和體系/ 017

2.3 測試工具鏈及應用要求/ 023

2.3.1 測試工具鏈/ 023

2.3.2 測試需求與測試工具的適配性/ 027

2.4 本章小結/ 029

參考文獻/ 030

第3 章

智能汽車

測試場景

3.1 場景基本概念/ 031

3.2 場景體系/ 033

3.2.1 場景要素與屬性/ 033

3.2.2 場景層級/ 035

3.2.3 場景分類/ 036

3.3 場景生成方法/ 037

3.3.1 基于形式化描述的場景生成方法/ 037

3.3.2 基于駕駛員模型的場景生成方法/ 040

3.3.3 安全關鍵場景生成方法/ 048

3.4 場景采集與利用/ 051

3.4.1 場景采集技術/ 051

3.4.2 場景庫搭建/ 052

3.5 本章小結/ 052

參考文獻/ 053

第4 章

環(huán)境感知

系統(tǒng)的測試

技術與方法

4.1 環(huán)境感知系統(tǒng)測試需求分析/ 055

4.2 環(huán)境感知系統(tǒng)介紹/ 057

4.2.1 感知系統(tǒng)/ 057

4.2.2 硬件模組/ 058

4.2.3 認知算法/ 058

4.3 環(huán)境感知系統(tǒng)測試技術框架/ 059

4.4 各類感知環(huán)境介紹/ 060

4.4.1 封閉場地環(huán)境/ 060

4.4.2 道路交通環(huán)境/ 064

4.4.3 虛擬仿真環(huán)境/ 066

4.5 數(shù)據(jù)生成模型介紹/ 069

4.5.1 降雨圖像生成方法概述/ 070

4.5.2 降雨圖像生成模型介紹/ 071

4.5.3 降雨圖像生成模型結果/ 075

4.6 具體測試案例/ 076

4.6.1 案例一:基于封閉場地環(huán)境的感知系統(tǒng)測試/ 076

4.6.2 案例二:基于虛擬仿真環(huán)境的硬件模組測試/ 078

4.6.3 案例三:基于虛擬仿真環(huán)境的感知系統(tǒng)測試/ 081

4.6.4 案例四:基于三類感知環(huán)境和數(shù)據(jù)生成模型的

認知算法測試/ 083

4.7 本章小結/ 086

參考文獻/ 087

第5 章

決策規(guī)劃

系統(tǒng)的測試

技術與方法

 5.1 決策規(guī)劃系統(tǒng)的測試需求與挑戰(zhàn)/ 089

5.1.1 測試需求/ 089

5.1.2 測試挑戰(zhàn)/ 090

5.2 基于場景的測試技術與方法/ 092

5.2.1 靜態(tài)試驗設計測試方法/ 092

5.2.2 動態(tài)試驗設計測試方法/ 094

5.3 基于真實里程的測試技術與方法/ 101

5.3.1 開放道路測試技術/ 101

5.3.2 重要度采樣加速測試方法/ 103

5.4 基于虛擬里程的測試技術與方法/ 104

5.4.1 虛擬里程測試系統(tǒng)組成框架/ 105

5.4.2 用于虛擬里程測試的NPC 模型生成方法/ 106

5.4.3 用于虛擬里程測試的NPC 模型性能驗證/ 113

5.4.4 虛擬里程測試的應用/ 118

5.4.5 小結/ 130

5.5 其他測試技術/ 131

5.5.1 自動化測試技術/ 131

5.5.2 錯誤注入測試技術/ 139

5.5.3 分布式自動化測試技術/ 152

5.6 本章小結/ 157

參考文獻/ 157

第6 章

整車測試

技術與方法

6.1 整車測評需求分析/ 159

6.2 封閉測試場地平臺/ 160

6.2.1 封閉測試場/ 160

6.2.2 動態(tài)模擬目標物系統(tǒng)/ 162

6.2.3 定位與數(shù)據(jù)采集系統(tǒng)/ 163

6.3 開放道路測試系統(tǒng)/ 164

6.3.1 測試方案制定/ 165

6.3.2 數(shù)據(jù)采集與數(shù)據(jù)閉環(huán)系統(tǒng)/ 165

6.4 本章小結/ 166

第7 章

智能汽車

安全性評估

7.1 基于具體場景的安全性評估/ 169

7.1.1 場景瞬時風險評估方法/ 170

7.1.2 多階段安全評估/ 180

7.1.3 單個測試場景結果外推/ 181

7.2 基于邏輯場景的安全性評估/ 182

7.2.1 評估要求/ 182

7.2.2 面向邏輯場景評價的危險域識別方法/ 183

7.3 針對被測功能的安全性評估/ 192

7.4 本章小結/ 192

參考文獻/ 193

第8 章

智能汽車

綜合行駛

性能評估

 8.1 測評需求與研究現(xiàn)狀/ 195

8.1.1 測評需求/ 195

8.1.2 研究現(xiàn)狀/ 195

8.2 測評基本流程/ 197

8.3 典型測試場景矩陣/ 198

8.4 測試方法與流程/ 199

8.4.1 測試方案/ 199

8.4.2 背景車跟馳模型/ 199

8.4.3 測試數(shù)據(jù)輸出/ 201

8.5 評價方法與流程/ 202

8.5.1 評價體系/ 202

8.5.2 評價流程/ 204

8.6 測評示例/ 206

8.7 本章小結/ 209

參考文獻/ 209

附 錄

附錄A 測試工況參數(shù)設置/ 210

附錄B 背景車跟馳模型/ 212

附錄C 歸一化方法/ 214

附錄D 常見縮寫詞/ 216

用于虛擬里程測試的NPC 模型生成方法

虛擬里程測試的測試性主要來源于被測系統(tǒng)與背景車輛的交互, 用于背景車行為決策的NPC 模型的性能直接決定了虛擬里程測試的效果。因此需要通過合理的模型生成方法完成NPC 模型的構建, 使其具備真實性、測試性等性能,從而保證虛擬里程測試系統(tǒng)的測試效果。

能夠用于NPC 模型構建的方法有很多, 可以通過規(guī)則或效用函數(shù)構建模型, 也可以采用模仿學習、強化學習等機器學習方法, 采用不同方法生成的模型可以根據(jù)其行為能力進行分級?；谝?guī)則的駕駛員模型以及各類模型的分級方法已經(jīng)在本書的3.3.2 節(jié)中進行了介紹, 在本節(jié)中將對機器學習方法中的強化學習和模仿學習進行簡單的介紹, 并對各類方法的優(yōu)劣勢進行簡單分析。

1 . 強化學習

強化學習問題可以簡述為, 通過獎勵函數(shù)設定目標讓智能體在環(huán)境中進行策

略優(yōu)化, 使得執(zhí)行策略獲得的長期獎勵值達到最優(yōu)。在虛擬里程測試系統(tǒng)的NPC模型訓練過程中, NPC 模型即為被訓練的智能體, 其首先對環(huán)境進行觀測, 獲得當前觀測狀態(tài)si , 然后根據(jù)當前策略選定并執(zhí)行動作ai , 并計算獎勵ri 反饋給智能體, 最后根據(jù)獎勵對智能體策略進行更新, 使得策略收斂到接近最優(yōu), 如圖5 -18 所示。這一過程可以用公式表示為

圖5 -18 強化學習框架

式中,k為訓練過程中的迭代步數(shù);γ為獎勵折扣因子;rk為第k步迭代獲得的獎勵值。

獎勵函數(shù)是根據(jù)模型的訓練目標進行設計的,反映了模型所具有的目標特征。而用于強化學習模型訓練的數(shù)據(jù)來自訓練過程自身,因此其對數(shù)據(jù)的依賴性很低。在用于訓練的數(shù)據(jù)中,模型行為的評價是通過對獎勵函數(shù)的計算進行的,因此模型的性能與獎勵函數(shù)的設定緊密相關,具有較強的可解釋性。然而由于僅采用獎勵函數(shù)的設定較難覆蓋所有駕駛工況,無法對駕駛行為進行100%還原,因此采用強化學習方法生成的駕駛員模型在真實性上的表現(xiàn)相對較差。

根據(jù)訓練環(huán)境和獎勵函數(shù)的設置不同,強化學習生成的模型又可以分為對抗模型和非對抗模型,二者在模型特征上具備一定的區(qū)別。

(1)對抗模型

NPC模型與SUT的交互是關鍵場景的生成來源,而其中NPC模型的對抗性行為可以提升交互過程中關鍵場景的出現(xiàn)概率。為了提升關鍵場景的生成效率,通過強化學習訓練NPC模型時,可以對模型的對抗行為進行訓練,獲得的模型可以稱為對抗模型。

通常通過對訓練環(huán)境和獎勵函數(shù)進行對抗性設定以獲取對抗模型。在訓練對抗模型時,通常將SUT接入訓練環(huán)境中進行訓練,使得在訓練過程中就存在NPC模型和SUT的交互行為;在獎勵函數(shù)上,通過設定與模型對抗相關的獎勵函數(shù),對與關鍵場景生成相關的對抗行為給予正獎勵反饋,會使得NPC模型有更大的概率選擇這部分對抗行為,從而提升虛擬里程測試過程中背景車與SUT對抗行為的出現(xiàn)概率,加速關鍵場景的生成。

根據(jù)上述內(nèi)容可知,由于對抗性設定的存在,對抗模型在測試性上的表現(xiàn)最好;但由于訓練時在訓練環(huán)境和獎勵函數(shù)的設定具有一定的局限性,因此對抗模型在真實性和演化性的表現(xiàn)上相對較差,部分模型可能只在特定場景下具有較好的測試效果。

對基于強化學習的對抗模型,代表性的研究見表5-3。

表5-3 強化學習對抗模型論文

通過強化學習訓練NPC模型時,如果獎勵函數(shù)中只包含對模型自身駕駛特性的獎勵,且訓練環(huán)境中不包含SUT,則在進行仿真時此類模型與SUT的對抗特性較弱,可以把這類模型叫作非對抗模型。

此類模型在訓練過程中不存在與SUT的交互,在模型訓練完成后再接入SUT進行在環(huán)仿真測試,獎勵函數(shù)也不會對于車輛之間的對抗行為給予正獎勵,因此其在決策時只會考慮自車的行駛特征收益。在訓練時自車行駛特征通?？梢园ǜ嚒Q道行為的真實性,以及自車對于行駛空間的追求程度等信息,所有的獎勵都是服務于自車的行駛能力,所以通常模型具有很強的演化性和一定的真實性,能夠在多種道路拓撲和不同場景中表現(xiàn)出良好的適應性;而由于沒有對抗性的特殊設定,因此其作為背景車時的測試能力通常不夠強。

對于非對抗模型,可以對其特性進行差異化設計,獲取具有異質特性的模型。由于人類的操縱決定了其駕駛車輛的行駛特征,因此不同駕駛員的駕駛特征存在差異。異質化的駕駛員模型設定可以更好地模擬真實交通環(huán)境,并可以通過修改模型占比,提升虛擬里程測試系統(tǒng)的測試效果。

從駕駛風格上,可以將模型分為普通型、保守型、激進型。對于保守型駕駛員模型,通常代表駕駛能力較弱、駕駛經(jīng)驗欠缺的駕駛員,該類駕駛員較少做出換道或急加減速等動作。激進型駕駛員模型通常是造成危險場景的原因,因此受到了較多研究者的關注。該類駕駛員模型通常傾向于做出有一定風險性的駕駛行為,具有較高的平均車速、平均加速度和較短的跟車車頭間距;高頻的急加/減速和換道動作。

從交互屬性上,可以將模型分為中立型、合作型、競爭型。對于中立型駕駛員模型,只關注自車的行駛收益,因此建模目標只包含對自身行駛質量的量化指標。合作型駕駛員模型在關注自身行駛收益的前提下,會考慮可視范圍內(nèi)其他車輛的行駛收益,以體現(xiàn)合作特性。競爭型駕駛員模型在關注自身行駛收益的前提下,會壓縮周圍其他車輛的行駛收益,以體現(xiàn)競爭特性。

對基于強化學習的非對抗模型,代表性的研究見表5-4。

表5-4 強化學習非對抗模型論文

2. 模仿學習

模仿學習(ImitationLearning),顧名思義,就是要通過訓練讓模型學習專家數(shù)據(jù)的動作,使得模型能夠面對環(huán)境狀態(tài)輸入做出與人類駕駛員相似的動作,從而達到模仿的目的。在難以設計獎勵函數(shù),但具備專家示范數(shù)據(jù)的訓練場景下,采用模仿學習的方法通常可以獲得較好的NPC模型訓練效果。

常見的模仿學習方法主要有兩種:行為克隆(BehaviorCloning)和逆強化學習(InverseReinforcementLearning,IRL)。行為克隆是一種直接從專家數(shù)據(jù)中學習策略模型的方法;而逆強化學習從專家數(shù)據(jù)中學習數(shù)據(jù)背后隱含的獎勵函數(shù)(RewardFunction),并根據(jù)獎勵函數(shù)來訓練最優(yōu)的駕駛策略,這是兩種方法的主要區(qū)別。

(1)行為克隆

采用行為克隆方法進行訓練時,專家數(shù)據(jù)通常會被以“狀態(tài)-動作”對的形式進行輸入。其中狀態(tài)通常為NPC模型周圍的環(huán)境觀測信息,作為模型的輸入信息。在NPC模型根據(jù)狀態(tài)做出決策之后,決策結果會與專家數(shù)據(jù)中的動作信息共同輸入到損失函數(shù)中,并通過策略梯度更新策略模型,從而不斷逼近損失函數(shù)的最小值,實現(xiàn)模型決策對專家數(shù)據(jù)的“克隆”。

式中,π為訓練的NPC模型策;θ為策略參數(shù);s和a分別為專家數(shù)據(jù)中的狀態(tài)和動作信息;loss為損失函數(shù)。通過對比策略π對狀態(tài)s的輸出動作和專家數(shù)據(jù)中的動作a之間的差異,對策略不斷進行更新,從而使得損失函數(shù)達到最小值。

由于訓練數(shù)據(jù)完全來自輸入的專家數(shù)據(jù),因此行為克隆能夠很好地學習到專家數(shù)據(jù)的行為,生成的模型具備很好的真實性;且由于數(shù)據(jù)均為訓練前處理好的,因此在訓練過程中不再需要收集和處理數(shù)據(jù)的工作,生成效率較高。但這項特征也同時導致了其演化性和測試性差的特點:一旦模型遇到?jīng)]有經(jīng)過專家數(shù)據(jù)訓練的狀態(tài),將可能會做出不安全的駕駛行為;與關鍵場景生成相關駕駛行為的專家數(shù)據(jù)也很難獲取,因此訓練獲取的模型用于測試的效果通常欠佳。

對于行為克隆訓練生成NPC模型,代表性的研究見表5-5。

表5-5 行為克隆模型論文

(2)逆強化學習

逆強化學習也是一種典型的模仿學習方法,其學習過程與強化學習利用獎勵函數(shù)訓練策略相反,不需要對獎勵函數(shù)進行設計,而是通過對專家數(shù)據(jù)的學習獲取一個獎勵函數(shù),并可以進而利用獎勵函數(shù)對NPC模型進行訓練。

IRL的基本準則是:通過迭代獎勵函數(shù)R來優(yōu)化策略,并且使得任何不同于專家數(shù)據(jù)策略πE的動作決策a∈A\aE都盡可能產(chǎn)生更大損失,從而實現(xiàn)對專家數(shù)據(jù)的最大化模仿。該準則用公式可以表示為

但采用上述方法時,如果需要在學習獎勵函數(shù)的同時獲取NPC模型,還需要使用強化學習對模型進行訓練優(yōu)化,這要求迭代優(yōu)化獎勵函數(shù)的內(nèi)循環(huán)中解決一個馬爾可夫決策過程(MarkovDecisionProcess,MDP)的問題,會帶來極大的時間消耗成本。

對抗逆強化學習(AdversarialInverseReinforcementLearning,AIRL)算法中引入了對抗生成網(wǎng)絡(GenerativeAdversarialNetwork,GAN),能夠有效提升訓練效率。該算法背后的基本概念是同時訓練代表駕駛員模型策略的生成器和學習目標獎勵函數(shù)的判別器,當輸入的狀態(tài)-動作對更有可能來自專家數(shù)據(jù)演示時,判別器會給予策略模型更高的獎勵。AIRL算法能夠在判別器和生成器進行對抗的過程中達到博弈均衡,從而同時完成對兩個網(wǎng)絡的訓練并達到相互統(tǒng)一,在時間效率和訓練效果上得到顯著提升。

在AIRL中,判別器是其中最關鍵的組成部分,通常可以將判別器表達成

經(jīng)過AIRL的訓練,可以在獲得與專家數(shù)據(jù)相符的獎勵函數(shù)的同時,獲得一個經(jīng)過充分訓練的NPC模型,有效提升訓練效率。

與行為克隆相同,由于訓練數(shù)據(jù)中存在專家數(shù)據(jù),因此IRL方法訓練的模型能夠很好地學習到專家數(shù)據(jù)的行為,生成的模型具備很好的真實性,且由于對抗生成網(wǎng)絡的存在,其真實性通常比行為克隆還略高一些。此外,除了專家數(shù)據(jù),IRL也會利用仿真過程中生成的數(shù)據(jù)進行訓練,因此數(shù)據(jù)量高于行為克隆,具備較強的演化性。但IRL由于其訓練過程較復雜,所以模型生成效率在幾種方法中是最低的;而且訓練過程中沒有對抗性設定,測試性也相對較低。

對于IRL訓練生成NPC模型,代表性的研究見表5-6。

表5-6 逆強化學習模型論文

3. 方法對比

從真實性、測試性、演化性、進化性、生成效率五個維度對常見的NPC模型生成方法進行對比分析,分析結果如圖5-19所示。

圖5 -19 不同模型構建方法特性對比

總體來看,強化學習和逆強化學習在各個維度上的表現(xiàn)都相對較為均衡,是比較理想的NPC模型構建方法。強化學習的優(yōu)勢在于具有最強的演化性;逆強化學習的優(yōu)勢在于可以較好地還原出人類駕駛員的駕駛行為,具有最強的真實性。IDM等基于規(guī)則或效用函數(shù)的模型生成場景的不確定性較低,模擬車輛特征的真實性有限,現(xiàn)在常作為其他方法的對比基準。

4. 模型生成示例

下面以基于強化學習的模型生成為例,展示NPC模型的具體生成方法和流程。

在NPC模型設計階段,首先根據(jù)不同的交互屬性,對模型的特征進行定義。對于交互屬性,選擇前面所述的中立型、合作型、競爭型模型作為設計目標。對于中立型模型,只關注自車的行駛收益,在進行建模時,將自身的行駛收益目標量化為:①無碰撞行駛;②最大化可行駛區(qū)域;③最大化行駛速度。對于合作型和競爭型模型,其考慮的周圍車輛包括后觀測空間內(nèi)的所有車輛。對于合作型模型,在中立型對自車行駛收益的考慮之外,還要最大化后觀測空間所有車輛的平均速度,以此體現(xiàn)模型的合作特性。對于競爭型模型,還要最小化后觀測空間所有車輛的平均速度,以此體現(xiàn)模型的競爭特性。NPC模型的設計方案如圖5-20所示。

圖5 -20 NPC 模型的設計方案

完成模型設計之后,根據(jù)設計目標,需要對模型訓練使用的獎勵函數(shù)進行設計。對于中立型、合作型、競爭型NPC模型的設計,獎勵函數(shù)可以統(tǒng)一設計為

式中,R為獎勵的計算結果;C、S、V分別對應自車的三項行駛收益反饋;A對應合作型和競爭型模型對周圍車輛收益影響效果的不同獎勵反饋。

在完成獎勵函數(shù)的設計后,采用強化學習的方法完成對NPC模型的訓練?；贏ctor?Critic架構的深度強化學習(DeepReinforcementLearning,DRL)是當前常用的強化學習方法,Actor?Critic框架中有Actor網(wǎng)絡和Critic網(wǎng)絡兩個部分,其中Actor網(wǎng)絡可以對高維、連續(xù)動作空間中的動作進行選取,Critic網(wǎng)絡用于對動作的價值進行判斷,可以單步更新,更新訓練速度更快、學習效率更高。在這種方法中,神經(jīng)網(wǎng)絡作為強大的非線性表達單元被引入強化學習算法中,更適用于駕駛員模型的訓練。在本書的示例中,采用了雙延遲深度確定性策略梯度(TwinDelayedDeepDeterministicPolicyGradient,TD3)算法進行模型訓練,TD3算法是一種常用的強化學習算法,其算法流程圖如圖5-21所示。

圖5-21 基于Actor-Critic架構的TD3算法流程圖

本書首先立足于整體現(xiàn)狀對智能汽車測試體系架構進行綜述， 并針對測試技術的發(fā)展趨勢和整個核心技術進行詳細描述；然后， 針對測試體系中每一測試過程的概念、核心思想、關鍵技術、測試方法、發(fā)展趨勢等進行詳細描述。

本書可供智能汽車設計人員及測試人員閱讀使用， 也可供車輛工程專業(yè)及相關專業(yè)師生閱讀參考。

點擊以下鏈接購買https://mp.weixin.qq.com/s/MlQwkx8HzGRqa4meVhUteQ

作者簡介：

陳君毅,2009年畢業(yè)于同濟大學汽車學院,獲工學博士學位,任職于同濟大學汽車學院?長期從事自動駕駛汽車測試與評價方向研究工作,先后主持和參與國家級?省部級項目共11項,并與華為?路特斯?上汽大眾?蔚來等企業(yè)開展了深度校企合作研究?近5年,在國內(nèi)外學術期刊和國際會議上共發(fā)表SCI/EI檢索論文近30篇,其中以第一作者或及通訊作者發(fā)表的為20余篇;申請發(fā)明專利30余項(已授權7項)?擔任SAE汽車安全和網(wǎng)絡安全技術委員會秘書?功能安全和預期功能安全分委會主席;是自動駕駛測試場景國際標準(ISO3450X)支撐專家組成員,以及CAICV聯(lián)盟預期功能安全工作組核心成員;擔任《汽車工程》和《汽車工程學報》青年編委委員,IEEE Transactions on Intelligent Vehicles?Proceedings of the Institution of Mechanical Engineers, Part D: Journal of Automobile Engineering?《中國公路學報》?《汽車工程》?IEEE Intelligent Transportation Systems Conference?IEEE Intelligent Vehicles Symposium等國內(nèi)外期刊和國際會議審稿人,曾于多項國際學術會議擔任分論壇主席?

版權信息:

智能汽車測試技術 / 陳君毅等著. -- 北京 : 機械工業(yè)出版社, 2025. 5. -- (智能汽車關鍵技術叢書).ISBN 978-7-111-77871-4 Ⅰ. U467 中國國家版本館CIP數(shù)據(jù)核字第2025X8D229號

本書由機械工業(yè)出版社出版，本文經(jīng)出版方授權發(fā)布。