1.置信度評估的動機、范圍和框架

2.建模&仿真管理

3.建模&仿真分析和描述

4.建模&仿真驗證

在自動駕駛系統(tǒng)的開發(fā)過程中，仿真測試和置信度評估是相互依存、相互促進(jìn)的。通過仿真測試可以發(fā)現(xiàn)潛在的問題和風(fēng)險，而置信度評估則可以確保仿真測試結(jié)果的可靠性和有效性。因此，在自動駕駛系統(tǒng)的開發(fā)過程中，應(yīng)充分利用仿真測試和置信度評估手段，不斷提高自動駕駛系統(tǒng)的安全性和可靠性。

在ADS合規(guī)認(rèn)證時，仿真工具鏈的置信度評估也是自動駕駛合規(guī)認(rèn)證五支柱之一的仿真測試符合性評估的重要前提。

1. 置信度評估的動機、范圍和框架

由于M&S（Model&Simulation建模和仿真）軟件包的計算能力、準(zhǔn)確性、可用性和有效性的提高，建模和仿真（M&S）的使用變得越來越廣泛。M&S對于ADS安全驗證是有益的，因為它提供了一個機會來克服實際測試的一些限制并增加測試場景的數(shù)量。盡管如此，M&S也可能導(dǎo)致錯誤或看似正確的結(jié)果，特別是在M&S沒有得到充分的驗證的復(fù)雜模擬中。

因此，需要對M&S置信度有更高的信心，以便可以使用仿真測試而不是與其他測試支柱一起使用。換句話說，只有評估員考慮到M&S的潛在不確定性之后做出明智的決策，認(rèn)為仿真結(jié)果足夠可信，M&S才可以用于仿真測試。

（a）確定一個通用框架來確定、證明、評估和報告M&S工具鏈的整體置信度。

（b）確定一種方法來指示驗證評估時結(jié)果的置信度水平，并確定工具鏈的適用領(lǐng)域。

這個置信度評估框架應(yīng)該足夠通用，可用于不同的M&S類型和應(yīng)用程序。不幸的是，由于ADS功能的范圍和差異以及使用的模型和工具鏈的多樣性，這個目標(biāo)變得更加復(fù)雜。這些考慮導(dǎo)致：使用一個（基于風(fēng)險/知情的）置信度評估框架，可以應(yīng)用于所有M&S應(yīng)用程序。

下述的置信度評估框架提供了：評估M&S解決方案置信度所需的主要方面的描述，以及評估員在置信度驗證過程中發(fā)揮的作用的指導(dǎo)方針。評估員應(yīng)在審計階段調(diào)查支持置信度的留檔和證據(jù)。只有足夠的證據(jù)表明模型或工具鏈產(chǎn)生了可信的結(jié)果，才能進(jìn)行接下來的實際驗證測試。

M&S置信度評估的結(jié)果將確定仿真工具可用于支持ADS評估的范圍。

置信度評估框架的組成部分：

如果通過評估仿真工具鏈的適用性來建立ADS仿真測試結(jié)果的置信度，建議通過調(diào)查和評估五個M&S屬性來實現(xiàn)其置信度評估：

下圖以圖形方式表述了置信度評估框架各組件之間的關(guān)系：

這些因素的處理程度表明了M&S工具鏈所達(dá)到的質(zhì)量水平，獲得的水平與所需水平之間的比較提供了M&S置信度及其在仿真測試中的適用性的定性度量。

2. 建模&仿真管理

M&S生命周期是一個動態(tài)過程，具有頻繁的版本發(fā)布和更新，應(yīng)進(jìn)行監(jiān)控和記錄。因此，需要建立管理活動，通過典型的產(chǎn)品管理流程支持M&S。本節(jié)應(yīng)包括以下方面的相關(guān)信息：

（a）描述M&S工具鏈版本中的修改；

（d）在整個仿真測試使用期間得到支持。

2.1 發(fā)布管理

建議存儲用于發(fā)布認(rèn)證數(shù)據(jù)的任何M&S工具鏈版本。構(gòu)成測試工具的模型應(yīng)根據(jù)相應(yīng)的驗證方法和接受閾值進(jìn)行記錄，以支持工具鏈的整體置信度。開發(fā)人員應(yīng)建立并強制執(zhí)行一種方法，將生成的數(shù)據(jù)跟蹤到相應(yīng)的工具鏈版本。

虛擬數(shù)據(jù)的質(zhì)量檢查。在工具或工具鏈的整個發(fā)布和生命周期中確保數(shù)據(jù)的完整性、準(zhǔn)確性和一致性，以支持驗證和驗證程序。

2.2 團(tuán)隊的經(jīng)驗和專業(yè)知識。

盡管組織內(nèi)成員普遍具備智駕相關(guān)的經(jīng)驗和專業(yè)知識E&E（Experience and Expertise），但建立從業(yè)人員對M&S活動的特定經(jīng)驗和專業(yè)知識對信心基礎(chǔ)非常重要。

M&S的置信度不僅取決于模型的質(zhì)量，還取決于參與M&S驗證和使用的人員的經(jīng)驗和專業(yè)知識E&E。例如，正確理解M&S限制和驗證領(lǐng)域?qū)⒎乐箍赡艿腗&S誤用或?qū)ζ浣Y(jié)果的誤解。

重要的是建立ADS制造商對以下經(jīng)驗和專業(yè)知識的信心基礎(chǔ)：

（a）評估和驗證M&S工具鏈的團(tuán)隊；

（b）使用經(jīng)過驗證的模型來執(zhí)行仿真測試以驗證ADS的團(tuán)隊。

因此，如果團(tuán)隊的E&E表現(xiàn)良好，通過確保考慮到支撐M&S活動的人為因素，并通過其管理系統(tǒng)控制活動的人為方面的風(fēng)險，可以提高信心水平，從而提高M(jìn)&S及其結(jié)果的置信度。

如果ADS制造商的工具鏈包含或依賴于制造商自己團(tuán)隊之外的組織或產(chǎn)品的輸入，ADS制造商需要說明其為管理和培養(yǎng)這些輸入的質(zhì)量和完整性而采取的措施。

團(tuán)隊的經(jīng)驗和專業(yè)知識E&E包括兩個方面：

（a）組織層面：通過建立流程和程序來確定和維護(hù)執(zhí)行M&S活動所需的技能、知識和經(jīng)驗。應(yīng)建立、維護(hù)和記錄以下流程：

（b）團(tuán)隊層面：一旦工具鏈最終確定，其置信度主要取決于首先驗證M&S，然后將其用于驗證ADS的團(tuán)隊的技能和知識。置信度是通過記錄這些團(tuán)隊接受了履行職責(zé)的充分培訓(xùn)來建立的。

ADS制造商應(yīng)：

（a）為驗證M&S工具鏈的個人/團(tuán)隊的經(jīng)驗和專業(yè)知識的信心提供基礎(chǔ)；

（b）為使用模型執(zhí)行仿真測試以驗證ADS的個人/團(tuán)隊的經(jīng)驗和專業(yè)知識的信心提供基礎(chǔ)。

ADS制造商應(yīng)證明其如何應(yīng)用其管理體系的原則，例如ISO9001或類似的最佳實踐或標(biāo)準(zhǔn)，關(guān)于其M&S組織和該組織中的個人的能力以及這一決定的基礎(chǔ)。建議認(rèn)證官不要用自己的判斷代替ADS制造商對組織或其成員的經(jīng)驗和專業(yè)知識的判斷。

2.3 數(shù)據(jù)/輸入譜系

數(shù)據(jù)和輸入的譜系和可追溯性在M&S驗證中非常重要。制造商應(yīng)該有這些記錄，以便認(rèn)證官驗證它們（數(shù)據(jù)/輸入譜系）的質(zhì)量和適當(dāng)性。

（a）用于M&S驗證的數(shù)據(jù)描述：

（b）數(shù)據(jù)質(zhì)量（例如數(shù)據(jù)覆蓋率、信噪比和傳感器的不確定性/偏差/采樣率）對模型參數(shù)不確定性的影響。

用于開發(fā)模型的數(shù)據(jù)質(zhì)量將影響模型參數(shù)的估計和校準(zhǔn)。模型參數(shù)的不確定性將是最終不確定性分析中的另一個重要方面。

2.4 數(shù)據(jù)/輸出譜系

輸出數(shù)據(jù)的譜系很重要，制造商應(yīng)記錄M&S工具鏈的輸出，并確保它可追溯到輸入和產(chǎn)生它的M&S工具鏈。這將成為ADS驗證的證據(jù)線索的一部分。

M&S生成的數(shù)據(jù)描述

（a）ADS制造商應(yīng)提供用于仿真測試工具鏈驗證的任何數(shù)據(jù)和方案的信息；

（b）ADS制造商應(yīng)記錄輸出的數(shù)據(jù)，并注意重要的質(zhì)量特征，例如使用關(guān)聯(lián)方法；

（c）ADS制造商應(yīng)跟蹤M&S輸出與相應(yīng)的M&S設(shè)置的關(guān)聯(lián)信息：

（i）數(shù)據(jù)質(zhì)量對M&S可信度的影響：M&S輸出數(shù)據(jù)應(yīng)足以確保驗證工作的正確執(zhí)行。數(shù)據(jù)應(yīng)充分反映與ADS仿真評估相關(guān)的ODD。輸出數(shù)據(jù)應(yīng)允許對仿真模型進(jìn)行一致性/完整性檢查（通過利用冗余信息）。