（* 作者：ZET BINYAMINI，F(xiàn)ORETELLIX首席執(zhí)行官兼聯(lián)合創(chuàng)始人直到最近，F(xiàn)oretellix首席執(zhí)行官兼聯(lián)合創(chuàng)始人Ziv Binyamini還是Cadence的公司副總裁，負(fù)責(zé)模擬和驗(yàn)證業(yè)務(wù)。在Cadence，Verisity和Intel的職業(yè)生涯中，Ziv領(lǐng)導(dǎo)了驗(yàn)證解決方案的開發(fā)，包括芯片仿真和驗(yàn)證IP。他的行業(yè)領(lǐng)先，覆蓋范圍驅(qū)動(dòng)的驗(yàn)證解決方案和測(cè)試臺(tái)產(chǎn)品包括Specman（用于芯片驗(yàn)證）和Perspec（用于SoC硬件/軟件驗(yàn)證）。）2020年3月18日撰

在我職業(yè)生涯的早期，我在Intel的一個(gè)非常有趣的項(xiàng)目中工作，該項(xiàng)目組設(shè)計(jì)了Pentium-pro微處理器。當(dāng)時(shí)，這是英特爾嘗試過(guò)的最復(fù)雜的設(shè)計(jì)，而且很可能在其他任何地方都是。為了確保這種復(fù)雜的“怪獸”質(zhì)量，我們必須開發(fā)一種新的方法并確保正確。選擇衡量執(zhí)行的程序數(shù)量或錯(cuò)誤率本來(lái)可以使得衡量變得“容易”，但意義不大。取而代之的是，我們提出了新穎而有意義的指標(biāo)，用于衡量測(cè)試的功能和事件的復(fù)雜交互。

上周，加州汽車部門發(fā)布了2019年的"脫離報(bào)告"（Disengagement Report)，其中包含該州駕駛自動(dòng)駕駛汽車的公司所報(bào)告的信息。

自動(dòng)駕駛汽車行業(yè)正在努力尋求有效指標(biāo)來(lái)安全部署AV。AV行業(yè)可用的“最簡(jiǎn)單”指標(biāo)是AV行駛的里程數(shù)和“脫離”的次數(shù)。但是，這些指標(biāo)雖然“易于”衡量，但不足以衡量AV安全性。

加州"脫離報(bào)告"

汽車行業(yè)的思想領(lǐng)袖和管理人員越來(lái)越多地分享了他們對(duì)行駛里程和脫離接合作為安全部署自動(dòng)駕駛汽車的指標(biāo)的有效性的擔(dān)憂，并且一些人已經(jīng)開始提出替代指標(biāo)。

Cruise的Kyle Vogt在題為“脫離神話”的文章中寫道，通常不清楚脫離是否反映了真正的安全問題或更多AV開發(fā)商的脫離政策。他斷言，僅每英里的脫離數(shù)量并不能反映出車輛完全可以自動(dòng)駕駛。

Voyage 的奧利弗·卡梅倫（Oliver Cameron）談到缺乏 “脫離”的標(biāo)準(zhǔn)，并提出了替代的“駕駛員準(zhǔn)備分?jǐn)?shù)”，作為公司公開分享其進(jìn)步的一種新方法。該建議分?jǐn)?shù)包括模擬中通過(guò)的場(chǎng)景的百分比。

奧羅拉（Aurora）的克里斯·烏爾姆森（Chris Urmson）在最近的一篇文章中問道：“如果我們?cè)跊]有其他車輛或人員，交叉路口很少的平坦干燥地區(qū)行駛1億英里，那么我們的“脫離率”真的可以與在一個(gè)高速公路上行駛100英里相提并論。像匹茲堡這樣繁忙而又復(fù)雜的城市？”厄姆森指出，僅測(cè)量行駛的里程數(shù)可能是進(jìn)度的欺騙性指示。

我會(huì)更直率地說(shuō)：這些英里中有許多是“啞英里”，即對(duì)測(cè)試沒有任何新影響的英里。例如，其中有多少只在空曠的高速公路上行駛？AV從右側(cè)切入了幾次？AV在小雨中是否遇到過(guò)彎彎的高速公路？

那么，AV行業(yè)可以使用哪些有效指標(biāo)？

需要有效的指標(biāo)來(lái)跟蹤我們離實(shí)現(xiàn)安全目標(biāo)有多近，以及我們應(yīng)該集中精力進(jìn)行哪些工作。指標(biāo)應(yīng)以客觀，可量化的方式回答：我們是否知道測(cè)試過(guò)程中遇到了哪些方案和參數(shù)？是否滿足安全要求？是否滿足關(guān)鍵績(jī)效指標(biāo)（KPI）？使用最新版本的軟件而不使用較早的無(wú)關(guān)版本行駛了多少英里？

“脫離”和行駛里程雖然顯示出總體進(jìn)展，但不足以證明安全目標(biāo)。要填補(bǔ)這些空白，必須深入了解英里數(shù)-確保我們成功地執(zhí)行了對(duì)AV安全至關(guān)重要的方案，并提供了必要的指標(biāo)來(lái)證明這一點(diǎn)。



我們?cè)撛趺醋觯?br />
用于創(chuàng)建和跟蹤有效的AV安全度量的另一種方法是“覆蓋率驅(qū)動(dòng)驗(yàn)證（CDV）”方法。

CDV起源于半導(dǎo)體行業(yè)，多年來(lái)已被廣泛使用。近年來(lái)，我們對(duì)AV進(jìn)行了安全驗(yàn)證。它提供了一種有條理的方式來(lái)指定方案和實(shí)現(xiàn)實(shí)現(xiàn)安全要求完整性的客觀指標(biāo)所需的混合方案。

在利用我們的方法時(shí)，首先，定義了包括操作設(shè)計(jì)域（ODD）在內(nèi)的高級(jí)要求。根據(jù)要求編寫了風(fēng)險(xiǎn)維度的完整列表。使用風(fēng)險(xiǎn)維度，可以創(chuàng)建全面的驗(yàn)證計(jì)劃。該計(jì)劃包括可量化，可衡量的目標(biāo)，直至參數(shù)級(jí)別，包括覆蓋率指標(biāo)和KPI。下一步是使用場(chǎng)景描述語(yǔ)言來(lái)定義高級(jí)抽象場(chǎng)景及其參數(shù)。抽象方案中的參數(shù)組合會(huì)創(chuàng)建大量要測(cè)試的具體方案。

具體方案在不同的測(cè)試平臺(tái)上運(yùn)行，包括模擬器，在環(huán)硬件，測(cè)試軌道和街道行駛，并產(chǎn)生有意義的度量標(biāo)準(zhǔn)，這些度量標(biāo)準(zhǔn)匯總到全面的覆蓋范圍和KPI報(bào)告中。對(duì)報(bào)告的分析推動(dòng)了驗(yàn)證工作在未覆蓋區(qū)域上進(jìn)行磨練，同時(shí)使用基于約束的嚴(yán)格隨機(jī)測(cè)試生成來(lái)完成覆蓋范圍并探索已知場(chǎng)景之外的區(qū)域，以確保最高級(jí)別的安全性。

定義覆蓋率示例

例如，定義的兩個(gè)風(fēng)險(xiǎn)維度可能是車輛操作和天氣。車輛操縱抽象場(chǎng)景可以是插入場(chǎng)景，定義的覆蓋范圍包括各種參數(shù)，例如EGO的速度，插入開始時(shí)的距離，插入側(cè)。記錄的KPI可以是TTC（碰撞時(shí)間），減速率等。插入場(chǎng)景可以混合用于從晴天，小雨到大雨的天氣場(chǎng)景，以及AV的ODD中定義的任何其他天氣條件。

“脫離報(bào)告”和相關(guān)討論強(qiáng)調(diào)了AV行業(yè)對(duì)有意義的指標(biāo)的需求，這些指標(biāo)必須客觀，可量化并涵蓋AV設(shè)備的安全要求。覆蓋率驅(qū)動(dòng)驗(yàn)證方法提供了一個(gè)清晰的框架和方法來(lái)定義和跟蹤有意義的指標(biāo)。我相信采用這種系統(tǒng)的方法將有助于業(yè)界更快地實(shí)現(xiàn)AV的安全部署。