2022年5月6日arXiv上傳論文“Zhuyi: Perception Processing Rate Estimation for Safety in Autonomous Vehicles“，是哈佛大學(xué)學(xué)生在英偉達(dá)公司的實(shí)習(xí)工作。

在復(fù)雜場(chǎng)景中，自動(dòng)駕駛車（AVs）對(duì)高精度感知的處理要求可能超過(guò)車載計(jì)算機(jī)提供的資源，從而降低安全性和舒適性。本文提出一種傳感器幀處理率（FPR）估計(jì)模型Zhuyi（中文意思“主意”？），在駕駛場(chǎng)景中該模型可以連續(xù)量化最小安全FPR。

Zhuyi可以在部署后作為在線安全檢查和對(duì)工作排列優(yōu)先。行業(yè)SOA多攝像頭AV系統(tǒng)的實(shí)驗(yàn)表明，Zhuyi估計(jì)的FPR是保守的，但與測(cè)試場(chǎng)景中默認(rèn)的30-FPR系統(tǒng)相比，該系統(tǒng)只需處理相比36%或更少的幀，從而保持安全性。

僅在12攝像頭系統(tǒng)上實(shí)現(xiàn)高質(zhì)量感知處理能力，就可能超過(guò)最先進(jìn)的SoC提供的資源。如圖顯示SOA模型運(yùn)行感知任務(wù)的吞吐量需求，以及單個(gè)NVIDIA DRIVE AGX Xavier和NVIDIA Jetson AGX Orin SoCs提供的吞吐量。

假設(shè)在12臺(tái)攝像頭1200x1200圖像幀運(yùn)行SSD- Large目標(biāo)檢測(cè)模型，可估計(jì)每秒Tera操作數(shù)（TOPS）（運(yùn)行所需來(lái)自MLPerf）。由于精確感知還需要運(yùn)行其他視覺(jué)模型（例如，車道線檢測(cè)、自由空間感知、遮擋檢測(cè)），假設(shè)這些模型可以重用提取特征，那么TOPS需求會(huì)增加20%?？紤]到激光雷達(dá)、雷達(dá)以及定位和規(guī)劃算法，計(jì)算需求可能會(huì)更高。更高輸入分辨率的感知算法可能需要數(shù)倍計(jì)算量。

此外，要做的工作可能會(huì)根據(jù)場(chǎng)景增加。例如，最近的一項(xiàng)研究表明，AV周圍障礙物較高的密度會(huì)間歇性地增加計(jì)算需求。由于實(shí)時(shí)AV系統(tǒng)產(chǎn)生的計(jì)算需求可能非常高，因此為安全操作必須量化感知需求，車內(nèi)計(jì)算機(jī)要提供固定資源以確定重要任務(wù)的優(yōu)先級(jí)，并將剩余資源用于進(jìn)一步提高安全性和舒適性的任務(wù)。

Zhuyi用于量化多攝像頭設(shè)置下可容忍的攝像頭處理延遲，以確保安全操作。安全操作或安全，定義為自車與周圍參與者之間沒(méi)有碰撞。基于自車和周圍參與者的當(dāng)前和未來(lái)狀態(tài)，用一個(gè)考慮碰撞可能性的運(yùn)動(dòng)學(xué)模型來(lái)量化安全駕駛的最大容許延遲。

最大容許延遲的倒數(shù)，是攝像機(jī)傳感器的最小幀處理速率或FPR要求。因此，與典型AV系統(tǒng)中的固定傳感器設(shè)置（例如，攝像頭30 FPR）不同，AV系統(tǒng)可以分配硬件資源來(lái)處理安全-緊要感知任務(wù)，避免做出不及時(shí)的決定或增加系統(tǒng)反應(yīng)時(shí)間。

例如，當(dāng)沒(méi)有足夠的資源來(lái)處理來(lái)自更重要傳感器的數(shù)據(jù)時(shí)，對(duì)于不太重要的攝像頭，主要感知/跟蹤不重要障礙物，其處理速度可能會(huì)設(shè)置很低，從而優(yōu)化AV系統(tǒng)，實(shí)現(xiàn)舒適性和安全性。當(dāng)硬件系統(tǒng)因操作條件或某些延遲增加而受到限制時(shí)，動(dòng)態(tài)FPR調(diào)整尤為關(guān)鍵。

在AV軟件系統(tǒng)的開(kāi)發(fā)階段，Zhuyi 可以驗(yàn)證不同AV任務(wù)的資源分配是否足夠安全，并用來(lái)設(shè)計(jì)更有效的系統(tǒng)。AV軟件在部署前，針對(duì)不同的ODD對(duì)一組不同的駕駛場(chǎng)景進(jìn)行測(cè)試。對(duì)于每個(gè)駕駛場(chǎng)景，Zhuyi可以為每個(gè)攝像頭提供最大可容忍延遲要求，以避免碰撞。

Zhuyi 也可以作為回歸測(cè)試的一部分。Zhuyi可以利用延遲估計(jì)的分析來(lái)更好地設(shè)計(jì)AV系統(tǒng)。例如，延遲邊界可以加速設(shè)計(jì)空間探索，并幫助架構(gòu)師為不同ODD發(fā)現(xiàn)新的優(yōu)化機(jī)會(huì)。

Zhuyi模型采用基于運(yùn)動(dòng)學(xué)的計(jì)算來(lái)估計(jì)每個(gè)參與者的處理延遲需求，并根據(jù)攝像頭的視野（FOV）聚合所有需求獲得FPR。

如圖顯示自車和其他參與者的在時(shí)刻t0和tn的位置：將世界坐標(biāo)系定義為二維俯視圖，其中