• 多模感知：主要是針對(duì)Camera/LiDAR/Radar海量數(shù)據(jù)流進(jìn)行特征提取，DL網(wǎng)絡(luò)主流趨勢(shì)是卷積CNN或者貝葉斯NN+Transformer的組合架構(gòu)，在統(tǒng)一的特征空間實(shí)現(xiàn)多模感知，特征融合共享以及多任務(wù)來(lái)提升算力的整體效率。

• 融合推理：主要是基于模型與基于數(shù)據(jù)的雙學(xué)習(xí)模式，DL網(wǎng)絡(luò)主流趨勢(shì)是基于目標(biāo)交互GNN或基于統(tǒng)計(jì)模型的貝葉斯RL強(qiáng)化學(xué)習(xí)或On-Policy應(yīng)急學(xué)習(xí)，實(shí)現(xiàn)ADS安全可信的預(yù)測(cè)規(guī)劃與控制。

ADS2.0算法演進(jìn)與對(duì)算力的新需求，可以總結(jié)為：

• 演進(jìn)趨勢(shì)1：感知定位預(yù)測(cè)決策控制模塊化處理流程中， 從決策層后融合走向感知層前融合，算法能夠在統(tǒng)一空間支持多模融合，多任務(wù)共享；

• 演進(jìn)趨勢(shì)2：預(yù)測(cè)與規(guī)劃聯(lián)合建模，從可獲得的Off-policy數(shù)據(jù)進(jìn)行學(xué)習(xí)，能夠自學(xué)習(xí)處理不確定性下的安全性問(wèn)題，解決可解釋問(wèn)題，持續(xù)學(xué)習(xí)解決新場(chǎng)景問(wèn)題；

• 算力新需求：從compute-bound(矩陣-矩陣乘)走向memory-bound(矩陣-矢量乘)，從偏計(jì)算走向偏存取。

當(dāng)前市場(chǎng)上主流算力NPU芯片，都存在幾個(gè)共性問(wèn)題，一是算法效率低，多數(shù)只針對(duì)CNN(例如3x3卷積)優(yōu)化；二是內(nèi)存墻問(wèn)題：處理單元PE存算分離，數(shù)據(jù)共享難；三是能耗墻問(wèn)題：數(shù)據(jù)重復(fù)搬移，耗能增加>30-70%。所以，當(dāng)前針對(duì)某些特定算法的芯片，無(wú)法解決未來(lái)ADS 2.0的需求。

從工程實(shí)踐上看，ADS 2.0算法需通過(guò)“硬件預(yù)埋，算法迭代，算力均衡” ，提供一個(gè)向前兼容的解決方案，以通用大算力（CPU的5-10倍性能提升，NPU的100-500倍性能提升）來(lái)解決未來(lái)不確定性的算法演進(jìn)：

• 底層架構(gòu)的演進(jìn)：從存算分離過(guò)渡到近內(nèi)存計(jì)算，最終走向內(nèi)存計(jì)算；

• 數(shù)據(jù)通道與模型：高速數(shù)據(jù)接口；數(shù)據(jù)壓縮+模型壓縮+低精度逼近計(jì)算+稀疏計(jì)算加速；

• 并行的頂層架構(gòu)：模型-硬件聯(lián)合設(shè)計(jì)，以及硬設(shè)計(jì)可配置+硬件調(diào)度+軟運(yùn)行可編程調(diào)度引擎。

未來(lái)，自動(dòng)駕駛算法不會(huì)止步于ADS 2.0，而能夠真正支持人類自動(dòng)駕駛夢(mèng)想的算法ADS 3.0趨勢(shì)，我們估計(jì)會(huì)采用一個(gè)DNN網(wǎng)絡(luò)來(lái)進(jìn)行端到端學(xué)習(xí)。設(shè)想一下，有足夠的專家駕駛數(shù)據(jù)用來(lái)做模仿學(xué)習(xí)或采用RL自學(xué)習(xí)模式，可以有效降低數(shù)據(jù)標(biāo)注的信息瓶頸與嚴(yán)重依賴，從而能夠從多模多樣化數(shù)據(jù)層面進(jìn)行非直接的推理或者博弈類的對(duì)抗學(xué)習(xí)。ADS 3.0目前來(lái)看模型的可信與可解釋程度依然遠(yuǎn)低于預(yù)期。ADS系統(tǒng)的總體演進(jìn)趨勢(shì)，可以總結(jié)為：

• 場(chǎng)景演進(jìn)：負(fù)載多樣性

? 從數(shù)量有限的攝像頭設(shè)置走向 Camera + LiDAR + Radar 多模態(tài)組合。

• 趨勢(shì)演進(jìn)：算法多樣性

? 從CNN+Rule-based方案走向CNN, RNN, Transformer, GNN,  Bayesian, Deep Reinforcement Learning, Dynamic DNN, NAS Generated DNN, Variably Quantized DNN多算法組合。    

大算力時(shí)代，ADS系統(tǒng)首先是模仿人類的駕駛行為，通過(guò)注意力機(jī)制，期望在感知定位預(yù)測(cè)規(guī)劃控制領(lǐng)域提供遠(yuǎn)超人類的決策能力。這需要我們?cè)贏I的三要素（算法、算力、數(shù)據(jù)）基礎(chǔ)上添加第四要素，知識(shí)或者常識(shí)。

而上述要素，均需要在充分理解算法的快速迭代的大趨勢(shì)下，擁有充足的超大通用算力，ADS系統(tǒng)在離線模仿學(xué)習(xí)人類駕駛先驗(yàn)知識(shí)經(jīng)驗(yàn)與規(guī)則的基礎(chǔ)上，能夠提供在線自主學(xué)習(xí)能力，通過(guò)自學(xué)習(xí)激勵(lì)與博弈共贏策略應(yīng)對(duì)眾多不確定性的人機(jī)交互的復(fù)雜環(huán)境，能夠?qū)Q策不充分的場(chǎng)景下做到安全應(yīng)對(duì)和提供可信解釋能力。此外，大算力芯片也需要能夠通過(guò)額外的算力，對(duì)芯片內(nèi)百萬(wàn)級(jí)的并行計(jì)算單元提供故障檢測(cè)與安全規(guī)避能力，對(duì)大量多模傳感器的部分或者完全失效進(jìn)行有效檢測(cè)與應(yīng)對(duì)決策處理，對(duì)駕駛環(huán)境針對(duì)傳感器的主動(dòng)攻擊與外界目標(biāo)非主動(dòng)干擾進(jìn)行有效檢測(cè)與實(shí)時(shí)決策處理。

作者Dr. Luo，東南大學(xué)工學(xué)博士，英國(guó)布里斯托大學(xué)博士后，是復(fù)睿微電子英國(guó)研發(fā)中心GRUK首席AI科學(xué)家，常駐英國(guó)劍橋。Dr. Luo長(zhǎng)期從事科學(xué)研究和機(jī)器視覺(jué)先進(jìn)產(chǎn)品開(kāi)發(fā)，曾在某500強(qiáng)ICT企業(yè)擔(dān)任機(jī)器視覺(jué)首席科學(xué)家。