處理多層神經(jīng)網(wǎng)絡(luò)的技術(shù)趨勢(shì)

視覺感知的技術(shù)突破，進(jìn)一步推動(dòng)了其他傳感器（比如激光雷達(dá)和毫米波雷達(dá)）的感知算法以及多傳感器融合算法的進(jìn)步。另一方面，深度學(xué)習(xí)中的強(qiáng)化學(xué)習(xí)算法也在決策系統(tǒng)中起到了非常重要的作用。

對(duì)于深度學(xué)習(xí)算法來說，除了算法本身的能力以外，高質(zhì)量，大規(guī)模的訓(xùn)練數(shù)據(jù)也是算法取得成功的關(guān)鍵因素。因此，如何高效地采集和標(biāo)注數(shù)據(jù)對(duì)于每一家自動(dòng)駕駛公司來說都是非?，F(xiàn)實(shí)的課題。

在數(shù)據(jù)采集方面，面向量產(chǎn)的公司有著先天的優(yōu)勢(shì)。路面上行駛的數(shù)十萬(wàn)，甚至上百萬(wàn)的車輛，每一輛都可以源源不斷地提供豐富的路況數(shù)據(jù)，加在一起就是一個(gè)海量的自動(dòng)駕駛數(shù)據(jù)庫(kù)。

相比之下，面向 L4 級(jí)別的公司只能依靠有限的測(cè)試車輛來采集數(shù)據(jù)。目前路測(cè)規(guī)模最大的 Waymo 也只有幾百輛測(cè)試車，數(shù)據(jù)采集的規(guī)模自然不可同日而語(yǔ)。

有了海量數(shù)據(jù)是不是問題就解決了呢？

顯然沒有那么簡(jiǎn)單。

雖然說深度神經(jīng)網(wǎng)絡(luò)依賴于大數(shù)據(jù)，但是不同網(wǎng)絡(luò)結(jié)構(gòu)學(xué)習(xí)海量數(shù)據(jù)的能力還是有很大差別的。最早出現(xiàn)的多層感知機(jī)結(jié)構(gòu)網(wǎng)絡(luò)只有幾層，只需要很少的數(shù)據(jù)就可以使網(wǎng)絡(luò)的學(xué)習(xí)能力達(dá)到飽和。

近些年來提出的卷積神經(jīng)網(wǎng)絡(luò)（CNN），深度從十幾層增加到上百層，甚至上千層，這時(shí)就需要大規(guī)模的訓(xùn)練數(shù)據(jù)來保證網(wǎng)絡(luò)訓(xùn)練的質(zhì)量。

但是簡(jiǎn)單的堆積層數(shù)也是行不通的，這時(shí)深度學(xué)習(xí)領(lǐng)域一個(gè)非常關(guān)鍵的技術(shù) ResNet（深度殘差網(wǎng)絡(luò)）出現(xiàn)了，它提出通過增加額外的連接，使得信息可以從淺層直接傳輸?shù)缴顚?，減少信息在網(wǎng)絡(luò)層之間傳輸時(shí)的損失。通過這個(gè)技術(shù)，卷積神經(jīng)網(wǎng)絡(luò)才能擁有更深的結(jié)構(gòu)，從而更好地利用大規(guī)模數(shù)據(jù)。

雖然有了 ResNet 技術(shù)，深度卷積神經(jīng)網(wǎng)絡(luò)在數(shù)據(jù)規(guī)模增加到一定程度之后，其性能的提升也變得非常有限，也就是說存在飽和的趨勢(shì)，這說明神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)能力還是存在著一定的瓶頸。

大約從 2017 年開始，一種新型的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)開始引起研究人員的廣泛關(guān)注，那就是大名鼎鼎的基于注意力機(jī)制的 Transformer 網(wǎng)絡(luò)。

Transformer 首先被應(yīng)用在自然語(yǔ)言處理領(lǐng)域（NLP），用來處理序列文本數(shù)據(jù)。

谷歌團(tuán)隊(duì)提出的用于生成詞向量的 BERT 算法在 NLP 的 11 項(xiàng)任務(wù)中均取得了大幅的效果提升，而 BERT 算法中最重要的部分便是 Transformer。

在自然語(yǔ)言處理領(lǐng)域取得廣泛應(yīng)用后，Transformer 也被成功移植到了很多視覺任務(wù)上，比如「圖像分類，物體檢測(cè)」等，并同樣取得了不錯(cuò)的效果。Transformer 在海量數(shù)據(jù)上可以獲得更大的性能提升，也就是說學(xué)習(xí)能力的飽和區(qū)間更大。

有研究表明，當(dāng)訓(xùn)練數(shù)據(jù)集增大到包含 1 億張圖像時(shí)，Transformer 的性能開始超過 CNN。而當(dāng)圖像數(shù)量增加到 10 億張時(shí)，兩者的性能差距變得更大。

上面是 ResNet（CNN）和 ViT（Transformer）在不同大小訓(xùn)練集上達(dá)到的圖像分類正確率。數(shù)據(jù)量為 1000 萬(wàn)時(shí)，Transformer 的正確率遠(yuǎn)低于 CNN，但是當(dāng)數(shù)據(jù)量增加到 1 億時(shí)，Transformer 就開始超過 CNN。

此外，CNN 網(wǎng)絡(luò)在數(shù)據(jù)量超過 1 億以后呈現(xiàn)飽和趨勢(shì)，而 Transformer 的準(zhǔn)確率還在繼續(xù)增加。

簡(jiǎn)單理解就是，Transformer 在海量數(shù)據(jù)的處理能力上具有巨大冗余優(yōu)勢(shì)。

正是因?yàn)榭吹搅诉@一點(diǎn)，面向量產(chǎn)的自動(dòng)駕駛公司在擁有數(shù)據(jù)收集優(yōu)勢(shì)的情況下，自然就會(huì)傾向于選擇 Transformer 作為其感知算法的主體。

2021 年夏天，特斯拉的自動(dòng)駕駛技術(shù)負(fù)責(zé)人 Andrej Karpathy 博士在 AI Day 上，公開了 FSD 自動(dòng)駕駛系統(tǒng)中采用的算法，而 Transformer 則是其中最核心的模塊之一。在國(guó)內(nèi)方面，毫末智行也同樣提出將 Transformer 神經(jīng)網(wǎng)絡(luò)與海量數(shù)據(jù)進(jìn)行有效的融合。

在 2021 年底，毫末智行 CEO 顧維灝在毫末 AI Day 上介紹了 MANA（雪湖）數(shù)據(jù)智能體系。除了視覺數(shù)據(jù)以外，MANA 系統(tǒng)還包含了激光雷達(dá)數(shù)據(jù)。

并基于 Transformer 神經(jīng)網(wǎng)絡(luò)模型來進(jìn)行空間、時(shí)間、傳感器三個(gè)維度的融合，從而去提升感知算法的準(zhǔn)確率。

了解了目前自動(dòng)駕駛技術(shù)發(fā)展的趨勢(shì)以后，文章接下來的部分會(huì)首先簡(jiǎn)單介紹一下 Transformer 的設(shè)計(jì)動(dòng)機(jī)和工作機(jī)制，然后詳細(xì)解讀特斯拉和毫末智行的技術(shù)方案。