Waymo的技術(shù)在公開道路上、封閉測試場、仿真器進(jìn)行了廣泛的測試，所以可以保證自動駕駛系統(tǒng)的每一部分在其ODD內(nèi)都有強(qiáng)大、可靠、安全的處理能力。

Waymo的自動駕駛系統(tǒng)由三個相互獨(dú)立、嚴(yán)格測試的子系統(tǒng)組成：

1）經(jīng)過OEM認(rèn)證的基礎(chǔ)車輛系統(tǒng)；

2）傳感器和計算機(jī)等內(nèi)部硬件系統(tǒng)；

3）做出所有駕駛決策的自動駕駛軟件系統(tǒng)；

這些子系統(tǒng)組合起來構(gòu)成一個完整的自動駕駛系統(tǒng)，然后我們對其進(jìn)行進(jìn)一步的測試和驗(yàn)證。對各個系統(tǒng)的測試和驗(yàn)證可以確保自動駕駛車輛滿足我們對系統(tǒng)設(shè)定的所有安全要求。

3. Testing and Validation Methods

3.1 基礎(chǔ)車輛系統(tǒng)的測試驗(yàn)證

Waymo的當(dāng)前的自動駕駛車輛是2017年克萊斯勒-帕西菲卡混合動力小型貨車的改進(jìn)版，我們將自駕系統(tǒng)集成到其中。菲亞特克萊斯勒汽車公司(簡稱“FCA”)出售給我們的改進(jìn)型2017年克萊斯勒-帕西菲卡混合小型貨車已獲得聯(lián)邦機(jī)動車輛安全標(biāo)準(zhǔn)(FMVSS)認(rèn)證，該標(biāo)準(zhǔn)規(guī)定了美國機(jī)動車輛或機(jī)動車輛設(shè)備的安全性能要求。

3.2 傳感器和硬件系統(tǒng)的測試驗(yàn)證

1）構(gòu)建安全可靠的供應(yīng)鏈系統(tǒng)

Waymo與供應(yīng)商和分銷商共同保證系統(tǒng)組件的性能、安全、質(zhì)量和可靠性。我們將供應(yīng)商提供的系統(tǒng)組件引入到故障模式、影響分析(FMEA)和風(fēng)險評估過程中，并在與其它子系統(tǒng)進(jìn)行集成時，檢測識別其在制造過程、獨(dú)立系統(tǒng)或其它系統(tǒng)集成時的潛在安全風(fēng)險。我們監(jiān)控產(chǎn)品制造過程中各個子部件的表現(xiàn)，并進(jìn)行持續(xù)的可靠性測試，以確保它們在集成到我們的車輛中之前滿足設(shè)計期望和安全要求。

2）Testing At Every Level

我們多層次的安全測試方法受到美國宇航局發(fā)射火星探測器的工程經(jīng)驗(yàn)的影響(火星探測器是在距離地球數(shù)百萬英里的地方運(yùn)行的一種自動駕駛車輛)。

這種方法意味著我們需要對最底層的組件進(jìn)行分析和測試，以確保我們最關(guān)鍵的系統(tǒng)的性能和可靠性。例如，我們的視覺(攝像頭)系統(tǒng)在安裝到車輛系統(tǒng)后，要在實(shí)驗(yàn)室中進(jìn)行100多次單獨(dú)的測試。

首先，我們對組成視覺系統(tǒng)的各個攝像頭、電纜和連接器等部件進(jìn)行檢查，以確保每個部件都符合設(shè)計規(guī)范。當(dāng)相機(jī)完成集成之后，我們再次進(jìn)行測試，將每個攝像頭組裝成一個環(huán)形，將它們校準(zhǔn)后一起工作，檢查每個攝像頭的角度和方向結(jié)合在一起是否能夠構(gòu)成360度全景。

然后進(jìn)行整個相機(jī)系統(tǒng)的測試。組裝好的攝像機(jī)被添加到自動驅(qū)動系統(tǒng)中，由我們的工程師進(jìn)行測試，以確保不同傳感器能夠像一個傳感器一樣協(xié)同工作。

在使用這種新的視覺系統(tǒng)上路之前，我們執(zhí)行諸如在各種照明條件下看到交通信號燈、檢測行人和發(fā)現(xiàn)建筑工地等任務(wù)以確認(rèn)視覺系統(tǒng)正在發(fā)揮作用。所有測試通過之后，視覺系統(tǒng)作為自動駕駛車輛的一部分才被允許上路。

3）硬件系統(tǒng)測試

通過FCA和Waymo之間的技術(shù)合作，我們設(shè)計并在由FCA提供的改進(jìn)型克萊斯勒-帕西菲卡混合小型貨車上集成了Waymo的自動駕駛傳感器和硬件系統(tǒng)。為了確保我們已經(jīng)將自動駕駛系統(tǒng)正確地集成到了克萊斯勒-帕西菲卡混合動力小型貨車中，Waymo對集成的小型貨車在私人測試道路、實(shí)驗(yàn)室以及模擬器上進(jìn)行了數(shù)千次附加測試，用于評估車輛從制動、轉(zhuǎn)向、前照燈和車門物理控制等安全功能。通過這些測試，我們可以確保車輛在手動模式，有測試駕駛員的情況下自動駕駛模式以及在車內(nèi)沒有人的情況下完全自動駕駛模式等所有場景下的安全運(yùn)行。

3.3 自動駕駛軟件系統(tǒng)測試

我們的自動駕駛軟件也是以我們的安全設(shè)計理念為指導(dǎo)，不斷嚴(yán)格地測試軟件的各個組成部分，包括感知、行為預(yù)測和規(guī)劃等。軟件的每一次更改都必須通過模擬測試、封閉道路測試和公共道路駕駛測試。

Simulation Testing

我們確定車輛在公共道路上遇到的最具挑戰(zhàn)性的情況，并將其轉(zhuǎn)換為虛擬場景，以便自動駕駛軟件在仿真器中不斷驗(yàn)證。

Closed-Course Testing

新版自動駕駛軟件首先被推送到幾輛車上，最有經(jīng)驗(yàn)的駕駛員就可以在我們的私人測試道路上進(jìn)行測試。我們可以為不同的車輛使用不同版本的軟件，以便測試新的研發(fā)功能或特定功能。

Real-World Driving

一旦我們確認(rèn)自動駕駛軟件運(yùn)行符合預(yù)期，我們就開始在公共道路上部署新的軟件。首先小范圍測試，自駕車輛必須證明它們能夠安全、始終如一地按預(yù)定路線行駛后，我們將軟件更新推送到整個車隊。隨著自動行駛里程的增加，我們根據(jù)車輛的運(yùn)行反饋持續(xù)的改進(jìn)我們的駕駛方式和軟件系統(tǒng)。

3.4 仿真系統(tǒng)

Waymo的模擬器可以重現(xiàn)我們使用每一個新軟件版本的真實(shí)世界駕駛行為，還可以為我們的軟件構(gòu)建全新的虛擬場景以供測試。每天多達(dá)25000輛虛擬Waymo自動駕駛車輛在仿真器中行駛800萬英里，驗(yàn)證舊技術(shù)改進(jìn)，測試新技術(shù)效果，幫助自動駕駛車輛安全的在現(xiàn)實(shí)世界駕駛。

例如在亞利桑那州梅薩市的南隆摩街和南部西大街的拐角處，有一個黃色的閃爍箭頭表示左轉(zhuǎn)，這種類型的交叉口對人類和自動駕駛車輛來說都很棘手，駕駛員必須進(jìn)入五車道交叉口，然后在迎面而來的車輛中找到一個間隙，過早的左轉(zhuǎn)可能會對迎面而來的車輛造成危險，過晚的左轉(zhuǎn)可能會使后面的駕駛員感到不滿。仿真模擬讓我們把這樣的一次真實(shí)世界的遭遇變成成千上萬的練習(xí)和掌握技能的機(jī)會。


Waymo engineers build virtual scenarios that allow our self-driving vehicles to drive up to 8 million simulated miles each day.


Our self-driving vehicle encounters a flashing yellow left turn arrow in Mesa, Arizona.

How Simulation Works

Step 1：Start with a Highly-Detailed Vision of the World

我們構(gòu)建了一套包含車道、路緣、交通燈、交叉路口等在內(nèi)的虛擬副本，在仿真中，我們可以將注意力集中在最具挑戰(zhàn)性的場景上，如黃色信號燈閃爍、逆行的車輛司機(jī)或快速騎行的自行車手，而不僅僅是單調(diào)的累積公路里程。


We can recreate a highly-detailed, realistic virtual version of the East Valley.

Step 2: Drive, Drive, and Redrive

當(dāng)閃爍的黃色左轉(zhuǎn)在虛擬世界中數(shù)字化后，我們的軟件可以成千上萬次的調(diào)試驗(yàn)證這個場景。每次更新軟件時，我們都可以在不同的駕駛條件下在同一個交叉口測試驗(yàn)證。這就是我們?nèi)绾谓虝覀兊能囕v在黃燈閃爍的情況下自然向前，并插入到迎面而來的車流中。此外，我們可以在已經(jīng)遇到的每一個閃爍的黃色閃爍燈的場景上測試這個新技能，以便更快地升級改進(jìn)我們的軟件系統(tǒng)。


In simulation, we can practice driving the same intersection, in the same driving conditions thousands of times, with different vehicles from our fleet. In this image, we’re simulating driving the intersection with one of our Lexus vehicles.

Step 3: Create Thousands of Variations

接下來，我們可通過一個稱為”fuzzing”的過程來探索閃爍黃燈類似的數(shù)千種不同的變異場景。我們改變迎面駛來的車輛的速度和交通燈的時間，以確保我們的車輛仍然能在交通流中找到安全的間隙；通過增加模擬行人、摩托車分隔車道，甚至慢跑者在街道上之字形穿行等等。所有這些都可以讓場景變得更加復(fù)雜，看看這會如何改變自動駕駛系統(tǒng)的響應(yīng)方式。


through a process called fuzzing, we can alter the speed, trajectory and position of objects on these virtual streets.

Step 4: Validate and Iterate

我們的自動駕駛汽車已經(jīng)學(xué)會了如何自信地在一個閃爍的黃色箭頭路口行駛，這項(xiàng)新技術(shù)就成為我們永久性知識庫的一部分，在整個車隊的所有車輛中共享。然后我們將使用真實(shí)世界的駕駛測試和封閉道路測試來驗(yàn)證是否與仿真場景駕駛行為相符。仿真和真實(shí)的駕駛行為交互迭代驗(yàn)證，一起實(shí)現(xiàn)自動駕駛的目標(biāo)：在現(xiàn)實(shí)世界中，實(shí)現(xiàn)數(shù)十億英里的安全和穩(wěn)定駕駛。


To make a scene more complex, we can add vehicles, pedestrians and cyclists that never existed in the original scene.

3.5 Field Tests at Our Closed-Course Facility

Waymo在加利福尼亞州建立了一個占地91英畝的私人封閉式自動駕駛測試設(shè)施，專門為我們自己獨(dú)特的測試需求而設(shè)計和建造。這座被稱為“Castle”的私人建筑就像一座模擬城市，包括從高速路到郊區(qū)車道再到鐵路交叉口的所有場景。我們的團(tuán)隊在新軟件發(fā)布到我們的車隊之前，使用這些封閉場景的測試設(shè)施來測試驗(yàn)證新軟件。此外，我們利用封閉自動駕駛場地構(gòu)建有挑戰(zhàn)性或者罕見的道路場景，以幫助我們的自動駕駛系統(tǒng)獲取相應(yīng)的駕駛經(jīng)驗(yàn)。在封閉場地中，我們能夠重新創(chuàng)建特定的學(xué)習(xí)和測試場景，并且對其進(jìn)行數(shù)千次“結(jié)構(gòu)化測試”。為了加強(qiáng)仿真測試的效果，我們在”Castle”封閉場地中創(chuàng)建了20000多個模擬場景，每一個是我們想要駕駛場景的再現(xiàn)：一個咄咄逼人的司機(jī)從車道上疾馳而出，或者一個行人突然從一輛停著的車旁出現(xiàn)，這些場景在公共道路上可能需要數(shù)十萬英里的行駛距離才能遇到一次。此外還有人們從帆布袋或便攜式廁所里跳到路邊，滑板運(yùn)動員躺在滑板上在傳感器前扔紙堆等場景，這種“結(jié)構(gòu)化測試”對于加速我們的技術(shù)進(jìn)步和確保我們的車輛在日常和具有挑戰(zhàn)性的駕駛環(huán)境中的安全至關(guān)重要。

3.6 Behavioral Competencies for Normal Driving

完全自動駕駛車輛必須能夠在ODD內(nèi)處理所有人類駕駛員期望的日常駕駛?cè)蝿?wù)。美國交通部建議3級、4級和5級自動駕駛車輛應(yīng)能夠演示至少具備28項(xiàng)核心能力，Waymo在廣度和深度上擴(kuò)展了28項(xiàng)核心能力，而且我們測試了數(shù)千種復(fù)雜場景變化，確保我們的系統(tǒng)能夠安全的應(yīng)對現(xiàn)實(shí)環(huán)境的挑戰(zhàn)。

對于每個能力，Waymo的團(tuán)隊創(chuàng)建了各種各樣的單獨(dú)測試，在我們的封閉場地中反復(fù)模擬運(yùn)行。例如，為了測試我們進(jìn)行無保護(hù)左轉(zhuǎn)的能力，我們設(shè)計了幾十種真實(shí)情況(包括多車道迎面而來的車輛、大卡車擋住我們的視野、短紅綠燈場景下的轉(zhuǎn)彎等等)，并測試我們的車輛是否做出了適當(dāng)?shù)姆磻?yīng)。

對于每一個場景，我們都使用模擬器來創(chuàng)建相同場景的的數(shù)百種變化。通過我們的虛擬世界測試，我們還可以創(chuàng)建全新的無保護(hù)左轉(zhuǎn)場景，以便進(jìn)一步測試這種技能。隨著我們ODD的擴(kuò)展，核心能力的數(shù)量可能會增加(例如，要在美國北部各州全年駕駛，我們的系統(tǒng)必須具備在雪地中安全駕駛的能力)，并且每個類別中的測試數(shù)量可能會隨著更獨(dú)特或更復(fù)雜的場景而增加。

3.7 Testing the Fully Integrated Self-Driving Vehicle

在分別對基礎(chǔ)車輛系統(tǒng)、自驅(qū)動系統(tǒng)和軟件系統(tǒng)進(jìn)行測試后，需要對集成的完整自動駕駛車輛進(jìn)行測試。這些測試包括封閉式道路避碰測試、可靠性和耐久性測試，以及訓(xùn)練有素的測試駕駛員進(jìn)行實(shí)際道路測試。

Testing on Public Roads

Waymo有一個全面的公路測試流程，這個流程在八年的時間中經(jīng)過了不斷改進(jìn)和完善。這是自動駕駛的一個關(guān)鍵步驟，使我們能夠驗(yàn)證我們已經(jīng)開發(fā)的技能，發(fā)現(xiàn)新的挑戰(zhàn)場景和開發(fā)新的駕駛能力。

實(shí)際公路測試的安全性始于嚴(yán)格培訓(xùn)的司機(jī)，我們的測試駕駛員接受了廣泛的課堂培訓(xùn)，了解整個系統(tǒng)的運(yùn)行流程，以及如何在公路上安全監(jiān)控車輛(包括參加防御性駕駛課程)。經(jīng)過培訓(xùn)后，我們的駕駛員在道路測試時負(fù)責(zé)監(jiān)控系統(tǒng)，并在需要時，接管車輛的控制權(quán)。

我們每周進(jìn)行數(shù)萬英里的開放道路測試，用于評估我們的軟件系統(tǒng)，以確保它們展示出人類司機(jī)的行為能力。真實(shí)世界測試提供了一個連續(xù)的反饋循環(huán)，讓我們不斷地完善我們的系統(tǒng)。這種公共道路測試驗(yàn)證的迭代方法有助于我們安全的擴(kuò)展我們的ODD和技術(shù)能力。

3.8 Real-World Experience

在過去的八年中，Waymo在美國四個州，20多個城市測試了我們的自動駕駛車輛。從亞利桑那州的鳳凰城到華盛頓州的多柯克蘭市累計行駛了350多萬英里。當(dāng)我們擴(kuò)展到新的測試地域時，我們能夠在不同的道路環(huán)境、街景和駕駛習(xí)慣中收集更多的駕駛經(jīng)驗(yàn)。例如，在鳳凰城駕駛使我們能夠在沙漠條件下測試傳感器和軟件，包括極端溫度和空氣中的灰塵；我們學(xué)會了如何處理特殊類型的車輛(比如在道路中間噴灑植物的灑水車，以3英里/小時的速度在45英里/小時的道路上行駛)；在奧斯汀第一次遇到了水平交通信號；在柯克蘭遇到了潮濕天氣的場景。

在每一個新城市，我們都會遇到不習(xí)慣每天看到自動駕駛汽車的人，這也讓我們能夠了解人們對于自動駕駛汽車的看法：比如人們希望如何使用自動駕駛汽車；他們對自動駕駛有什么看法；以及更多的人一起告訴我們?nèi)绾伍_發(fā)和改進(jìn)自駕技術(shù)。

我們的自動駕駛汽車需要在極端寒冷和高溫下可靠、安全地運(yùn)行。高溫給所有現(xiàn)代技術(shù)帶來了挑戰(zhàn)，手機(jī)等日常電子產(chǎn)品在陽光下使用時會過熱并關(guān)閉，然而，我們的自動駕駛系統(tǒng)需要在高溫條件下安全運(yùn)行。我們的汽車配備了一個特殊的冷卻系統(tǒng)，可以讓它們在非常熱(即使發(fā)動機(jī)在滿功率運(yùn)行，系統(tǒng)在滿負(fù)荷運(yùn)行)的溫度下工作。我們的工程師在風(fēng)洞中進(jìn)行了廣泛的測試，幾乎可以模擬任何天氣條件，包括有史以來地球上最熱的溫度。

除了風(fēng)洞測試，我們還在美國三個最熱的地方測試了我們的自動駕駛汽車：拉斯維加斯、戴維斯大壩和死亡谷。位于亞利桑那州和內(nèi)華達(dá)州邊界的戴維斯大壩，有一段陡峭的沙漠公路，允許我們在炎熱的太陽下駕車；拉斯維加斯大道讓我們可以在酷熱繁忙的街道上測試我們的系統(tǒng)；死亡谷擁有地球官方記錄的最高溫度134華氏度的記錄。

在測試過程中，我們會密切監(jiān)控我們的系統(tǒng)，每秒進(jìn)行200多次不同的測量，以確認(rèn)我們的內(nèi)部傳感器套件和計算能夠正常工作。

3.9 Testing Crash Avoidance Capabilities

除了測試核心行為能力外，我們的工程師還跨各種場景進(jìn)行碰撞避免測試。Waymo在我們的私人測試道路上完成了數(shù)千次防撞測試，每個單獨(dú)的測試都會重現(xiàn)一個獨(dú)特的駕駛場景，并允許我們分析車輛的響應(yīng)，然后我們使用模擬器進(jìn)一步測試這些場景，并改進(jìn)我們的整體軟件能力。

我們從各種不同的來源學(xué)習(xí)要測試的碰撞，其中包括我們對NHTSA致命車禍數(shù)據(jù)庫，以及利用我們豐富的自駕車輛操作經(jīng)驗(yàn)來擴(kuò)展NHTSA的37個車禍前場景。我們還測試了其他道路使用者造成潛在危險情況的情況，例如車輛突然從車道上駛出，大型車輛橫穿目標(biāo)車道，摩托車穿越交通，行人亂穿馬路。

2015年，國家公路交通安全管理局公布了最常見車禍前情景分布的數(shù)據(jù)。例如，其中四類車禍占了總車禍場景的84%：追尾事故(rear end crashes)、在交叉口轉(zhuǎn)彎或者交叉行駛(vehicles turning or crossing at an intersection)、在道路邊緣行駛的車輛(vehicles running off the edge of the road)以及變換車道的車輛(vehicles changing lanes)。因此，避免或減輕這些類型的事故是我們測試的一個重要目標(biāo)。

3.10 Hardware Reliability and Durability Testing

自動駕駛車輛和傳統(tǒng)車輛一樣，必須可靠運(yùn)行，這意味著車輛及其每個單獨(dú)部件必須在極端環(huán)境條件下和車輛的整個使用壽命內(nèi)正常工作。

Waymo工程師利用對物理故障的了解設(shè)計了獨(dú)特的壓力測試，加速了對我們的車輛及其各個部件的環(huán)境測試，我們將多年的實(shí)際使用壓縮為幾天和幾周的測試。比如我們用紫外線照射我們的部件，用強(qiáng)大的噴水器轟擊它們，把它們浸入幾乎凍結(jié)的水缸中，在充滿鹽霧的房間中腐蝕它們，用強(qiáng)大的震動震動它們，然后在特定溫度和濕度下加熱和冷凍它們數(shù)周。我們分析任何測試中發(fā)生的故障并進(jìn)行設(shè)計改進(jìn)，以提高組件的可靠性。我們監(jiān)控每個傳感器和車輛本身的健康狀況，以便在潛在故障發(fā)生之前識別和修復(fù)它們。