日本无码免费高清在线|成人日本在线观看高清|A级片免费视频操逼欧美|全裸美女搞黄色大片网站|免费成人a片视频|久久无码福利成人激情久久|国产视频一二国产在线v|av女主播在线观看|五月激情影音先锋|亚洲一区天堂av

  • 手機(jī)站
  • 小程序

    汽車測試網(wǎng)

  • 公眾號(hào)

    • 汽車測試網(wǎng)

    • 在線課堂

    • 電車測試

自動(dòng)駕駛中方向盤控制的方法

2020-06-30 23:43:41·  來源：清研車聯(lián)  
　
今天來源|清研車聯(lián)知圈 |進(jìn)高精度地圖社群，請加微信15221054164，備注地圖如何實(shí)現(xiàn)自動(dòng)駕駛中方向盤的操作，就是方向盤轉(zhuǎn)的方向和角度。在自動(dòng)駕駛中需要深度學(xué)
如何實(shí)現(xiàn)自動(dòng)駕駛中方向盤的操作，就是方向盤轉(zhuǎn)的方向和角度。

在自動(dòng)駕駛中需要深度學(xué)習(xí)根據(jù)自動(dòng)駕駛車上的車載攝像頭可以捕捉到畫面，如下圖：

 
來判斷方向盤轉(zhuǎn)動(dòng)角度和方向。如何判斷深度學(xué)習(xí)訓(xùn)練出來的模型控制方向盤轉(zhuǎn)動(dòng)的方向和角度好不好，可以用通過一個(gè)圖片自動(dòng)預(yù)測出來的方向盤的轉(zhuǎn)動(dòng)方向和角度與真實(shí)人控制方向盤轉(zhuǎn)動(dòng)的方向和角度一致，

 
他們轉(zhuǎn)動(dòng)方向盤的方向和角度幾乎是一樣的，那么神經(jīng)網(wǎng)絡(luò)就模仿到了人在在不同開車場景下如何轉(zhuǎn)動(dòng)方向盤的。

深度學(xué)習(xí)控制方向盤的方向和角度有如下幾個(gè)難點(diǎn)：

·  準(zhǔn)確性，方向盤的控制一定要準(zhǔn)確，深度學(xué)習(xí)一旦對方向盤轉(zhuǎn)向判斷錯(cuò)誤，或者控制方向盤產(chǎn)生偏差，就有可能傷害到周圍的行人。

·  實(shí)時(shí)性，因?yàn)檐囋诟咚傩旭偅砸笏惴ǖ乃俣炔荒芴?br type="_moz" />
·  應(yīng)對不同天氣情況/天線/白天/夜晚。

在沒有深度學(xué)習(xí)前，傳統(tǒng)的解決方案是：

 
第一步，對一個(gè)給定的圖片，先轉(zhuǎn)為黑白圖像

 
第二步：用高斯低通濾波器把圖像處理的更加平滑，把不需要的噪點(diǎn)剔除

 
第三步：邊緣檢測，用sobel，canny等方法。

 
第四步：邊檢檢測的二值化

 
因?yàn)檫吘墮z測的輸出的圖像是二維矩陣，每個(gè)值是浮點(diǎn)數(shù)，二值化之后矩陣的值就是0和1了。

第五步：切割出重點(diǎn)區(qū)域

 
汽車在正常行駛的過程中，在第四步處理后的圖片中有些線（如山的邊緣線）是不重要的，我們只關(guān)心的是車道線的區(qū)域（如上圖），所以用切割的方式把車道線的區(qū)域給切割出來了。

第六步：霍夫轉(zhuǎn)換（hough transform）直線檢測

 
霍夫線變換是一種用來尋找直線的方法，在用霍夫線變換之前,直接輸入的圖像只能是邊緣二值圖像.所以用它很容易把第六步中的點(diǎn)連接起來尋找出直線。

第八步：根據(jù)道路方向預(yù)測

 
有了兩條線就知道汽車行駛過程中，行車道兩邊的邊界線是什么樣子的，就可以判斷方向盤可以向左還是向右了。

總之根據(jù)輸入圖片，找到方法判斷車道的兩個(gè)邊界線，然后確定汽車轉(zhuǎn)動(dòng)的方向和角度，要確定兩條線的交接處在車的正前方。

論文《End to End Learning for Self-Driving Cars》(arxiv.org/abs/1604.0731 ) 是基于深度學(xué)習(xí)的解決方案：
 
論文中首先收集數(shù)據(jù)，采用的方法是在汽車上加了nvidia drive的設(shè)備，收集車上攝像頭采集的數(shù)據(jù)和人在開車的時(shí)候轉(zhuǎn)動(dòng)方向盤的方向和角度的數(shù)據(jù)，并把它們同時(shí)存儲(chǔ)在硬盤（ssd）中。現(xiàn)在汽車一般都有一個(gè)接口，用來收集人轉(zhuǎn)動(dòng)方向盤和踩剎車，有沒有加油等數(shù)據(jù)。

收集數(shù)據(jù)之后，論文中定義了一個(gè)深度神經(jīng)網(wǎng)絡(luò)，
 
把人轉(zhuǎn)動(dòng)方向盤方向和角度的數(shù)據(jù)和攝像頭捕捉的畫面都輸入到模型中去，然后訓(xùn)練cnn，模型在開始訓(xùn)練出來的方向盤轉(zhuǎn)動(dòng)預(yù)測結(jié)果和人轉(zhuǎn)動(dòng)方向盤的結(jié)果不一致，用誤差（error）方向傳播給cnn（上圖）。
 
訓(xùn)練好網(wǎng)絡(luò)后，用車上中間攝像頭捕捉的畫面輸入給卷積神經(jīng)網(wǎng)絡(luò)，結(jié)果輸出應(yīng)該轉(zhuǎn)動(dòng)的方向和角度，把輸出的值直接傳給汽車，汽車就可以做出相應(yīng)的動(dòng)作了。

 
這個(gè)卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)很簡單，首先輸入高為66，寬為200像素，3個(gè)chanel的彩色圖像，做normalization歸一化處理，經(jīng)過三個(gè)5*5kernel和兩個(gè)3*3的kernel的卷積計(jì)算， 再經(jīng)過全鏈接層的計(jì)算輸出。

論文中實(shí)際測試之前，在模擬器上進(jìn)行了測試

 
它有行車記錄儀記錄的視頻對應(yīng)的每一幀的圖片，在自動(dòng)駕駛中轉(zhuǎn)動(dòng)方向盤產(chǎn)生左轉(zhuǎn)右轉(zhuǎn)之后，它讓圖片做了shift和rotate，也就是讓圖片上下左右偏轉(zhuǎn)生成一張新的圖片，再用卷積神經(jīng)網(wǎng)絡(luò)（cnn），判斷在這張圖片下，應(yīng)該如何轉(zhuǎn)動(dòng)方向盤，因?yàn)閏nn判斷的轉(zhuǎn)動(dòng)方向盤的角度讓汽車前進(jìn)又出現(xiàn)一張新的圖片（上圖中視頻的輸出圖片），用這張圖片做shift和rotate（平移和旋轉(zhuǎn)），再得到一張新的圖片，在輸入給cnn。

論文作者還做了一個(gè)界面來觀察汽車行駛（下圖），幫助判斷無人駕駛的安全度。
 
自動(dòng)駕駛中方向盤控制的方法

比較有趣的是把卷積神經(jīng)系統(tǒng)的feature map，把卷積計(jì)算的數(shù)值當(dāng)成當(dāng)成圖像的方式可視化，

 
可以看到如果輸入的（上圖）圖片中有汽車行駛的道路，論文中的卷積神經(jīng)網(wǎng)絡(luò)第一卷積層通過激活函數(shù)輸出的值（feature map），上圖下左一的圖中通過激活函數(shù)計(jì)算后值比較大，接近1的點(diǎn)，恰好是道路邊界的地方。就是說訓(xùn)練這套神經(jīng)網(wǎng)絡(luò)自己找到了轉(zhuǎn)動(dòng)方向的邊界的值就是對應(yīng)真實(shí)道路的邊界。

 
輸入雜亂無章，沒有道路的圖片，論文中訓(xùn)練的神經(jīng)網(wǎng)路系統(tǒng)第一層經(jīng)過激活函數(shù)輸出的二維矩陣的值沒有明顯的特征，像噪聲一樣，這表示深度學(xué)習(xí)的神經(jīng)網(wǎng)絡(luò)不知道如何通過該圖像顯示的場景，不知道轉(zhuǎn)動(dòng)多少方向盤的方向和角度。

論文作者還上路測試了，開了20分鐘從新澤西州的holmdel到atlantic highlands，他們判斷自動(dòng)駕駛有效性的方法是如果自動(dòng)駕駛跑偏了，人會(huì)干預(yù)糾正方向。通過公式1減去（每次人為interventions干預(yù)，假設(shè)耗時(shí)6秒鐘），干預(yù)次數(shù)和6秒相乘除以總行駛時(shí)間，他們的結(jié)果再乘以100。
 
這個(gè)最后結(jié)果的值越高越好。

假設(shè)行車了600秒，中間人為干預(yù)了10次（interventions），值就是90%。（如下圖）

 
論文作者宣稱在holmdel到atlantic highlands的行駛時(shí)間中，可以做到98%的自動(dòng)行駛時(shí)間，也就是人為干預(yù)總時(shí)間只有總時(shí)間的2%，值還是比較有效的。

其實(shí)在真實(shí)世界中，深度學(xué)習(xí)如果在某種情況下處理不好，我們又很難知道為什么或者怎么去調(diào)整神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)和權(quán)重，現(xiàn)階段對與神經(jīng)網(wǎng)絡(luò)的微調(diào)還是很有難度的，傳統(tǒng)的方式雖然步驟很多很繁瑣，還有很多圖像的技巧在里面，但是好處就是遇到處理不好地方可以加特別的處理，達(dá)到好的處理效果。所以可以在實(shí)際情況中可以把它們結(jié)合在一起，利用投票的方式，在不同的場景下采用不同的解決方案。
 
 
分享到：
 
反對 0 舉報(bào) 0 收藏 0 評(píng)論 0
滬ICP備11026917號(hào)-25