車道線檢測(cè) + 距離告警 + 轉(zhuǎn)彎曲率半徑計(jì)算。

代碼：https://github.com/MaybeShewill-CV/lanenet-lane-detection


來自模型的車道線預(yù)測(cè)

介紹

自動(dòng)駕駛將在未來十年給旅行帶來革命性的變化。目前，自動(dòng)駕駛應(yīng)用正在進(jìn)行各種應(yīng)用案例的測(cè)試，包括乘用車、機(jī)器人出租車、自動(dòng)商業(yè)送貨卡車、智能叉車和用于農(nóng)業(yè)的自動(dòng)拖拉機(jī)。

自動(dòng)駕駛需要一個(gè)計(jì)算機(jī)視覺感知模塊來理解和導(dǎo)航環(huán)境。感知模塊的作用包括：

•  檢測(cè)車道線

•  檢測(cè)其他物體：車輛、人、環(huán)境中的動(dòng)物

•  跟蹤檢測(cè)到的對(duì)象

•  預(yù)測(cè)他們可能的運(yùn)動(dòng)

一個(gè)好的感知系統(tǒng)應(yīng)該能夠在各種駕駛條件下 —— 白天/晚上，夏天/冬天，雨雪等等，實(shí)時(shí)做到這一點(diǎn)。在這篇博客中，我們著眼于一個(gè)實(shí)時(shí)模型，用于檢測(cè)車道線、其他車輛等，并生成警報(bào)。

訓(xùn)練一個(gè)實(shí)時(shí)的車道線檢測(cè)器

車道檢測(cè)問題通常被定義為語義或?qū)嵗指顔栴}，目標(biāo)是識(shí)別屬于車道類別的像素。

TUSimple是車道檢測(cè)任務(wù)常用的數(shù)據(jù)集。該數(shù)據(jù)集包含3626個(gè)道路場(chǎng)景的標(biāo)注視頻剪輯。每個(gè)剪輯有20幀。這些數(shù)據(jù)是通過安裝在車上的攝像頭捕捉到的。下面分享了一個(gè)示例圖像及其標(biāo)注。


來自TUSimple 數(shù)據(jù)集的示例圖像以及車道線掩碼

在這個(gè)數(shù)據(jù)集上，我們可以訓(xùn)練一個(gè)語義分割模型來分割出屬于lane類的像素。U-Net model非常適合做這個(gè)，因?yàn)樗且粋€(gè)具有實(shí)時(shí)推理速度的輕量級(jí)模型。U-Net是一種帶有跳躍連接的編譯碼器和解碼器模塊的編譯碼器模型。模型架構(gòu)如下所示。


來自U-Net論文的U-Net模型結(jié)構(gòu)

然而，損失函數(shù)需要修改為Dice損失系數(shù)。車道線分割問題是一個(gè)極其不平衡的數(shù)據(jù)問題。圖像中的大多數(shù)像素屬于背景類。Dice Loss基于Sorenson-Dice系數(shù)，其對(duì)false positives和false negatives的重要性相似，這使得它在處理不平衡數(shù)據(jù)問題時(shí)表現(xiàn)得更好。Dice損失試圖匹配groundtruth和預(yù)測(cè)模型中的車道線像素，希望能夠得到一個(gè)清晰的邊界預(yù)測(cè)。

LaneNet模型

這里，我使用了LaneNet模型來生成車道線。LaneNet模型是一種兩階段車道線預(yù)測(cè)器。第一階段是一個(gè)編碼器-解碼器模型，為車道線創(chuàng)建分割掩碼。第二階段是車道先定位網(wǎng)絡(luò)，從掩碼中提取的車道點(diǎn)作為輸入，使用LSTM學(xué)習(xí)一個(gè)二次函數(shù)來預(yù)測(cè)車道線點(diǎn)。

下圖顯示了這兩個(gè)階段的運(yùn)行情況。左邊是原始圖像，中間是階段1的車道線掩碼輸出，右邊是階段2的最終輸出。


LaneNet模型的解釋

生成智能告警

我將車道線預(yù)測(cè)與物體檢測(cè)結(jié)合起來，生成智能警報(bào)。這些智能警報(bào)可能涉及：

•  檢測(cè)其他車輛是否在車道線內(nèi)，并量度與他們的距離

•  檢測(cè)鄰近車道上是否有車輛的存在

•  了解彎曲道路的轉(zhuǎn)彎半徑

在這里，我使用YOLO-v5來檢測(cè)道路上的汽車和人。YOLO-v5在檢測(cè)道路上的其他車輛方面做得很好。推理時(shí)間也非?？臁?br />
下面我們用YOLO v5來測(cè)量自己的車和前面最近的車的距離。模型返回的距離以像素為單位，可以根據(jù)相機(jī)參數(shù)轉(zhuǎn)換成米。由于TUSimple數(shù)據(jù)集的相機(jī)參數(shù)未知，我根據(jù)車道線的標(biāo)準(zhǔn)寬度估計(jì)了像素到米的轉(zhuǎn)換。


距離度量的報(bào)警

我們可以類似地計(jì)算車道的曲率半徑，并將其用于汽車的轉(zhuǎn)向模塊。


曲率半徑的測(cè)量

總結(jié)

在這篇博客中，我們探討了在自動(dòng)駕駛中準(zhǔn)確和快速檢測(cè)車道線的問題。然后，我們使用YOLOv5來構(gòu)建對(duì)道路上其他物體的理解。這可以用來生成智能警報(bào)。