日本无码免费高清在线|成人日本在线观看高清|A级片免费视频操逼欧美|全裸美女搞黄色大片网站|免费成人a片视频|久久无码福利成人激情久久|国产视频一二国产在线v|av女主播在线观看|五月激情影音先锋|亚洲一区天堂av

  • 手機站
  • 小程序

    汽車測試網(wǎng)

  • 公眾號

    • 汽車測試網(wǎng)

    • 在線課堂

    • 電車測試

首頁 > 汽車技術 > 正文

算力限制場景下的目標檢測實戰(zhàn)淺談

2019-01-21 23:39:47·  
　
繼續(xù)看例子，手勢，貌似隱隱約約能看出來一個勝利V的手勢，但是，這個數(shù)據(jù)集顯然是需要能夠識別出這些手勢的基本含義。直觀看起來，需要的基礎特征的形狀也是很多的。
特征空間的復雜程度
現(xiàn)在又要祭出這張經(jīng)典的特征可視化圖了，簡單的說，就是淺層特征基本就是直線和點，之后的每一層都是再對上一層特征進行概率意義上的組合。
 
回到特征空間復雜程度的問題上面來，我們再舉一個極端的例子，mnist 手寫數(shù)據(jù)集中所需要的特征，直觀感覺上就是些直線折線和圈圈，而imagenet 是幾乎要應對整個自然圖像中所能涉及到的方方面面的情況，需要的特征和特征的組合關系幾乎是無法想象的。而在實踐中，大家都知道可以讓兩者跑的好的神經(jīng)網(wǎng)絡，容量相差甚遠。
 
好，我們直觀上現(xiàn)在知道了，對于一個特定問題，其實一定程度上可以說它所需要的特征量一般是確定的。當然我們沒法準確的得到具體的值，神經(jīng)網(wǎng)絡要基本上能匹配上這個量，才能盡可能的做到精準。當你減少網(wǎng)絡參數(shù)時，勢必會削減網(wǎng)絡對某些情況的判斷能力，進而減少精度。
 
這里不得不提一下二八定律，即在正常概率的世界中，我們一般可能需要20%的精力去處理80%的情況，反之需要80%的精力去處理剩下20%的疑難雜癥。通過經(jīng)驗我們認為，神經(jīng)網(wǎng)絡大概也是用80%的特征組合關系去處理了那20%的疑難雜癥情況，所以如果拋棄部分甚至全部疑難雜癥，可能20%的特征組合關系就夠用了。也是為什么邊際效用遞減曲線畫出來是一條向左上方凸出的曲線的原因吧。
實戰(zhàn)中的實驗設計
好了，虛的講完了。結果遺憾的是，前面所講的虛的東西，全部都是不能通過數(shù)學公式進行推導的。
這咋整？
秀了半天虛的，其實也沒什么特別高明的方法，就是試。但是怎么設計實驗，也就是說怎么試，每次試什么，試完之后改什么，還是很有文章可以做的。也就是這里所說的通過實驗設計逐步獲得最優(yōu)值。這也是本次報告要分享的核心點。
其實，最近研究界大熱的automl 或者是network architecture search 的方法，就是以替代掉人類的這部分調參過程為目標的。
但是本次報告我還是寄希望于完全通過手工方法來還原調優(yōu)過程，通過還原這個調優(yōu)過程，給大家展示調優(yōu)過程中的一些小的trick 和機理。這件事雖說未來有可能要失業(yè)，但是在automl和nas仍存在學術研究階段的情況下還是很重要的，也可能會幫助我們?nèi)フJ識和研究automl吧。
先再放個虛的框架，然后一一展開說一下。
先說數(shù)據(jù)集，數(shù)據(jù)集有可能是一個被忽略的因素。為什么這么說呢，因為我們對學術界論文的依賴度還是非常高的，而做論文的思路呢，一般都會使用公開數(shù)據(jù)集和通用評價標準，因為不使用這些你怎么跟同行進行比較呢？同理做比賽也有這樣的問題，雖然比賽已經(jīng)比較貼近實際任務了，但是也必須有一個公平的評價標準，不然排名靠前靠后憑什么呢？
 
但是在做實際任務的時候，數(shù)據(jù)集就必須需要適應問題本身的需求，首先是驗證集。大家都知道，其實機器學習就好比訓練小學生去應付期末考試。驗證集就是期末考試，日常小朋友練習的題目不管怎樣也得和期末考試差不多，不然一定懵逼。驗證集做簡單了，數(shù)據(jù)分布上可能沒有覆蓋到實際情況中的大部分情況，也有可能做難了，對于一些不會出現(xiàn)的情況上花費了太多精力。還有一種情況就是驗證集和訓練集的重復關系，小心驗證集達標的時候其實有可能只是過擬合了訓練集。所以這時候沒人給做驗證集，只能靠自己。
 
訓練集數(shù)據(jù)，根據(jù)前文所講的數(shù)據(jù)與mAP的邊際效用關系，這里肯定是能盡量搞定足夠多的數(shù)據(jù)才是王道。數(shù)據(jù)量不夠的情況下可能還需要使用一些遷移學習的方法來彌補，這里因為時間關系就不展開了。本文的最后還會對imagenet 等數(shù)據(jù)集對輕量級模型下的遷移學習進行一些補充。
 
評價標準的重要性在這里也就顯現(xiàn)出來了，一般情況下我們會用通用的目標檢測評價標準（mAP）來描述我們的目標檢測方法。必須承認，mAP 確實是綜合的描述了一個模型的基本和平均能力，但是它不能同時兼顧漏檢率和誤撿率。由于mAP 是一個隨著confidence 下降來同時加入tp和fp繪制曲線并計算總面積的，因此fp 也就是誤撿的sample 并不會很明顯的體現(xiàn)出來，針對比較關注誤撿率的問題，最好還是不要用mAP。
好，我們開始跑了。
一般的，我會花一些時間來建立baseline，這個下一頁詳解。
然后開始迭代，核心思路是使用對照實驗（control experiment），只改變一個變量，固定其他所有變量。
既然每次都只能調整一個參數(shù)與變量，那就最好沿著最有可能提高性能的方向調整，那么哪個是最大的變量呢？這需要熟悉神經(jīng)網(wǎng)絡的原理和研究現(xiàn)狀，等下我們具體舉例來說明一下。
這時我們前面講的輔助線可能就能用上了，幾次實驗之后，你心目中大概可以形成一個或者多個邊際效用遞減曲線了，就可以估算一下某個變量在上面所處的位置。嗯，上升趨勢比較明顯的變量值得著重考慮。
所有維度都嘗試之后再重頭逐一嘗試，因為畢竟每次只調整一個參數(shù)沒有考慮到參數(shù)和參數(shù)之間的相互作用關系。
什么時候停止呢？調參小能手一般是沒有止境的，yeah。不過一般也就是驗證集達標，但是前面也提到了，手頭這個驗證集符合實際情況嗎？要去實際情況跑一跑你的模型了。
舉例
剛剛是原則性的套路，現(xiàn)在我們來舉一個例子。
要求如圖所示，根據(jù)我們前面對任務特征空間的描述，這個問題應該有可能能在這個量級下完成吧，我們來試試。
首先我需要一個baseline，雖然我現(xiàn)在要用的是10M 的網(wǎng)絡，10M 的論文可能不多，但是我這時還是會先去復現(xiàn)mobilenet-v1，mobilenet-v2，shufflenet-v1/v2，以及各種坊間反饋還比較優(yōu)秀的所有輕量級網(wǎng)絡結構。
分享到：
 
反對 0 舉報 0 收藏 0 評論 0
滬ICP備11026917號-25