日本无码免费高清在线|成人日本在线观看高清|A级片免费视频操逼欧美|全裸美女搞黄色大片网站|免费成人a片视频|久久无码福利成人激情久久|国产视频一二国产在线v|av女主播在线观看|五月激情影音先锋|亚洲一区天堂av

  • 手機(jī)站
  • 小程序

    汽車測試網(wǎng)

  • 公眾號

    • 汽車測試網(wǎng)

    • 在線課堂

    • 電車測試

算力限制場景下的目標(biāo)檢測實(shí)戰(zhàn)淺談

2019-01-21 23:39:47·  
　
這里需要說明計(jì)算量Flops（浮點(diǎn)運(yùn)算次數(shù)）或者是MAC（加乘數(shù)）與實(shí)際運(yùn)行時(shí)間之間的關(guān)系：
首先，由于網(wǎng)絡(luò)結(jié)構(gòu)具有不同計(jì)算訪存比的特點(diǎn)，導(dǎo)致硬件算力和網(wǎng)絡(luò)flops之間無法形成線性對比關(guān)系。這里可參考：Momenta王晉瑋：讓深度學(xué)習(xí)更高效運(yùn)行的兩個(gè)視角。比如，在輕量級網(wǎng)絡(luò)中很常見的depthwise 卷積中，單位取到的數(shù)據(jù)所支撐的計(jì)算量小于普通卷積，也就是計(jì)算訪存比小，因此對芯片的緩存訪存需求更大。
 
同時(shí)，在目標(biāo)檢測問題中，除了骨干神經(jīng)網(wǎng)絡(luò)花費(fèi)的時(shí)間，檢測頭和nms 也花費(fèi)了一些時(shí)間。例如nms 的數(shù)量是不固定的，這部分的時(shí)間開銷和計(jì)算量更加無法準(zhǔn)確計(jì)算。
因此，如果在測試中直接使用時(shí)間對模型進(jìn)行速度衡量，則必須到設(shè)備進(jìn)行實(shí)測，這里還涉及到設(shè)備端的如ARM/NOEN、定點(diǎn)算浮點(diǎn)、量化等優(yōu)化，是非常復(fù)雜的，所以一般情況下，我們都會使用Flops對計(jì)算能力進(jìn)行估算。
因此，截止目前，我們可以將問題歸約為，通過曲線的輔助，找到最優(yōu)模型和參數(shù)，并在有效范圍內(nèi)取最大值。
最關(guān)鍵的問題來了，這條曲線該怎么找到呢？這條曲線其實(shí)是沒法求的，我們會在后邊進(jìn)行調(diào)參舉例來進(jìn)行一定的說明，接下來我們再花些時(shí)間在我們的邊際效用遞減曲線上面。
首先，該曲線是廣泛存在的。
 
除去算力，當(dāng)橫軸是數(shù)據(jù)量的時(shí)候，往往情況下也是可以體現(xiàn)出來類似的邊際效用特點(diǎn)的，也就是說當(dāng)我們在數(shù)據(jù)不足夠充分的時(shí)候，每次增加單位數(shù)量的同分布數(shù)據(jù)時(shí)，相同模型相同參數(shù)，所能提高的精度也是符合邊際效用遞減曲線的。
 
所以，如果在測試中，你發(fā)現(xiàn)增減數(shù)據(jù)對結(jié)果的影響非常大，那么極有可能你的問題當(dāng)前處在數(shù)據(jù)量不夠的階段，需要想辦法增加數(shù)據(jù)。這也就是前面所說的這條曲線可以幫助我們明確問題所在的區(qū)間。
 
此外，驗(yàn)證集和評價(jià)標(biāo)準(zhǔn)也不是一成不變的，在其他因素不變的情況下，相同方法在簡單驗(yàn)證集下，結(jié)果的數(shù)值上顯然是要優(yōu)于復(fù)雜驗(yàn)證集的。
 
關(guān)于訓(xùn)練集和驗(yàn)證集的問題我們后邊會再展開講解，我們這里看一下不同任務(wù)的情況下，邊際效用遞減曲線之間的對比關(guān)系是怎樣的？
通過實(shí)踐，我們了解到，相同算法下，任務(wù)的難度決定了曲線的走向。
那么，在前文提到的車輛和手勢兩個(gè)任務(wù)，我們能否把任務(wù)和曲線進(jìn)行如圖的對比關(guān)系呢？
先把車輛和手勢放一邊，先看：是什么決定了不同任務(wù)的區(qū)別呢？直接拋出一個(gè)小的直觀的感覺：即特征空間的復(fù)雜程度，決定了任務(wù)的區(qū)別。暫時(shí)我還只能稱之為感覺，而不是結(jié)論，這里還真不敢下結(jié)論。雖然是感覺，但是建立這樣一種感覺，可能對我們后續(xù)調(diào)參會有一些幫助。
那么什么是特征空間的復(fù)雜程度呢？這暫時(shí)還是一個(gè)無法定量描述，甚至無法準(zhǔn)確定義的概念。我們可以就看一下什么樣的空間復(fù)雜，什么樣的空間簡單：
我們都知道深度學(xué)習(xí)最核心的能力就是對數(shù)據(jù)特征的描述以及泛化，那么我們再來看一下數(shù)據(jù)特征具體長什么樣子加深再這個(gè)理解。在Stanford cs231n課程中曾經(jīng)提到cifar10 的數(shù)據(jù)集中，如果對每一類圖的采樣并進(jìn)行平均化的話，可以得到如圖的平均圖，我們直觀的去觀察這個(gè)平均圖，會發(fā)現(xiàn)最容易辨認(rèn)的是第二類car。
那么車輛檢測就是簡單空間嗎？我們繼續(xù)看下一個(gè)例子。
這里是在100張城市數(shù)據(jù)集車輛尾部數(shù)據(jù)中采樣并得到一張平均圖?？梢园l(fā)現(xiàn)一整輛車的輪廓已經(jīng)出來了。再繼續(xù)深入去定性分析的話，因?yàn)檐囕v首先是剛體數(shù)據(jù)，其次線條簡單清晰，不同車型的部件基本相同，如后窗、尾燈、牌照、車輪還有車輪下方的陰影區(qū)域。這里面圖是隨機(jī)挑選的，感覺白車有點(diǎn)多哈，可能是因?yàn)榘总嚥蝗菀着K，買的人本來就多吧？
這里需要注意的是任務(wù)需求，這個(gè)需求到底是檢出來車屁股即可，還是說必須分辨出來是顏色車型等具體信息，甚至需要車輛牌照信息。因?yàn)楫?dāng)任務(wù)需求發(fā)生變化時(shí)，神經(jīng)網(wǎng)絡(luò)需要去描述的特征的量也會隨之發(fā)生變化。
再看一下貨車的。和轎車的大體相同。
好，我們再看一下人臉數(shù)據(jù)集的平均圖，和車輛差不多，人臉的平均圖也差不多出來了一個(gè)人，有鼻有嘴，就是看不清。但因?yàn)閿?shù)據(jù)中西方人男性居多，所以我們還能大概看出來是個(gè)西方男人的感覺。同理，如果任務(wù)需要區(qū)分人臉的情緒，也就是眼角、嘴型的細(xì)微變化，這個(gè)新的需求對神經(jīng)網(wǎng)絡(luò)所需要描述的特征量的要求也就變得非常大了，也就不簡單了。
分享到：
 
反對 0 舉報(bào) 0 收藏 0 評論 0
滬ICP備11026917號-25