日本无码免费高清在线|成人日本在线观看高清|A级片免费视频操逼欧美|全裸美女搞黄色大片网站|免费成人a片视频|久久无码福利成人激情久久|国产视频一二国产在线v|av女主播在线观看|五月激情影音先锋|亚洲一区天堂av

  • 手機(jī)站
  • 小程序

    汽車測(cè)試網(wǎng)

  • 公眾號(hào)

    • 汽車測(cè)試網(wǎng)

    • 在線課堂

    • 電車測(cè)試

一文讀懂自動(dòng)駕駛數(shù)據(jù)閉環(huán)

2021-09-21 18:17:01·  來(lái)源：智駕最前沿  
　
5）自動(dòng)機(jī)器學(xué)習(xí)（AutoML）/元學(xué)習(xí)（學(xué)習(xí)如何學(xué)習(xí)）
一個(gè)機(jī)器學(xué)習(xí)建模的工程還有幾個(gè)方面需要人工干預(yù)和可解釋性，即機(jī)器學(xué)習(xí)落地流水線的兩個(gè)主要組件：預(yù)-建模和后-建模（如圖）。
預(yù)-建模影響算法選擇和超參數(shù)優(yōu)化過(guò)程的結(jié)果。預(yù)-建模步驟包括多個(gè)步驟，包括數(shù)據(jù)理解、數(shù)據(jù)準(zhǔn)備和數(shù)據(jù)驗(yàn)證。
后-建模模塊涵蓋了其他重要方面，包括機(jī)器學(xué)習(xí)模型的管理和部署。
 
為了降低這些繁重的開(kāi)發(fā)成本，出現(xiàn)了自動(dòng)化整個(gè)機(jī)器學(xué)習(xí)流水線的新概念，即開(kāi)發(fā)自動(dòng)機(jī)器學(xué)習(xí)（automated machine learning，AutoML) 方法。AutoML 旨在減少對(duì)數(shù)據(jù)科學(xué)家的需求，并使領(lǐng)域?qū)＜夷軌蜃詣?dòng)構(gòu)建機(jī)器學(xué)習(xí)應(yīng)用程序，而無(wú)需太多統(tǒng)計(jì)和機(jī)器學(xué)習(xí)知識(shí)。
值得特別一提的是谷歌方法“神經(jīng)架構(gòu)搜索”（Neural Architecture Search，NAS），其目標(biāo)是通過(guò)在預(yù)定義搜索空間中選擇和組合不同的基本組件來(lái)生成穩(wěn)健且性能良好的神經(jīng)網(wǎng)絡(luò)架構(gòu)。
 
NAS的分布式訓(xùn)練實(shí)現(xiàn)
NAS的總結(jié)從兩個(gè)角度了解：模型結(jié)構(gòu)類型和采用超參數(shù)優(yōu)化（hyperparameter optimization，HPO）的模型結(jié)構(gòu)設(shè)計(jì)。最廣泛使用的 HPO 方法利用強(qiáng)化學(xué)習(xí) (RL)、基于進(jìn)化的算法 (EA)、梯度下降 (GD) 和貝葉斯優(yōu)化 (BO)方法。
如圖是AutoML在機(jī)器學(xué)習(xí)平臺(tái)的應(yīng)用實(shí)例：
 
注：在谷歌云、微軟云Azure和亞馬遜云AWS都支持AutoML。
深度學(xué)習(xí)（DL）專注于樣本內(nèi)預(yù)測(cè)，元學(xué)習(xí)（meta learning）關(guān)注樣本外預(yù)測(cè)的模型適應(yīng)問(wèn)題。元學(xué)習(xí)作為附加在原始 DL 模型的泛化部分。
元學(xué)習(xí)尋求模型適應(yīng)與訓(xùn)練任務(wù)大不相同的未見(jiàn)過(guò)的任務(wù)（unseen tasks）。元強(qiáng)化學(xué)習(xí) (meta-RL) 考慮代理與不斷變化的環(huán)境之間的交互過(guò)程。元模仿學(xué)習(xí) (meta-IL) 將過(guò)去類似的經(jīng)驗(yàn)應(yīng)用于只有稀疏獎(jiǎng)勵(lì)的新任務(wù)。
元學(xué)習(xí)與 AutoML 密切相關(guān)，二者有相同的研究目標(biāo)，即學(xué)習(xí)工具和學(xué)習(xí)問(wèn)題。現(xiàn)有的元學(xué)習(xí)技術(shù)根據(jù)在 AutoML 的應(yīng)用可分為三類：
  • 1）用于配置評(píng)估（對(duì)于評(píng)估者）；
  • 2）用于配置生成（用于優(yōu)化器）；
  • 3) 用于動(dòng)態(tài)配置的自適應(yīng)。
元學(xué)習(xí)促進(jìn)配置生成，例如，針對(duì)特定學(xué)習(xí)問(wèn)題的配置、生成或選擇配置策略或細(xì)化搜索空間。元學(xué)習(xí)檢測(cè)概念漂移（concept drift）并動(dòng)態(tài)調(diào)整學(xué)習(xí)工具實(shí)現(xiàn)自動(dòng)化機(jī)器學(xué)習(xí)（AutoML）過(guò)程。
6）半監(jiān)督學(xué)習(xí)
半監(jiān)督學(xué)習(xí)（semi-supervised learning）是利用未標(biāo)記數(shù)據(jù)生成具有可訓(xùn)練模型參數(shù)的預(yù)測(cè)函數(shù)，目標(biāo)是比用標(biāo)記數(shù)據(jù)獲得的預(yù)測(cè)函數(shù)更準(zhǔn)確。由于混合監(jiān)督和無(wú)監(jiān)督方法，半監(jiān)督學(xué)習(xí)的損失函數(shù)可以具有多種形狀。一種常見(jiàn)的方法是添加一個(gè)監(jiān)督學(xué)習(xí)的損失項(xiàng)和一個(gè)無(wú)監(jiān)督學(xué)習(xí)的損失項(xiàng)。
已經(jīng)有一些經(jīng)典的半監(jiān)督學(xué)習(xí)方法：
  • “Pseudo-label: The simple and efficient semi-supervised learning method for deep neural networks”
  • “Mean teachers are better role models: Weight-averaged consistency targets improve semi-supervised deep learning results“
  • “Self-training with Noisy Student improves ImageNet classification“
最近出現(xiàn)一些新實(shí)例方法：
  • “Unbiased Teacher for Semi-Supervised Object Detection“
 
  • “Pseudoseg: Designing Pseudo Labels For Semantic Segmentation“
 
  • “Semantic Segmentation of 3D LiDAR Data in Dynamic Scene Using Semi-supervised Learning“
 
  • “ST3D: Self-training for Unsupervised Domain Adaptation on 3D Object Detection“
 
  • “3DIoUMatch: Leveraging IoU Prediction for Semi-Supervised 3D Object Detection“
 
7）自監(jiān)督學(xué)習(xí)
自監(jiān)督學(xué)習(xí)（self supervised learning）算是無(wú)監(jiān)督學(xué)習(xí)的一個(gè)分支，其目的是恢復(fù)，而不是發(fā)現(xiàn)。自監(jiān)督學(xué)習(xí)基本分為：生成（generative）類, 對(duì)比（contrastive）類和生成-對(duì)比（generative-contrastive）混合類，即對(duì)抗（adversarial）類。
自監(jiān)督使用借口任務(wù)（pretext task）來(lái)學(xué)習(xí)未標(biāo)記數(shù)據(jù)的表示。借口任務(wù)是無(wú)監(jiān)督的，但學(xué)習(xí)的表示通常不能直接給下游任務(wù)（downstream task），必須進(jìn)行微調(diào)。因此，自監(jiān)督學(xué)習(xí)可以被解釋為一種無(wú)監(jiān)督、半監(jiān)督或自定義策略。下游任務(wù)的性能用于評(píng)估學(xué)習(xí)特征的質(zhì)量。
一些著名的自監(jiān)督學(xué)習(xí)方法有：
  • “SimCLR-A Simple framework for contrastive learning of visual representations“
  • “Momentum Contrast for Unsupervised Visual Representation Learning“
  • “Bootstrap Your Own Latent: A New Approach to Self-Supervised Learning“
  • “Deep Clustering for Unsupervised Learning of Visual Features“
  • “Unsupervised Learning of Visual Features by Contrasting Cluster Assignments“

分享到：
 
反對(duì) 0 舉報(bào) 0 收藏 0 評(píng)論 0
滬ICP備11026917號(hào)-25