繼續(xù)介紹剩余章節(jié)：

知識遷移，從算法角度對任務(wù)進(jìn)行了研究，是將隱含知識（通常通過神經(jīng)網(wǎng)絡(luò)的權(quán)值或表征形式捕獲和表示）轉(zhuǎn)移到某個(gè)目標(biāo)感興趣領(lǐng)域的學(xué)習(xí)策略。這里的主要目標(biāo)之一是在目標(biāo)域只提供少量數(shù)據(jù)的情況下學(xué)習(xí)可靠的模型。

對選定預(yù)訓(xùn)練的網(wǎng)絡(luò)的層進(jìn)行微調(diào)，可歸因于遷移學(xué)習(xí)。雖然這個(gè)概念側(cè)重于適應(yīng)單一目標(biāo)任務(wù)，但在持續(xù)學(xué)習(xí)中，目標(biāo)是穩(wěn)定地適應(yīng)各種連續(xù)目標(biāo)，而不會(huì)忘記以前的任務(wù)。在元學(xué)習(xí)中也有類似的想法，即在一個(gè)偶爾進(jìn)行（episodic）訓(xùn)練過程中收集來自多個(gè)任務(wù)的經(jīng)驗(yàn)，改進(jìn)學(xué)習(xí)策略。

5.1 遷移學(xué)習(xí)：作者是Wasserrab, Keil

深度學(xué)習(xí)近年來取得了很大的發(fā)展勢頭，現(xiàn)在已經(jīng)成為許多應(yīng)用中事實(shí)上的標(biāo)準(zhǔn)方法。用例范圍從語音識別到圖像處理或自動(dòng)駕駛。盡管取得了巨大的成功，深度學(xué)習(xí)算法仍有一個(gè)嚴(yán)重的缺點(diǎn)，即它們依賴大量標(biāo)注良好的數(shù)據(jù)來實(shí)現(xiàn)性能?，F(xiàn)實(shí)中，收集這樣的數(shù)據(jù)集變得非常昂貴和耗時(shí)。除了數(shù)據(jù)集的獲取外，處理如此大量的數(shù)據(jù)也是一個(gè)重大挑戰(zhàn)，因?yàn)樗枰罅康乃懔碗娏Α?/span>

遷移學(xué)習(xí)是一種試圖通過減少訓(xùn)練數(shù)據(jù)量、同時(shí)保持甚至提高性能來解決這些問題的技術(shù)。因此，它已成為許多深度學(xué)習(xí)模式的組成部分。簡單地說，這種技術(shù)從以前的任務(wù)中學(xué)到的中間表示形式獲取知識，并將其應(yīng)用于新任務(wù)。這種方法的一個(gè)巨大優(yōu)勢是，任何開發(fā)人員都有可能利用數(shù)據(jù)中心或Google等大公司的超級計(jì)算機(jī)優(yōu)化參數(shù)，而不需要自己的可憐資源。

• 基于網(wǎng)絡(luò)的遷移學(xué)習(xí)

DL背景下的遷移學(xué)習(xí)分為四類：基于實(shí)例、基于映射、基于對抗的和基于網(wǎng)絡(luò)。第一種方法從源域中選擇特定的數(shù)據(jù)點(diǎn)，并將它們添加到通過權(quán)重調(diào)整的目標(biāo)域中。第二種方法將兩個(gè)域合并到一個(gè)數(shù)據(jù)空間中，其中的實(shí)例彼此相似。第三種方法旨在通過使用對抗技術(shù)找到同時(shí)適用于源域和目標(biāo)域的表示。最后，基于網(wǎng)絡(luò)的深度遷移學(xué)習(xí)采用在源域預(yù)訓(xùn)練的模型，并在目標(biāo)域重復(fù)使用。

基于網(wǎng)絡(luò)的遷移學(xué)習(xí)背后的直覺，源于神經(jīng)網(wǎng)絡(luò)的本質(zhì)。通常，前幾層捕捉圖像中的邊緣等低級特征，而較高的層則關(guān)注更復(fù)雜的細(xì)節(jié)。由于預(yù)訓(xùn)練模型的低級特征不是領(lǐng)域特定的，只需要將這些特征用于不同的任務(wù)，并在其上訓(xùn)練新模型。

實(shí)際上，這是通過用新層替換預(yù)訓(xùn)練網(wǎng)絡(luò)的最后一層來實(shí)現(xiàn)的。然后，修復(fù)所有基礎(chǔ)層，以確保不會(huì)忘記之前獲得的知識。這種方式，只有新的分類器最初會(huì)針對預(yù)期任務(wù)進(jìn)行訓(xùn)練。根據(jù)新用例怎樣的不同，模型還可能從進(jìn)一步的微調(diào)中受益。這意味著不必保持預(yù)訓(xùn)練的參數(shù)不變，其只用于初始化并包含在訓(xùn)練過程中，這樣之后也可以適應(yīng)新問題。

然而，為了確保學(xué)習(xí)到的低級特征仍然保持不變，微調(diào)的學(xué)習(xí)率通常設(shè)置得相當(dāng)?shù)?。在過去的幾年里，遷移學(xué)習(xí)在計(jì)算機(jī)視覺任務(wù)中特別流行。如今，諸如ResNet、VGG、Inception或DenseNet等流行的CV模型通常在大型圖像數(shù)據(jù)集上進(jìn)行預(yù)訓(xùn)練，以生成作為特定任務(wù)基礎(chǔ)的通用圖像特征。

• 應(yīng)用

模擬仿真數(shù)據(jù)可用來對模型進(jìn)行預(yù)訓(xùn)練，獲取關(guān)于真實(shí)世界的知識。特別是在大型項(xiàng)目中，如自動(dòng)駕駛技術(shù)的開發(fā)，仿真扮演著至關(guān)重要的角色，因?yàn)樗蟠罂s短了培訓(xùn)時(shí)間。此外，通過模擬，算法開發(fā)可以關(guān)注自動(dòng)駕駛中最有趣的情況，使模型能夠更輕松地處理罕見的極端情況。

自動(dòng)駕駛的規(guī)劃階段是尋找自車在特定情況下遵循的最佳軌跡。其中一個(gè)最相關(guān)的例子是換道和超車場景，在環(huán)境的其他部分中，必須考慮當(dāng)前和相鄰車道的交通，以找到潛在的時(shí)間段和軌跡，從而在滿足運(yùn)動(dòng)學(xué)和安全約束的情況下通過前面的車輛或障礙物。

最近提出的大多數(shù)自動(dòng)駕駛車控制方法都使用了勢場（potential fields）、細(xì)胞分解（cell decomposition）、最優(yōu)控制或模型預(yù)測控制（MDC）等方法。由于這些策略是實(shí)時(shí)優(yōu)化問題，也就是說，它們不屬于深度學(xué)習(xí)的范疇，因此上述基于網(wǎng)絡(luò)的深度遷移學(xué)習(xí)在這里不適用。然而，除此之外，還有一些基于學(xué)習(xí)的方法來控制自動(dòng)駕駛智體，其包含了以前學(xué)習(xí)過的知識，主要是用于軌跡規(guī)劃的（深度）強(qiáng)化學(xué)習(xí)或（半）監(jiān)督學(xué)習(xí)方法。

對于自動(dòng)駕駛而言，目前的主要挑戰(zhàn)之一仍然是縮小模擬與真實(shí)之間的差距，其中遷移學(xué)習(xí)起著重要作用。由于幾乎所有依賴數(shù)據(jù)的AI問題都是如此，遷移學(xué)習(xí)肯定有助于解決許多自動(dòng)駕駛用例。然而，應(yīng)該提到的是，只有當(dāng)車輛控制策略實(shí)際從數(shù)據(jù)中學(xué)習(xí)時(shí)，遷移學(xué)習(xí)才能應(yīng)用于軌跡規(guī)劃。

5.2 持續(xù)學(xué)習(xí)：作者是Wirth, Rudolph

持續(xù)學(xué)習(xí)旨在連續(xù)學(xué)習(xí)多個(gè)任務(wù)的模型，而不會(huì)降低之前任務(wù)的性能。它與遷移學(xué)習(xí)密切相關(guān)，因?yàn)橐仓赜靡呀?jīng)訓(xùn)練過的模型，作為學(xué)習(xí)新任務(wù)的起點(diǎn)。然而，與遷移學(xué)習(xí)相比，持續(xù)學(xué)習(xí)旨在保持學(xué)習(xí)模型的重要部分完好無損。因此，持續(xù)學(xué)習(xí)并不是用過去的任務(wù)來（僅僅）改進(jìn)新任務(wù)的結(jié)果，而是創(chuàng)建一個(gè)統(tǒng)一的模型來解決所有任務(wù)。

從技術(shù)上講，持續(xù)學(xué)習(xí)不允許對模型進(jìn)行任意更改，只允許進(jìn)行不會(huì)導(dǎo)致過去任務(wù)性能下降的更改。因此，最重要的方面是確定模型的哪些部分與觀察結(jié)果相關(guān)。大多數(shù)持續(xù)學(xué)習(xí)方法都是基于這樣的假設(shè)，即確定模型參數(shù)與預(yù)測的相關(guān)性是有意義的。例如，Synaptic Intelligence （SI）通過參數(shù)在損失的貢獻(xiàn)來確定參數(shù)的重要性。

另一種方法是，在不降低已觀察任務(wù)性能的情況下，近似地計(jì)算可以改變的權(quán)重。對于這些方法，通過在訓(xùn)練期間直接學(xué)習(xí)這些分布的均值和方差，將標(biāo)量參數(shù)替換為參數(shù)概率分布，例如高斯分布。然后假設(shè)可以根據(jù)Fisher矩陣或Kullback-Leibler（KL）發(fā)散度限制可接受的參數(shù)變化。另一個(gè)最新的方法是基于梯度算法，通過直接操縱梯度來更新權(quán)重，從而緩解訓(xùn)練中的災(zāi)難性遺忘（CF）。

已知的持續(xù)學(xué)習(xí)類型：

1. 增量域?qū)W習(xí)：假設(shè)輸入和輸出空間相同，但數(shù)據(jù)分布不同

2. 增量課堂學(xué)習(xí)：輸入空間相同，但輸出空間不同；每個(gè)任務(wù)涵蓋同一個(gè)多類集的一個(gè)子類；數(shù)據(jù)分布也可能不同

3. 增量任務(wù)學(xué)習(xí)：輸入空間相同，但輸出空間不同；每個(gè)任務(wù)都包含一組不同的預(yù)測目標(biāo)；數(shù)據(jù)分布也可能不同

• 貝葉斯持續(xù)學(xué)習(xí)

幾乎所有的貝葉斯持續(xù)學(xué)習(xí)方法都遵循相同的原則：

1. 在學(xué)習(xí)任務(wù)N上的參數(shù)權(quán)重分布

2. 使用（部分）權(quán)重分布作為預(yù)條件

3. 為任務(wù)N+1的訓(xùn)練增加一個(gè)正規(guī)化項(xiàng)，會(huì)懲罰與預(yù)條件的距離

有些方法不在權(quán)重空間中運(yùn)行，而是在函數(shù)空間中運(yùn)行。然而，差異更多地是圍繞（神經(jīng)網(wǎng)絡(luò)）模型的結(jié)構(gòu)。根據(jù)貝葉斯連續(xù)學(xué)習(xí)算法的以下特性，可對其進(jìn)行分類：

1. 近似值：使用哪種權(quán)重分布的近似？

2. 前置條件：如何獲取近似值？

3. 正則化：參數(shù)分布如何針對預(yù)條件進(jìn)行正規(guī)化？

4. 更新模式：看見的任務(wù)中，哪些信息被保存？

此外，一些方法不適用于純粹的增量方案，即在最后一個(gè)模型中捕獲所有歷史任務(wù)的顯式信息。這些方法合并了特定任務(wù)的模型，需要額外的計(jì)算步驟。另一方面，有些方法可以完全在線工作，這意味著除了最新模型之外，丟棄其他所有模型的信息。此外，一些方法使用重放緩沖（replay buffer），這意味著部分訓(xùn)練數(shù)據(jù)被保留和重用。

總結(jié)見下表：

• 持續(xù)學(xué)習(xí)的梯度法

基于梯度的方法是持續(xù)學(xué)習(xí)領(lǐng)域的一個(gè)最新發(fā)展。其主要思想是：

1. 將以前任務(wù)的一小部分樣本保存在內(nèi)存中（類似于重放緩沖）

2. 計(jì)算當(dāng)前任務(wù)的樣本相對于重放緩沖樣本的梯度并約束

這樣避免了以前任務(wù)（由重放緩沖表示）的結(jié)果因?yàn)闃颖緛G失不會(huì)增加而退化。

一種方法稱為梯度偶發(fā)記憶（GEM，Gradient Episodic Memory）。這里的主要思想是將內(nèi)存中樣本的梯度和當(dāng)前新樣本梯度之間的角度保持在90度以下，以避免權(quán)重自適應(yīng)在可能使前一個(gè)任務(wù)精度更差的方向上。這是一個(gè)在訓(xùn)練階段求解的優(yōu)化問題，想找到這樣的梯度，其不違反記憶約束且最接近當(dāng)前樣本原始梯度。

由于解決優(yōu)化問題的運(yùn)行時(shí)間相當(dāng)長，因此引入了平均梯度偶發(fā)記憶（A-GEM）。通過僅用隨機(jī)采樣的子集而不是內(nèi)存所有樣本來約束梯度，在較低的運(yùn)行時(shí)間下可提供類似的良好結(jié)果。其中利用任務(wù)描述符來改進(jìn)零樣本學(xué)習(xí)技術(shù)。

基于混合隨機(jī)梯度（MEGA）的新方法，可以對GEM和A-GEM方法進(jìn)行統(tǒng)一。泛化對問題重新表述，揭示一個(gè)事實(shí)，即可以通過一個(gè)參數(shù)在當(dāng)前任務(wù)和過去任務(wù)之間進(jìn)行加權(quán)?；谶@一知識，新方法通過適當(dāng)設(shè)置參數(shù)，利用損失信息自動(dòng)平衡這些任務(wù)，即如果損失較高，則側(cè)重于當(dāng)前任務(wù)；如果損失較低，則側(cè)重于過去的任務(wù)。

最近梯度投影記憶（GPM，Gradient Projection Memory）被引入，其在每個(gè)任務(wù)結(jié)束后，只通過SVD計(jì)算一次梯度子空間，并存儲(chǔ)一個(gè)基。對于當(dāng)前任務(wù)，梯度投影到與該投影子空間正交的空間中。該算法的一個(gè)特點(diǎn)是，它不需要在內(nèi)存中保存過去任務(wù)的樣本，只需要保存子空間的基。這種方法減少了所需內(nèi)存并提高了隱私性。

下表給出概述：

• 更新模式

大多數(shù)持續(xù)學(xué)習(xí)算法都以增量更新模式工作。也就是說，每個(gè)新模型都適用于預(yù)測所有已看到的任務(wù)，并針對所有預(yù)條件或所有這些舊任務(wù)的重放緩沖樣本進(jìn)行正則化。因此，這些算法需要為所有任務(wù)存儲(chǔ)預(yù)條件和重放緩沖，這是一種內(nèi)存開銷。與此不同，在線方法只使用上一個(gè)任務(wù)的解決方案。一個(gè)特例是Progress & Compress算法，獨(dú)立地訓(xùn)練每個(gè)任務(wù)（可能由最后一個(gè)解決方案初始化），但通過在線方式對預(yù)條件進(jìn)行正則化來計(jì)算聯(lián)合模型。

• 重放緩存

一些算法將舊任務(wù)的數(shù)據(jù)重新使用，作為一個(gè)重放緩沖。這意味著，訓(xùn)練數(shù)據(jù)的一個(gè)子集被用作“關(guān)鍵點(diǎn)”，在此假設(shè)，用這些數(shù)據(jù)再訓(xùn)練（或約束）將確保在已看到任務(wù)上的表現(xiàn)。因此，所有數(shù)據(jù)都需要存儲(chǔ)，但只有小部分用于持續(xù)訓(xùn)練。

選擇重放數(shù)據(jù)點(diǎn)的方法試圖獲得有趣的元素，無論是通過聚類中心的表征，還是通過（模型）重建誤差或不確定性估計(jì)其對預(yù)測質(zhì)量的重要性?；谔荻鹊某掷m(xù)學(xué)習(xí)方法通常只使用所有訓(xùn)練數(shù)據(jù)的隨機(jī)采樣子集。

• 參數(shù)近似

貝葉斯持續(xù)學(xué)習(xí)方法通常需要近似模型的后驗(yàn)參數(shù)分布。近似在表征能力和運(yùn)行時(shí)要求上有所不同。

最常見的近似是平均場（MF）近似，只獨(dú)立地覆蓋每個(gè)參數(shù)分布的均值和方差。全協(xié)方差（FC）近似值也可以捕獲分層的協(xié)方差，而Kronecker Factorization（KF）是全協(xié)方差矩陣的近似值。為了學(xué)習(xí)參數(shù)分布，通常使用變分推理（VI），通過梯度下降學(xué)習(xí)均值和（共）方差。

Laplace approximation可以在學(xué)習(xí)確定性模型后進(jìn)行計(jì)算，但計(jì)算成本更高，且不能很好地?cái)U(kuò)展。只有少數(shù)方法使用特定算法的方法。

• 預(yù)條件

預(yù)條件確定參數(shù)近似所捕獲的信息存儲(chǔ)形式。這隱含地定義了學(xué)習(xí)額外任務(wù)的正則化基礎(chǔ)，因?yàn)檎齽t化器通過懲罰預(yù)條件和同一空間中當(dāng)前模型之間的距離。因此，正則化用給定的距離函數(shù)。

Fisher矩陣是一個(gè)常見的預(yù)條件，它是損失函數(shù)二階導(dǎo)數(shù)接近最小值的近似值。其計(jì)算來說，梯度是足夠的，但是這種方法會(huì)導(dǎo)致一些計(jì)算開銷。然而，該預(yù)條件通常與后驗(yàn)分布的Laplace approximation相結(jié)合，這需要一個(gè)Hessian矩陣近似，在計(jì)算上相當(dāng)昂貴。

另一種方法是直接使用后驗(yàn)權(quán)重分布的均值和方差，可通過變分推理“在線”學(xué)習(xí)。然而，這種情況下，常見的L2正則化器通常不適用。除了下三角Cholesky矩陣外，幾乎所有在用的預(yù)條件，一個(gè)實(shí)質(zhì)性限制是忽略協(xié)方差。然而，這種限制并不是預(yù)條件或正則化帶來的問題，而是因?yàn)閰?shù)近似的尺度化問題。

• 正則化

正則化的基本思想是確保與已觀察任務(wù)相關(guān)的參數(shù)值保持不變。因此，重要的是要考慮所使用的預(yù)條件中包含哪些信息。Fisher信息矩陣是給定損失函數(shù)（和示例）參數(shù)中所包含的信息度量。因此，F(xiàn)isher矩陣中數(shù)值的大變化也意味著參數(shù)中包含的信息大變化，所以，對這些數(shù)值進(jìn)行L2正則化就足夠了。

另一種選擇是后驗(yàn)分布的Kullback-Leibler（KL）發(fā)散度。如果預(yù)條件的方差很小，則均值的相關(guān)變化將導(dǎo)致較大的KL值。然而，當(dāng)方差較大的數(shù)值平均改變時(shí)，KL損失將保持較小。因此，可以確定精確值（低方差）的參數(shù)保持不變。

• 約束

關(guān)于基于梯度的方法，制定具體約束存在不同可能性，這些約束用于避免使網(wǎng)絡(luò)性能更差的更新。早期算法只是將實(shí)際使用梯度限制為與舊任務(wù)梯度的角度小于90度，或者根據(jù)差異進(jìn)行正則化。現(xiàn)代方法將梯度投影到滿足某些條件的子空間中，比如與先前任務(wù)的正交性。

• 函數(shù)空間正則化

大多數(shù)持續(xù)學(xué)習(xí)方法在權(quán)重空間中正則化，假設(shè)這足以保持舊任務(wù)的性能。然而，函數(shù)空間正則化試圖為舊任務(wù)保留函數(shù)（輸出）值。這是不可能直接進(jìn)行計(jì)算的，因?yàn)樗枰鎯?chǔ)（并重用）所有訓(xùn)練數(shù)據(jù)。然而，用核神經(jīng)網(wǎng)絡(luò)（kernel neural networks）可以進(jìn)行近似，因?yàn)檫@些方法捕捉到完整的核模型參數(shù)輸出分布。

然而，完整的核矩陣使用通常在計(jì)算上過于昂貴，因此通常用誘導(dǎo)點(diǎn)（inducing points）的變分分布（variational distributions）。有了關(guān)于核矩陣的知識，以及可能來自過去任務(wù)的變分分布，就有可能計(jì)算出新模型和舊模型在給定點(diǎn)集上的輸出分布差異。這需要存儲(chǔ)過去任務(wù)中的訓(xùn)練數(shù)據(jù)（子集）。

• 應(yīng)用

關(guān)于自動(dòng)駕駛，增量域?qū)W習(xí)是一個(gè)興趣點(diǎn)。它允許增量學(xué)習(xí)，可以使用新數(shù)據(jù)改進(jìn)已經(jīng)學(xué)習(xí)的預(yù)測值，而無需從頭開始訓(xùn)練。然而，在知識集成方面，增量領(lǐng)域?qū)W習(xí)將多個(gè)知識源集成到一個(gè)聯(lián)合模型中。

知識來源可能與物理知識、專家知識、道路規(guī)則或觀察示例有關(guān)。例如，可以訓(xùn)練一個(gè)預(yù)測所有車輛可能出現(xiàn)或行駛到達(dá)位置的模型，然后持續(xù)學(xué)習(xí)方法學(xué)習(xí)觀察到的車輛示例。那么聯(lián)合模型可以正確預(yù)測車輛的所有可行位置（概率較低），同時(shí)根據(jù)觀察示例，強(qiáng)調(diào)最有可能出現(xiàn)這種情況的位置。

5.3 元學(xué)習(xí)：作者是Wo?rmann, Sagel, Shen

智能行為的一個(gè)因素是能夠毫不費(fèi)力地將技能和知識從一項(xiàng)任務(wù)轉(zhuǎn)移到相關(guān)任務(wù)。雖然人類通常表現(xiàn)出這種能力，例如，人類只能從幾個(gè)代表性的例子中得出關(guān)于某些目標(biāo)類的概念，但數(shù)據(jù)驅(qū)動(dòng)的AI方法通常需要大量樣本才能完成預(yù)期任務(wù)。

元學(xué)習(xí)（meta learning，也稱為learning-to-learn）通過訓(xùn)練一個(gè)模型來解決這個(gè)問題，該模型可以在遇到多個(gè)任務(wù)后提高其學(xué)習(xí)性能。在這種情況下，識別同類圖像或預(yù)測機(jī)器人在特定環(huán)境中的軌跡可以被視為一項(xiàng)任務(wù)。

元學(xué)習(xí)的目標(biāo)是以這樣一種方式更新訓(xùn)練算法，這樣模型能夠輕松地適應(yīng)新任務(wù)，例如，僅從少樣本場景的幾個(gè)未見過的實(shí)例推斷類標(biāo)簽，或在修改條件后的環(huán)境中規(guī)劃軌跡。

最終，這種學(xué)習(xí)方法允許算法重用某些在不同任務(wù)之間共享的結(jié)構(gòu)，提高其在類似任務(wù)的性能，而完全從頭開始學(xué)習(xí)（learn from scratch）很難解決這一問題。因此，通過元學(xué)習(xí)指導(dǎo)訓(xùn)練階段可以被視做是知識隱式地集成到數(shù)據(jù)驅(qū)動(dòng)模型。數(shù)據(jù)的準(zhǔn)備和組織，以及加入元目標(biāo)，是將現(xiàn)有體系結(jié)構(gòu)轉(zhuǎn)換為知識系統(tǒng)的關(guān)鍵。

元學(xué)習(xí)的主要應(yīng)用領(lǐng)域之一是少樣本學(xué)習(xí)（few-shot learning）問題，這在許多現(xiàn)實(shí)計(jì)算機(jī)視覺環(huán)境中具有很高的實(shí)用價(jià)值。少樣本學(xué)習(xí)的主要目標(biāo)是僅從有限的數(shù)據(jù)量中學(xué)習(xí)可靠的模型，以便模型能夠很好地推廣到未見或代表性不足的實(shí)例。

元學(xué)習(xí)通常用于獲取包含多個(gè)類共享信息的類無關(guān)（class-agnostic）特征。然后，基于特定類的信息，通過調(diào)制這些特征可實(shí)現(xiàn)自適應(yīng)。在少樣本學(xué)習(xí)方法中，單樣本或少樣本分類的目標(biāo)是僅從一個(gè)或幾個(gè)標(biāo)注實(shí)例中學(xué)習(xí)一個(gè)類。

少樣本元學(xué)習(xí)，通常涉及一組N個(gè)支持（support）和查詢（query）對，構(gòu)成一個(gè)基集B ={（Si，Qi），i=1，...，N}。N對中的每一對都可以被視為一項(xiàng)任務(wù)，其中元訓(xùn)練在于，在給定支持下更新該模型。任務(wù)的性能，通過查詢來衡量。

遇到多個(gè)任務(wù)后在更新模型時(shí)，學(xué)習(xí)算法收集有關(guān)如何學(xué)習(xí)的知識，以便在元測試（meta-testing）期間，可以用相同的學(xué)習(xí)算法在一個(gè)新的、未見的（Stest、Qtest）對的支持集上訓(xùn)練模型。即使Stest的樣本數(shù)很小，如何學(xué)習(xí)的知識允許算法學(xué)習(xí)一個(gè)模型，其類推到Qtest的樣本。

作為另一個(gè)分支，最近出現(xiàn)了少樣本檢測，重點(diǎn)是僅從少量標(biāo)注樣本中識別和定位圖像中的多個(gè)目標(biāo)。少樣本檢測處理只有幾個(gè)邊框標(biāo)注可用的情況，而不是缺少類標(biāo)簽。

meta-YOLO，將特征圖學(xué)習(xí)與重加權(quán)模塊相結(jié)合。在第一階段，從基類中學(xué)習(xí)泛化的元特征（meta features），可簡單地適應(yīng)新類。隨后的重加權(quán)方案，通過調(diào)制特征系數(shù)將特定類別的特征信息，從少數(shù)支持圖像遷移到查詢圖像的元特征。與輸出類標(biāo)簽和邊框的檢測預(yù)測模塊一起，可以對整個(gè)檢測器進(jìn)行端到端的訓(xùn)練。

另一種方法，元學(xué)習(xí)的（meta-learned）類特定代碼生成器，增強(qiáng)單階段目標(biāo)檢測模型CentreNet，實(shí)現(xiàn)增量少樣本檢測?；赗-CNN的兩步目標(biāo)探測器，也有對應(yīng)的元變型。鑒于最初的Faster/Masked R-CNN實(shí)現(xiàn)所生成的特征，元學(xué)習(xí)應(yīng)用于ROI特征，其中背景和潛在目標(biāo)已經(jīng)分離。

目標(biāo)檢測通常需要定義錨點(diǎn)或識別可疑區(qū)域（通過RPN）。為了在不需要中間區(qū)域提議（region proposal）情況下實(shí)現(xiàn)端到端的學(xué)習(xí)，meta-DETR，用于少樣本目標(biāo)檢測的元學(xué)習(xí)與Transformer結(jié)構(gòu)相結(jié)合。

為了提高數(shù)據(jù)驅(qū)動(dòng)分類或檢測模型的泛化能力，數(shù)據(jù)增強(qiáng)被用作預(yù)處理提高泛化能力。元學(xué)習(xí)還被用于自動(dòng)化增強(qiáng)過程，以便模型能夠有效地適應(yīng)給定任務(wù)或數(shù)據(jù)集。

元學(xué)習(xí)的概念在強(qiáng)化學(xué)習(xí)（RL）的背景下也提供了有用的優(yōu)勢，RL已被應(yīng)用于動(dòng)態(tài)環(huán)境中的運(yùn)動(dòng)規(guī)劃。特別是，關(guān)于目標(biāo)（goals）、獎(jiǎng)勵(lì)（reward）或環(huán)境的元知識可以用來減少樣本有效探索（exploration）策略方面的訓(xùn)練時(shí)間。

5.4 主動(dòng)學(xué)習(xí)：作者是Werner

主動(dòng)學(xué)習(xí)（AL）是一種迭代學(xué)習(xí)策略，結(jié)合了人/專家反饋。其想法是查詢一些未標(biāo)注的實(shí)例標(biāo)簽，為此創(chuàng)建新的標(biāo)簽實(shí)例，并根據(jù)新信息更新模型，然后交替執(zhí)行。

在查詢標(biāo)簽時(shí)，AL的優(yōu)點(diǎn)是降低標(biāo)注成本，而對新數(shù)據(jù)點(diǎn)的巧妙采樣，模型的數(shù)據(jù)使用量比不知情采樣（uninformed sampling）使用量要少。由于這些好處以及更好地估計(jì)模型不確定性的機(jī)會(huì)，AL是一個(gè)將知識整合到AI 訓(xùn)練過程中很有前途的策略。

查詢標(biāo)簽需要存在一個(gè)所謂的未標(biāo)記池，因此被稱為基于池的采樣，選擇一個(gè)未標(biāo)記實(shí)例或一批未標(biāo)記實(shí)例并要求給予標(biāo)簽。另一種策略是生成新樣本，稱為選擇性采樣（selective sampling），前提是這些樣本可以從現(xiàn)有的數(shù)據(jù)池或數(shù)據(jù)流中選擇，這樣學(xué)習(xí)者仍然可以在不浪費(fèi)大量計(jì)算時(shí)間的情況下決定是否給予標(biāo)簽。

后一種方法也稱為會(huì)員查詢合成（membership query synthesis），如果根據(jù)下面列出的標(biāo)準(zhǔn)生成人工新實(shí)例，或組合抽象特征空間中的有效特征。

關(guān)鍵問題是，必須考慮哪些未標(biāo)記的樣本，對應(yīng)地如何生成新樣本，因?yàn)楹苊黠@，隨機(jī)抽樣效率不高，并且會(huì)導(dǎo)致較高的標(biāo)注成本。有不同的采樣范式，如基于不確定性/margin的采樣，即從模型不確定的區(qū)域采樣，對于分類模型而言，這意味著從決策邊界（decision boundary）附近采樣，或由委員會(huì)查詢（query-by-commitee），其中一個(gè)調(diào)用不同的模型，并從模型最不一致的區(qū)域采樣。

另一個(gè)范例是基于密度的采樣，即從代表性區(qū)域進(jìn)行采樣，這是因?yàn)椴淮_定性采樣容易選擇異常值（outlier）。其他范式考慮樣本的信息度（informativity）/影響，這些樣本通過預(yù)期模型變化、預(yù)期誤差減少或方差減少等標(biāo)準(zhǔn)進(jìn)行量化。

此外，主動(dòng)學(xué)習(xí)不僅限于每次迭代查詢單個(gè)未標(biāo)注實(shí)例的標(biāo)簽，還可以考慮整批未標(biāo)注實(shí)例。AL可用于AI訓(xùn)練中的知識集成，方法是在訓(xùn)練數(shù)據(jù)增加高損失的實(shí)例、即在目標(biāo)識別、語義分割、人重識別（ReID）或跟蹤等監(jiān)督任務(wù)中模型不確定或預(yù)期模型變化或方差減少的情況。

此外，AL甚至可以通過考慮模型熵進(jìn)入無監(jiān)督任務(wù)。在知識提取或一致性檢查任務(wù)中，在模型輸出偏離現(xiàn)有知識的區(qū)域進(jìn)行采樣，調(diào)用主動(dòng)學(xué)習(xí)。對于測試特定的訓(xùn)練模型，可以應(yīng)用主動(dòng)測試（active testing ），減少測試數(shù)據(jù)的標(biāo)注成本。

AL可用于改進(jìn)感知或規(guī)劃模型的特定學(xué)習(xí)算法，不過AL的具體采樣或選擇范例有所不同。

數(shù)據(jù)驅(qū)動(dòng)模型功能的解釋和可解釋性是通往可靠系統(tǒng)的重要先決條件。特別關(guān)注的是，神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)的行為可理解的表征和形式化。所學(xué)決策模式和概念的提取和考慮，不僅會(huì)激發(fā)功能的最終驗(yàn)證，而且在開發(fā)用于安全-緊要應(yīng)用的方法時(shí)也同樣有用。

符號解釋起著重要的作用，在近年得到了廣泛的研究。為了更正式地檢查神經(jīng)網(wǎng)絡(luò)的功能，規(guī)則學(xué)習(xí)已成為這方面最重要的方法之一。自然語言，是另一種超越規(guī)則的符號表達(dá)形式。

6.1 規(guī)則提取和規(guī)則學(xué)習(xí)：作者是Paschke, Wang, Krone, Bu?hrle, Ko?nigshof

有幾種方法，一個(gè)提取方法采用訓(xùn)練模型（例如分解規(guī)則提?。┑膬?nèi)部結(jié)構(gòu)，另一個(gè)方法將模型和提取的概念作為一個(gè)整體（教學(xué)和折衷規(guī)則學(xué)習(xí)）來獲取新（符號）知識，還有一個(gè)歸納學(xué)習(xí)方法（例如歸納邏輯規(guī)劃），從訓(xùn)練數(shù)據(jù)中學(xué)習(xí)規(guī)則。

• 訓(xùn)練神經(jīng)網(wǎng)絡(luò)的規(guī)則提取

近年來，DNN取得了顯著的成績。然而，DNN極其復(fù)雜的內(nèi)部結(jié)構(gòu)，在一些安全-緊要應(yīng)用領(lǐng)域是不可接受的，如醫(yī)療診斷、工業(yè)過程控制和完全自主駕駛。人們提出了許多方法解釋DNN。一種可行的方法是從神經(jīng)網(wǎng)絡(luò)中提取可理解的符號規(guī)則。

關(guān)于規(guī)則提取的研究可以追溯到90年代初，最初的目的是為基于知識的系統(tǒng)合成知識，發(fā)現(xiàn)神經(jīng)網(wǎng)絡(luò)的全部潛力。人們基本上認(rèn)識到，在訓(xùn)練期間獲得的知識編碼為網(wǎng)絡(luò)參數(shù)、激活函數(shù)和架構(gòu)設(shè)計(jì)。知識可以以If-Then規(guī)則、M of N 規(guī)則、決策樹、決策表等形式提取。

根據(jù)提取規(guī)則是否揭示神經(jīng)網(wǎng)絡(luò)的內(nèi)部結(jié)構(gòu)，可以把規(guī)則提取分為兩個(gè)基本類，即分解（decompositional）法和教學(xué)（pedagogical）法。前者分析各層的激活函數(shù)和參數(shù)來提取規(guī)則，而后者通過映射輸入輸出關(guān)系來提取規(guī)則，就像神經(jīng)網(wǎng)絡(luò)所理解的那樣，而不考慮內(nèi)部結(jié)構(gòu)。如圖所示：上為分解法，下為教學(xué)法

除此之外，第三類可能是折衷（eclectic）法，是分解法和教學(xué)法的結(jié)合。

雖然神經(jīng)網(wǎng)絡(luò)已經(jīng)得到了廣泛的研究和應(yīng)用，但對于從DNN中提取規(guī)則仍然缺乏研究。大多數(shù)提出的算法都是針對淺層神經(jīng)網(wǎng)絡(luò)的，原因有兩個(gè)方面。首先，提取規(guī)則的數(shù)量與網(wǎng)絡(luò)的深度成正比。其次，如果規(guī)則數(shù)量過多，規(guī)則的可解釋性就會(huì)喪失。許多端到端神經(jīng)網(wǎng)絡(luò)直接應(yīng)用于原始感官數(shù)據(jù)做輸入的感知層面。如果將分解法應(yīng)用于DNN的頂層，提取的規(guī)則將更容易理解。

分解法有助于理解DNN的分類過程。在自動(dòng)駕駛的背景下，識別一個(gè)規(guī)則例外的原因可以提取人類可理解的知識。在路徑規(guī)劃和法律規(guī)則整合之前，應(yīng)該正確預(yù)測形勢的類別。在形式上，規(guī)則提取的任務(wù)定義如下：給定一個(gè)訓(xùn)練有素的神經(jīng)網(wǎng)絡(luò)和一個(gè)示例作為輸入，任務(wù)的目標(biāo)是對每個(gè)類盡可能找到描述輸入層和輸入層之間關(guān)系的規(guī)則集。

如前所述，在應(yīng)用規(guī)則提取時(shí)，輸入層不能是示例本身，而是NN中間層的特征。對于規(guī)則例外場景問題的分類，輸入可以是不同檢測器和傳感器數(shù)據(jù)的結(jié)果，輸出可以是一個(gè)或多個(gè)已定義用例的類別。

• 歸納邏輯規(guī)劃

盡管基于深度學(xué)習(xí)的現(xiàn)代ML方法近年來取得了極大的成功，但它們?nèi)匀怀３o法推廣到看似簡單的任務(wù)上。例如，給定足夠的訓(xùn)練數(shù)據(jù)，一個(gè)標(biāo)準(zhǔn)的深度學(xué)習(xí)模型可以學(xué)習(xí)手寫數(shù)字的less-than關(guān)系，但無法將其推廣到以前未見的數(shù)字對。

歸納邏輯規(guī)劃（ILP）是一套從給定示例學(xué)習(xí)邏輯規(guī)劃的技術(shù)。ILP不是依靠統(tǒng)計(jì)機(jī)制，而是基于邏輯推理，同時(shí)融合了自動(dòng)推理和知識表示的思想。這樣，ILP程序通常能夠從非常小的數(shù)據(jù)集進(jìn)行泛化。ILP的另一個(gè)關(guān)鍵優(yōu)勢是其解決方案是可理解和可驗(yàn)證的。

雖然不同的ILP框架采用不同的策略來解決給定的任務(wù)，但大多數(shù)框架都同意以下ILP問題的定義，即一個(gè)ILP問題（B，E+，E?) 由以下數(shù)據(jù)組成：

1. B是一組背景假設(shè)

2. E+是一組正樣本

3. E? 這是一組負(fù)樣本

ILP的目標(biāo)是構(gòu)建一個(gè)邏輯程序（一個(gè)假設(shè)），與給定的背景假設(shè)一起，需要正樣本并拒絕負(fù)樣本。

在過去的幾十年里，ILP取得了許多重大改進(jìn)。如今，ILP系統(tǒng)可以學(xué)習(xí)遞歸程序，并根據(jù)背景假設(shè)發(fā)明輔助謂詞。然而，大多數(shù)ILP框架都有一些共同的弱點(diǎn)。由于ILP將數(shù)據(jù)表示為邏輯程序，因此用戶需要為此任務(wù)從一系列可用語言中進(jìn)行選擇。例如，Prolog是一種圖靈完備邏輯編程語言，通常用于ILP。

Datalog是Prolog的一個(gè)子集，用圖靈完整性換取效率和可判定性。與經(jīng)典ML方法中的特征選擇類似，選擇合適的背景假設(shè)對ILP的成功至關(guān)重要。

傳統(tǒng)ILP框架的主要缺點(diǎn)之一是無法處理錯(cuò)誤標(biāo)注數(shù)據(jù)。最近，有人試圖將深度神經(jīng)網(wǎng)絡(luò)的優(yōu)勢與ILP的優(yōu)勢結(jié)合起來，用反映結(jié)論可信度的連續(xù)值代替絕對邏輯推理。

• 應(yīng)用

在自動(dòng)駕駛環(huán)境下，提取的符號規(guī)則揭示了神經(jīng)網(wǎng)絡(luò)的內(nèi)部功能，神經(jīng)網(wǎng)絡(luò)可以通過識別關(guān)鍵特征及其重要性來解釋場景分類任務(wù)的結(jié)果。此外，ILP可用于從給定的交通規(guī)則形式化推導(dǎo)出不成文的法律或行為規(guī)則。這些提取出來的知識可以隨后被納入法律或行為知識體系。

• 為規(guī)劃的規(guī)則學(xué)習(xí)

規(guī)則學(xué)習(xí)的目標(biāo)是根據(jù)觀察的演示推斷管理專家行為的約束。一個(gè)困難是規(guī)則推理問題定義不清——規(guī)則不是唯一的。此外，人類專家的演示有非常大噪聲，即次優(yōu)，甚至可能偶爾違反規(guī)則。

參數(shù)學(xué)習(xí)：規(guī)則學(xué)習(xí)的任務(wù)可以被定義為學(xué)習(xí)一個(gè)目標(biāo)函數(shù)，其中包括違反規(guī)則的懲罰條款。事實(shí)上，“獎(jiǎng)勵(lì)函數(shù)是任務(wù)最簡潔、可靠和可遷移的定義”。在這種解釋下，可以使用行為克?。˙C）和逆強(qiáng)化學(xué)習(xí)（IRL）的方法。

6.2 結(jié)構(gòu)化輸出預(yù)測：作者是Hesels

模式挖掘用于發(fā)現(xiàn)數(shù)據(jù)庫中意外且有用的模式。由此產(chǎn)生的模式是人類可解釋的，因此對數(shù)據(jù)理解和決策非常有用。時(shí)間序列模式挖掘稍有不同，用于在高維數(shù)據(jù)中發(fā)現(xiàn)模式。通常，排序的片段（episodes）或序列被定義為連續(xù)集（serial），不是排序的片段或序列被稱為并行（parallel），如果兩者都是，則片段被命名為概括（general）。

6.3 法律域的NLP：作者是Griesche, Tran

之前關(guān)于知識表征學(xué)習(xí)和知識手工制作的章節(jié)強(qiáng)調(diào)了知識圖和本體論是一種表示知識的可行方法。這些概念依賴于標(biāo)注數(shù)據(jù)。對于較小的數(shù)據(jù)集和概念驗(yàn)證，可以通過人工標(biāo)注或手工制作來實(shí)現(xiàn)。

然而，法律知識以規(guī)范、交通法規(guī)和法律的形式總結(jié)為大量不同語言的非結(jié)構(gòu)化數(shù)據(jù)。自然語言理解（NLU）和自然語言處理（NLP）提供了處理大量法律數(shù)據(jù)的方法。

不過，對于法律域，還必須考慮其他挑戰(zhàn)。處理法律文本和交通法規(guī)的計(jì)算模型必須考慮例外情況、規(guī)則沖突、開放結(jié)構(gòu)和模糊性、規(guī)則變化以及常識知識的需要。因此，現(xiàn)有的NLP概念和模型必須針對特定域進(jìn)行定制或訓(xùn)練，并且必須開發(fā)特定領(lǐng)域的解決方案。

最新技術(shù)表明，法律領(lǐng)域?qū)ψ匀徽Z言處理的研究越來越活躍。對于自動(dòng)駕駛，交通規(guī)則和規(guī)范中的交通規(guī)則和參數(shù)是最值得關(guān)注的。然而，交通法規(guī)和規(guī)范的NLP目前在很大程度上尚未探索。盡管有第一批NLP應(yīng)用程序?qū)Ｗ⒂诜治鲕浖拖到y(tǒng)開發(fā)中的需求和技術(shù)文檔（測試規(guī)范），但NLP的潛力并沒有得到充分利用。

NLP可以在分析法律要求、發(fā)現(xiàn)不同國家交通法規(guī)和規(guī)范之間的相似性和沖突方面發(fā)揮重要作用。此外，NLP可以提供元數(shù)據(jù)，豐富不同來源的需求，例如解釋模糊交通規(guī)則的法律注釋。這可以在知識圖或推理引擎中進(jìn)一步處理，并支持軟件開發(fā)過程，例如設(shè)計(jì)法律合規(guī)規(guī)劃師。NLP方法也有可能支持編輯器將交通規(guī)則的形式化過程半自動(dòng)化。

6.4 問答：作者是Qiu

問答（QA）是一項(xiàng)基于給定問題和相應(yīng)上下文回答問題的NLP任務(wù)。作為通用AI的一項(xiàng)熱門任務(wù)，該算法旨在理解上下文并掌握一些人類知識。更進(jìn)一步，視覺問答（VQA）將其與計(jì)算機(jī)視覺任務(wù)相結(jié)合來擴(kuò)展問答。

VQA任務(wù)旨在基于圖像回答給定的問題。因此，VQA方法不僅需要具備語言理解能力，還需要具備圖像推理能力。算法預(yù)測的答案被視為視覺場景中的知識?；卮鸬膯栴}越多，算法從圖像中提取的知識就越多。

VQA任務(wù)通過監(jiān)督學(xué)習(xí)解決：圖像和語言特征提取器被應(yīng)用到一對圖像-問題的輸入中。下一步是通過另一個(gè)網(wǎng)絡(luò)發(fā)送圖像-語言特征，獲得最終的輸出答案。將輸出答案與真實(shí)標(biāo)簽進(jìn)行比較，更新由上述三部分組成的整個(gè)網(wǎng)絡(luò)。因此，各種VQA算法從以下角度研究不同的修改：

1. 圖像或語言特征提??；

2. 圖像和語言特征的融合；

3. 最終答案的網(wǎng)絡(luò)模型即預(yù)測。

由于VQA是從QA擴(kuò)展而來的，所以像RNN或LSTM模型這樣的語言模型被用作語言特征提取器和最終的語言輸出。NLP模型的最新開發(fā)，都進(jìn)一步部署在VQA模型中。對于圖像部分，不同的卷積神經(jīng)網(wǎng)絡(luò)主干被廣泛使用。

VQA問題中的一個(gè)關(guān)鍵問題是如何將圖像特征與RNN或LSTM語言表示融合在一起。有兩種模態(tài)特征融合方法：一種基本的方法是將圖像特征和語言特征嵌入到公共空間的聯(lián)合嵌入方法。其他方法應(yīng)用注意機(jī)制來尋找與最終答案最相關(guān)的部分。人們認(rèn)為，注意機(jī)制根據(jù)圖像特征的空域位置，對其進(jìn)行不同的重加權(quán)來增強(qiáng)性能。

由于Transformer已廣泛應(yīng)用于NLP甚至CV社區(qū)，VQA社區(qū)也在借助這一強(qiáng)大的框架尋求突破。最初Transformer是一個(gè)用自注意機(jī)制的序列-到-序列NLP模型。對于一個(gè)句子，Transformer編碼器通過內(nèi)積計(jì)算該輸入句子中每個(gè)標(biāo)記的相關(guān)性。這種關(guān)聯(lián)矩陣被稱為自注意矩陣。

在VQA任務(wù)中，Transformer結(jié)構(gòu)取代了傳統(tǒng)的NLP模型，如RNN或LSTM。而語言標(biāo)記與圖像特征單元之間的自注意由于其內(nèi)積而提供了更強(qiáng)的語義。

另一個(gè)被稱為弱監(jiān)督目標(biāo)定位（WSOL）的流行任務(wù)也與VQA有關(guān)。弱監(jiān)督學(xué)習(xí)指的是一個(gè)訓(xùn)練過程，其中一個(gè)小數(shù)據(jù)集只有關(guān)于任務(wù)的部分信息（例如，類標(biāo)簽或邊框）可用。

WSOL是指真實(shí)邊框不足的目標(biāo)檢測任務(wù)。在沒有邊框標(biāo)簽的情況下，分類標(biāo)記或語言查詢有助于目標(biāo)定位。標(biāo)記語義耦合注意圖（TS-CAM，Token Semantic Coupled Attention Map）首先將圖像分割為一系列用于空域嵌入的patch tokens，然后重新分配patch tokens的類別相關(guān)語義，使其都能夠感知目標(biāo)類別。作為一項(xiàng)多模態(tài)任務(wù)，這些基于語言查詢的WSOL問題與VQA任務(wù)有著密切的聯(lián)系。

還有兩章，繼續(xù)。。。。。。