前言

在整車開發(fā)過程中，基于isight的多目標(biāo)優(yōu)化可以有效平衡車輛各性能及重量等指標(biāo)。isight多目標(biāo)優(yōu)化的基本流程為通過DOE生成實驗數(shù)據(jù)后，由近似算法對剛度、模態(tài)、重量等多個性能進行擬合，擬合后的近似模型用于后續(xù)的遺傳算法優(yōu)化。

可以說，性能擬合模型的好壞直接決定了最終的優(yōu)化結(jié)果是否可靠。isight中常用的近似模型有RBF函數(shù)、克里金模型和多項式回歸等，在不同的性能擬合任務(wù)中，用戶需要根據(jù)工程經(jīng)驗選擇合適的擬合算法，并定義其超參。

圖1 isight多目標(biāo)優(yōu)化流程

本文針對isight多目標(biāo)優(yōu)化過程中的近似階段，嘗試了Sklearn中與之匹配或相似的機器學(xué)習(xí)算法，通過自定義算法循環(huán)尋優(yōu)策略，同時基于GridsearchCV實現(xiàn)超參的自動調(diào)節(jié)，最終定義了一套融合算法，在對不同性能目標(biāo)進行訓(xùn)練的過程中，可以自動尋找最優(yōu)近似算法及其超參。

第一節(jié) 算法簡介

本文設(shè)計的融合算法中用到的基本機器學(xué)習(xí)算法有內(nèi)核嶺回歸、高斯隨機過程回歸和多項式回歸等。其中，內(nèi)核嶺回歸是在線性回歸基礎(chǔ)上增加了“核”和“嶺”，“核”是為了增加線性回歸的非線性擬合能力，“嶺”是L2正則項，是為了控制模型的復(fù)雜度，防止模型過擬合。Sklearn的KernelRidge模型提供了RBF、sigmoid、laplacian、cosine等多種核函數(shù)選擇，實踐表明RBF核、laplacian核有較好的非線性擬合能力。高斯過程回歸本質(zhì)上與克里金模型一樣，是一種非參數(shù)模型，該模型本身并沒有需要學(xué)習(xí)的參數(shù)。模型先驗認(rèn)為，對于N個數(shù)據(jù)點（X）對應(yīng)的N個函數(shù)值（Y）服從N維高斯分布，這個高斯分布的均值是0，協(xié)方差矩陣是K，K是通過核函數(shù)來表達(dá)，從而保證模型的平滑。Sklearn的GaussianProcessRegressor支持包括RBF在內(nèi)的多種核函數(shù)，通過gridsearch可以選擇合適的核函數(shù)。多項式回歸在Sklearn中可以通過pipeline流水線的方式實現(xiàn)，即先通過特征處理模塊對特征X進行多項式組合，再基于組合后生成的新特征進行線性回歸擬合。

圖2 GridsearchCV基本原理

超參調(diào)節(jié)的方式，目前主要有隨機搜索、網(wǎng)格搜索和貝葉斯優(yōu)化。隨機搜索速度快，但是可能遺漏最優(yōu)解。網(wǎng)格搜索更全面，但是效率低，本項目各算法中需要調(diào)節(jié)的超參數(shù)并不多，在效率上并不會損失太多，因此本文選擇了網(wǎng)格搜索的方式，通過Sklearn的GridsearchCV實現(xiàn)。在大規(guī)模超參調(diào)節(jié)場景中，最適合的是貝葉斯優(yōu)化算法，主流的工具有基于GPR的BayesianOptimization和基于TPR的optuna。

除了以上近似算法，本文也對Xgboost、神經(jīng)網(wǎng)絡(luò)和支持向量回歸做了一定嘗試，實踐表明xgboost在小批量數(shù)據(jù)及以上的擬合效果并不出眾，在對常見超參進行調(diào)節(jié)后，測試數(shù)據(jù)的R2能達(dá)到0.85左右，而同任務(wù)下內(nèi)核嶺回歸或高斯隨機過程回歸往往能達(dá)到0.9以上。

對于多層神經(jīng)網(wǎng)絡(luò)的應(yīng)用，在不同任務(wù)上，通過調(diào)整神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)，一般都能達(dá)到非常好的擬合效果，但是考慮到樣本集數(shù)量偏少（一般在150個樣本左右），過擬合的風(fēng)險不可忽視，而且超參調(diào)整的策略不具備普適性，如果要用網(wǎng)格搜索尋找合適的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)，計算時間會偏長。同時本文還比較了SVR（支持向量回歸）算法，效果對比內(nèi)核嶺回歸沒有明顯的差異，并且偶爾還有運算速度過慢的現(xiàn)象。綜上，本文的融合算法中未集成xgboost、神經(jīng)網(wǎng)絡(luò)和SVR方法。

第二節(jié) 結(jié)果對比

本文的近似問題本質(zhì)上是回歸任務(wù)，因此本文選擇了回歸任務(wù)常用的評價指標(biāo)R2，并在15個性能擬合任務(wù)中，對比了isight內(nèi)置擬合算法與機器學(xué)習(xí)融合算法的效果。整體來看，isight近似算法經(jīng)過適當(dāng)?shù)慕M合嘗試，對各個性能的擬合都能取得較好的效果，而基于機器學(xué)習(xí)的融合算法無需手動選擇算法和超參，運行一次即可達(dá)到相近的效果，兩者的R2均能達(dá)到0.9左右。同時，由于融合算法經(jīng)過了多折交叉驗證（本文取了10折），算法的魯棒性更強，有利于提高后續(xù)優(yōu)化結(jié)果的可靠度。

圖3部分任務(wù)結(jié)果對比

小結(jié)

在同樣的性能前提下，本文設(shè)計的基于sklearn的融合算法無需用戶定義具體算法類型及其超參，擁有更好的靈活性，同時多折交叉驗證提高了模型的魯棒性，使得后續(xù)的優(yōu)化結(jié)果更加可靠。在isight的優(yōu)化階段，常用的優(yōu)化算法為各種遺傳算法，如NSGA、MIGA等。在python環(huán)境下，目前最流行的遺傳算法工具包為geatpy，后續(xù)本文將從統(tǒng)計檢驗的角度，對geatpy遺傳算法和isight內(nèi)置優(yōu)化算法的效果進行對比，敬請期待。