廣告
用“算法”模擬光束可攻擊自動駕駛車輛 專家呼吁重視AI安全
2021-03-18 15:59:24· 來源：中國青年網(wǎng)
攻擊AI有多簡單?一束光就夠了。3月11日，阿里安全專家發(fā)布了一項(xiàng)新研究，只要用簡單的激光筆，就可以讓AI模型不再有效。在這個研究中，他們設(shè)計(jì)了一種算法，可模
攻擊AI有多簡單?一束光就夠了。
3月11日，阿里安全專家發(fā)布了一項(xiàng)新研究，只要用簡單的激光筆，就可以讓AI模型不再有效。在這個研究中，他們設(shè)計(jì)了一種算法，可模擬光束對AI模型進(jìn)行“攻擊”，這種測試方法在現(xiàn)實(shí)世界中得到了驗(yàn)證，且“攻擊”極易操作，對現(xiàn)有基于AI的視覺系統(tǒng)更具威脅。
一束激光可能讓自動駕駛汽車對交通標(biāo)識識別錯誤
“攻擊AI遠(yuǎn)非需要人為去制造對抗樣本，一支簡單的激光筆就可以。我們想通過這個研究揭示AI模型一些之前沒有被探索過的‘錯誤’，從而‘強(qiáng)壯’AI，讓它未來能抵擋這種‘攻擊’，也讓相關(guān)從業(yè)者重視提高AI模型的安全性。”阿里安全圖靈實(shí)驗(yàn)室負(fù)責(zé)人薛暉說。
除了以“一束光”測試AI視覺的安全性，最近圖靈實(shí)驗(yàn)室發(fā)布了多項(xiàng)文字識別與檢測、利用自監(jiān)督建立視頻表征學(xué)習(xí)方法與提升半監(jiān)督行為檢測的算法框架、AI樣本對抗、偽造人臉檢測、AI對人臉與人聲匹配的雙重模態(tài)識別、視頻描述AI生成技術(shù)等囊括AI“視覺”“聽覺”“大腦”“免疫性”等多項(xiàng)涉及AI安全的研究成果，涉及AI安全的10項(xiàng)新一代安全架構(gòu)研究成果均被國際頂會CVPR2021收錄。
“在AI安全前沿技術(shù)上進(jìn)行探索，一是為了讓AI更安全，二是為了讓AI助力安全，三是為解決具體社會問題尋找提效的新途徑。”薛暉說。
針對互聯(lián)網(wǎng)視頻中所可能存在的內(nèi)容風(fēng)險，阿里安全高級算法工程師陳達(dá)與阿里安全實(shí)習(xí)算法工程師鄧超睿共同開展了密集型視頻描述生成研究，通過算法對給定視頻自動生成對視頻內(nèi)容進(jìn)行描述的一段文字，提前過濾不良內(nèi)容，守護(hù)互聯(lián)網(wǎng)清朗健康環(huán)境。
書樂是阿里安全圖靈實(shí)驗(yàn)室的一名女性算法專家，她認(rèn)為算法應(yīng)該是有“溫度”、“柔軟”的，希望能在保護(hù)大眾隱私的基礎(chǔ)上，更加高效地解決機(jī)場、火車站、車庫、游樂場等環(huán)境下走失兒童、老人的尋找問題。高級算法專家越豐關(guān)注AI對抗樣本的問題，高質(zhì)量的DeepFake人臉偽造視頻更容易被制作并引發(fā)不良影響，而真實(shí)場景的偽造視頻數(shù)據(jù)分布和視頻質(zhì)量參差不齊，他們正在通過尋找一個更好的方法提升檢測AI檢測算法的實(shí)用性。
“安全部署要前置，無論是AI本身的安全，還是AI可以助力解決的安全問題與社會問題，這就是從源頭構(gòu)筑安全的核心理念。”薛暉表示，希望在廣闊的AI安全研究的新領(lǐng)域中，能有更多新生力量加入，迸發(fā)出有創(chuàng)造性和想象力的研究，最終應(yīng)用到人們的生活中，真正服務(wù)大眾，解決難題。
3月11日，阿里安全專家發(fā)布了一項(xiàng)新研究，只要用簡單的激光筆，就可以讓AI模型不再有效。在這個研究中，他們設(shè)計(jì)了一種算法，可模擬光束對AI模型進(jìn)行“攻擊”，這種測試方法在現(xiàn)實(shí)世界中得到了驗(yàn)證，且“攻擊”極易操作，對現(xiàn)有基于AI的視覺系統(tǒng)更具威脅。
一束激光可能讓自動駕駛汽車對交通標(biāo)識識別錯誤
“攻擊AI遠(yuǎn)非需要人為去制造對抗樣本，一支簡單的激光筆就可以。我們想通過這個研究揭示AI模型一些之前沒有被探索過的‘錯誤’，從而‘強(qiáng)壯’AI，讓它未來能抵擋這種‘攻擊’，也讓相關(guān)從業(yè)者重視提高AI模型的安全性。”阿里安全圖靈實(shí)驗(yàn)室負(fù)責(zé)人薛暉說。
除了以“一束光”測試AI視覺的安全性，最近圖靈實(shí)驗(yàn)室發(fā)布了多項(xiàng)文字識別與檢測、利用自監(jiān)督建立視頻表征學(xué)習(xí)方法與提升半監(jiān)督行為檢測的算法框架、AI樣本對抗、偽造人臉檢測、AI對人臉與人聲匹配的雙重模態(tài)識別、視頻描述AI生成技術(shù)等囊括AI“視覺”“聽覺”“大腦”“免疫性”等多項(xiàng)涉及AI安全的研究成果，涉及AI安全的10項(xiàng)新一代安全架構(gòu)研究成果均被國際頂會CVPR2021收錄。
“在AI安全前沿技術(shù)上進(jìn)行探索，一是為了讓AI更安全，二是為了讓AI助力安全，三是為解決具體社會問題尋找提效的新途徑。”薛暉說。
針對互聯(lián)網(wǎng)視頻中所可能存在的內(nèi)容風(fēng)險，阿里安全高級算法工程師陳達(dá)與阿里安全實(shí)習(xí)算法工程師鄧超睿共同開展了密集型視頻描述生成研究，通過算法對給定視頻自動生成對視頻內(nèi)容進(jìn)行描述的一段文字，提前過濾不良內(nèi)容，守護(hù)互聯(lián)網(wǎng)清朗健康環(huán)境。
書樂是阿里安全圖靈實(shí)驗(yàn)室的一名女性算法專家，她認(rèn)為算法應(yīng)該是有“溫度”、“柔軟”的，希望能在保護(hù)大眾隱私的基礎(chǔ)上，更加高效地解決機(jī)場、火車站、車庫、游樂場等環(huán)境下走失兒童、老人的尋找問題。高級算法專家越豐關(guān)注AI對抗樣本的問題，高質(zhì)量的DeepFake人臉偽造視頻更容易被制作并引發(fā)不良影響，而真實(shí)場景的偽造視頻數(shù)據(jù)分布和視頻質(zhì)量參差不齊，他們正在通過尋找一個更好的方法提升檢測AI檢測算法的實(shí)用性。
“安全部署要前置，無論是AI本身的安全，還是AI可以助力解決的安全問題與社會問題，這就是從源頭構(gòu)筑安全的核心理念。”薛暉表示，希望在廣闊的AI安全研究的新領(lǐng)域中，能有更多新生力量加入，迸發(fā)出有創(chuàng)造性和想象力的研究，最終應(yīng)用到人們的生活中，真正服務(wù)大眾，解決難題。
廣告 編輯推薦
最新資訊
-
“汽車爬坡試驗(yàn)方法”將有國家標(biāo)準(zhǔn)
2026-03-03 12:44
-
十年耐久監(jiān)管時代：電池系統(tǒng)開發(fā)策略將如何
2026-03-03 12:44
-
聯(lián)合國法規(guī)R59對機(jī)動車備用消聲系統(tǒng)的工程
2026-03-03 12:08
-
聯(lián)合國法規(guī)R58對后下部防護(hù)裝置的工程化約
2026-03-03 12:07
-
聯(lián)合國法規(guī)R57對摩托車前照燈配光性能的工
2026-03-03 12:07
