熱門文章
相關(guān)文章
- 1深圳入選中國(guó)首批13個(gè)交通強(qiáng)國(guó)
- 2智慧城市如何改變生活?
- 3堅(jiān)持法治引領(lǐng)交通強(qiáng)國(guó)建設(shè)
- 4四大領(lǐng)域22項(xiàng)任務(wù)試點(diǎn)交通強(qiáng)國(guó)
- 5日本東京大學(xué)攜手軟銀打造人工智
- 6工信部副部長(zhǎng):開展5G區(qū)塊鏈等
- 7工信部趙志國(guó):今年中國(guó)網(wǎng)絡(luò)安全
- 8交通部開展第二批交通強(qiáng)國(guó)建設(shè)試
- 9治理“城市病”,如何對(duì)癥下藥?
- 10城市精細(xì)化治理不能忽視的關(guān)鍵點(diǎn)
借力人工智能,讓惡意軟件無處潛逃
發(fā)布時(shí)間:2019-07-17 分類:趨勢(shì)研究 來源:新華日?qǐng)?bào)
“隨著深度學(xué)習(xí)應(yīng)用越來越廣泛,越來越多的人工智能安全問題也開始暴露出來?!蹦暇├砉ご髮W(xué)計(jì)算機(jī)學(xué)院教授李千目說,深度學(xué)習(xí)框架中的軟件實(shí)現(xiàn)漏洞、對(duì)抗機(jī)器學(xué)習(xí)的惡意樣本生成、訓(xùn)練數(shù)據(jù)的污染等都可能導(dǎo)致人工智能所驅(qū)動(dòng)的識(shí)別系統(tǒng)出現(xiàn)混亂,形成漏判、誤判,甚至導(dǎo)致系統(tǒng)崩潰或被劫持,并可以使智能設(shè)備變成僵尸攻擊工具。
對(duì)于人工智能潛在的造假“作惡”,由李千目帶領(lǐng)的研究團(tuán)隊(duì)所開展的“面向人工智能對(duì)抗性惡意樣本的監(jiān)測(cè)技術(shù)”,可以有效提高在對(duì)抗環(huán)境中對(duì)惡意軟件監(jiān)測(cè)的可靠性和安全性,讓攻擊仿佛打在“棉花”上一樣綿軟無力。這項(xiàng)研究成果已在人工智能國(guó)際學(xué)術(shù)會(huì)議AAAI2019上發(fā)表,算法及其實(shí)驗(yàn)獲得大會(huì)“挑戰(zhàn)問題贏家”獎(jiǎng),這也是中國(guó)信息安全學(xué)者首次獲得該獎(jiǎng)項(xiàng)。
在李千目看來,人工智能系統(tǒng)的攻擊技術(shù)主要包含對(duì)抗性輸入、數(shù)據(jù)中毒攻擊及模型竊取技術(shù)三個(gè)方面。他說,對(duì)抗性輸入攻擊是一種專門設(shè)計(jì)的輸入,確保被誤分類以躲避檢測(cè)。當(dāng)前,這一手段已被大量使用在專門用來躲避防病毒程序的惡意文檔、試圖逃避垃圾郵件過濾器的電子郵件等多種場(chǎng)景。數(shù)據(jù)中毒攻擊涉及向分類器輸入對(duì)抗性訓(xùn)練數(shù)據(jù),最常見的攻擊類型是模型偏斜,攻擊者以這種方式污染訓(xùn)練數(shù)據(jù),使得分類器在歸類好數(shù)據(jù)和壞數(shù)據(jù)時(shí)向自己的偏好傾斜。模型竊取攻擊則是通過黑盒來探測(cè)/竊?。磸?fù)制)模型或恢復(fù)訓(xùn)練數(shù)據(jù)身份,比如,可以用來竊取某股市預(yù)測(cè)模型或者某垃圾郵件過濾模型。
李千目指出,對(duì)抗攻擊的理論基礎(chǔ)是神經(jīng)網(wǎng)絡(luò)的兩個(gè)“bug”:一是高維神經(jīng)網(wǎng)絡(luò)的神經(jīng)元并不是代表著某一個(gè)特征,而是所有特征混雜在所有神經(jīng)元中;二是在原樣本點(diǎn)上加上一些針對(duì)性的、不易察覺的擾動(dòng),從而導(dǎo)致神經(jīng)網(wǎng)絡(luò)的分類錯(cuò)誤。
針對(duì)典型智能算法訓(xùn)練過程中存在的數(shù)據(jù)來源未知和算法參數(shù)被污染的安全風(fēng)險(xiǎn),李千目團(tuán)隊(duì)開始研究對(duì)抗性攻擊樣本生成模型,并設(shè)計(jì)相應(yīng)的對(duì)抗性樣本算法,來實(shí)現(xiàn)對(duì)抗性攻擊樣本生成?!拔覀儑L試增強(qiáng)深度學(xué)習(xí)模型,主要利用人工智能分類器對(duì)惡意軟件進(jìn)行分類,以惡意軟件為輸入樣本,分為訓(xùn)練數(shù)據(jù)集和測(cè)試數(shù)據(jù)集兩部分。”他介紹說,在訓(xùn)練階段,訓(xùn)練多個(gè)人工智能分類器的集合,在每個(gè)分類器上都將所提出的原則系統(tǒng)化地加以運(yùn)用;在測(cè)試階段,將樣本輸入至每個(gè)分類器,最后根據(jù)所有分類器的投票結(jié)果確定樣本是否為對(duì)抗性惡意軟件。
李千目介紹,該領(lǐng)域的研究在國(guó)內(nèi)外都處于起步階段,相信在兩年內(nèi)會(huì)有突破性成果出現(xiàn),“就目前來說,我們的研究處于國(guó)際同類研究的先進(jìn)水平。比如,可用于規(guī)范工業(yè)互聯(lián)網(wǎng)、智能無人系統(tǒng)等領(lǐng)域的頂層安全設(shè)計(jì),通過統(tǒng)一智能系統(tǒng)的安全體系架構(gòu),增強(qiáng)無人系統(tǒng)等智能系統(tǒng)的安全互聯(lián)互通互操作能力,提升智能系統(tǒng)的信息防御能力;也可用于指導(dǎo)智能平臺(tái)、工業(yè)互聯(lián)網(wǎng)的產(chǎn)品安全研制,通過通用化、標(biāo)準(zhǔn)化、組件化,使得各種安全功能構(gòu)件可重用、可替換,大量減少采購(gòu)費(fèi)用等?!?
“不過,這項(xiàng)研究和其他研究不同,即便是階段性成果,也可以在領(lǐng)域里面進(jìn)行應(yīng)用?!崩钋空f,因?yàn)閻阂獗O(jiān)測(cè)就像醫(yī)生治病一樣,一個(gè)醫(yī)生不可能治愈所有疾病,但擁有一種有效治療手段就可以將其用于臨床?!澳壳?,我們正牽頭制定某項(xiàng)工業(yè)互聯(lián)網(wǎng)安全的標(biāo)準(zhǔn),其中就涉及部分研究成果,同時(shí)我們也在某示范項(xiàng)目中推動(dòng)了該成果的應(yīng)用?!?