眾所周知，深度學(xué)習(xí)是人工智能技術(shù)的核心賣點(diǎn)：通過模擬人腦機(jī)制，機(jī)器也能夠像人那樣，自主學(xué)習(xí)海量高深的知識，從而獲得常人無法企及的技能，幫助人類實(shí)現(xiàn)更為曼妙和科幻的場景。不過，憧憬雖然美好，但是隨著一批深度學(xué)習(xí)應(yīng)用逐漸開始變成現(xiàn)實(shí)，安全問題也漸漸顯現(xiàn)出來。

日前，360安全研究院結(jié)合過去一年對深度學(xué)習(xí)系統(tǒng)安全性的詳細(xì)研究，出具了《AI安全風(fēng)險(xiǎn)白皮書》。白皮書從深度學(xué)習(xí)系統(tǒng)軟件實(shí)現(xiàn)的復(fù)雜度、深度學(xué)習(xí)系統(tǒng)模型的逃逸攻擊和深度學(xué)習(xí)系統(tǒng)數(shù)據(jù)流中的安全威脅三個(gè)角度，詳細(xì)解讀了AI系統(tǒng)的安全威脅。

當(dāng)前人工智能應(yīng)用面臨多方威脅

2017年以來，每次有關(guān)人工智能的新聞報(bào)道都會(huì)讓很多網(wǎng)友由衷的感嘆。比如谷歌AlphaGo與李世石、柯潔等國際一流圍棋大師對弈，將這些圍棋一流好手“挑落馬下”。像圍棋這種復(fù)雜多變的棋盤游戲，幾乎代表了人類的頂級智慧。AlphaGo能夠在千變?nèi)f化的棋局中，選擇對自己更為有利的步數(shù)，繼而贏得棋局，靠的便是深度學(xué)習(xí)算法對場上局勢進(jìn)行研判。

不過，像AlphaGo這樣的人工智能應(yīng)用并不與外界有直接的交互，或者是在封閉的環(huán)境下工作，因此受到的安全威脅相對較小。然而，隨著人工智能應(yīng)用的普及，安全威脅會(huì)不斷增加，更多的應(yīng)用會(huì)把應(yīng)用的輸入接口直接或間接暴露出來。同時(shí)封閉系統(tǒng)的攻擊面也會(huì)隨著時(shí)間和環(huán)境而轉(zhuǎn)化。

圖1：深度學(xué)習(xí)算法與安全所考慮的不同輸出場景

目前公眾對人工智能的關(guān)注，尤其是深度學(xué)習(xí)方面，缺少對安全的考慮，這是人工智能安全的“盲點(diǎn)”，近期很多對于深度學(xué)習(xí)的討論主要停留在算法和前景展望的層面，并沒有考慮人為惡意造成或合成的場景;深度學(xué)習(xí)軟件層面，很多是實(shí)現(xiàn)在深度學(xué)習(xí)框架上。然而系統(tǒng)越是復(fù)雜，就越是可能包含安全隱患。任何在深度學(xué)習(xí)框架以及他所依賴的組件中的安全問題都會(huì)威脅到框架之上的應(yīng)用系統(tǒng);另外，正如安全人員常說的，魔鬼往往隱藏于細(xì)節(jié)之中，任何一個(gè)大型軟件系統(tǒng)都會(huì)有時(shí)限漏洞?？紤]到深度學(xué)習(xí)框架的復(fù)雜性，深度學(xué)習(xí)應(yīng)用也不例外。

深度學(xué)習(xí)逃逸攻擊讓AI系統(tǒng)迷了眼睛

同時(shí)，白皮書以逃逸攻擊為例，解析了深度學(xué)習(xí)模型所存在的一些安全問題。所謂逃逸攻擊，指的是攻擊者在不改變目標(biāo)機(jī)器學(xué)習(xí)系統(tǒng)的情況下，通過構(gòu)造特定的輸入樣本以完成欺騙目標(biāo)系統(tǒng)的攻擊。只要一個(gè)機(jī)器學(xué)習(xí)模型沒有完美學(xué)到判別規(guī)則，攻擊者就有可能構(gòu)造對抗樣本以欺騙機(jī)器學(xué)習(xí)系統(tǒng)。

圖2：稍加干擾因素深度學(xué)習(xí)系統(tǒng)會(huì)將熊貓誤認(rèn)為長臂猿

白皮書中列舉了Ian Goodfellow在2015年ICLR會(huì)議上提出的著名逃逸樣本，樣本使用了谷歌的深度學(xué)習(xí)研究系統(tǒng)，該系統(tǒng)利用卷積神經(jīng)元網(wǎng)絡(luò)，能夠精確區(qū)分熊貓和長臂猿等圖片。

不過，攻擊者對熊貓的圖片“稍加改造”，增添了一些干擾因素。雖然這細(xì)微的差別并不會(huì)影響人類的判斷，不過深度學(xué)習(xí)系統(tǒng)卻把熊貓誤認(rèn)為了長臂猿。試想在具有圖像識別功能的AI系統(tǒng)中，如果判斷失誤，AI系統(tǒng)就很有可能做出截然不同的選擇，有可能導(dǎo)致非常嚴(yán)重的后果。

此外，基于機(jī)器學(xué)習(xí)的逃逸攻擊主要是分為白盒攻擊和黑盒攻擊。白盒攻擊需要獲取機(jī)器學(xué)習(xí)模型內(nèi)部的所有信息，然后直接計(jì)算得到對抗樣本;黑盒攻擊則只需要知道模型的輸入和輸出，通過觀察模型輸出的變化來生成對抗樣本。

深度學(xué)習(xí)需謹(jǐn)慎降維攻擊

此外白皮書指出，在深度學(xué)習(xí)的數(shù)據(jù)處理流程中，同樣存在安全風(fēng)險(xiǎn)。攻擊者在不利用平臺軟件實(shí)現(xiàn)漏洞或機(jī)器學(xué)習(xí)模型弱點(diǎn)的情況下，只利用深度學(xué)習(xí)數(shù)據(jù)流中的處理問題，就可以實(shí)現(xiàn)逃逸或者數(shù)據(jù)污染攻擊。

圖3：降維處理可能導(dǎo)致深度學(xué)習(xí)系統(tǒng)“指鹿為馬”

比如，白皮書引用了Caffe平臺自帶的經(jīng)典圖片識別應(yīng)用案例，案例使用了一張羊群的圖片，識別所用的神經(jīng)元網(wǎng)絡(luò)是谷歌發(fā)布的GoogleNet，數(shù)據(jù)來自著名的ImageNet比賽。不過令人遺憾的是，Caffe的深度學(xué)習(xí)應(yīng)用將羊群誤判為狼。究其原因，還是由于深度學(xué)習(xí)自身算法的問題。由于深度學(xué)習(xí)模型真正用到的數(shù)據(jù)都會(huì)是維度變化過的圖片，即對圖片進(jìn)行了一些算法處理，其中包括最近點(diǎn)抽取、雙線性插值。這些處理的目的就是降低算法的復(fù)雜程度，并盡量保持圖片原有的樣子。

但是這些常用的降維算法并沒有考慮惡意構(gòu)造的輸入。上面的攻擊例子，則是針對最常用的雙線性插值構(gòu)造的惡意攻擊樣本。根據(jù)白皮書的初步分析，幾乎所有網(wǎng)上流行的深度學(xué)習(xí)圖片識別程序都有被降維攻擊的風(fēng)險(xiǎn)。對于降維攻擊的防范，用戶可以采用對超出異常的圖片進(jìn)行過濾，對降維前后的圖片進(jìn)行比對，以及采用更加健壯的降維算法等。

當(dāng)前，人工智能的風(fēng)潮席卷而來，人們醉心于新鮮事物帶來的全新體驗(yàn)，卻往往忽視了暗流涌動(dòng)的安全問題。隨著人工智能的普及，人工智能將面臨來自多個(gè)方面的威脅：包括深度學(xué)習(xí)框架中的軟件識別漏洞、對抗機(jī)器學(xué)習(xí)的惡意樣本生成、訓(xùn)練數(shù)據(jù)的污染等等。未來，作為國內(nèi)最大的網(wǎng)絡(luò)安全公司，360將以更為開放、分享的心態(tài)，致力于幫助行業(yè)及廠商解決人工智能的安全問題，為我國人工智能的蓬勃發(fā)展保駕護(hù)航。