作為人工智能技術(shù)的重要分支，圖像識別技術(shù)在眾多領域一直受到廣泛關注，然而不為人知是這項技術(shù)背后其實隱藏著一定的安全風險。日前，360安全研究院發(fā)布《AI安全風險白皮書》，白皮書中指便出360安全團隊發(fā)現(xiàn)在圖像識別深度學習的數(shù)據(jù)處理流程中存在安全風險。攻擊者在不利用平臺軟件實現(xiàn)漏洞或機器學習模型弱點的情況下，只利用深度學習數(shù)據(jù)流中的處理問題，就可以實現(xiàn)逃逸或數(shù)據(jù)污染攻擊。

相信許多人都聽說過，人工智能深度學習系統(tǒng)的核心是神經(jīng)元網(wǎng)絡。通常情況下，圖像識別深度學習使用的靜態(tài)神經(jīng)元網(wǎng)絡會假定自己的輸入是一個固定的維度。但是，實際情況卻是：實際的輸入并不一定與神經(jīng)元網(wǎng)絡模型輸入具有相同的維度。

圖1：通常情況下，原始圖片會經(jīng)過維度調(diào)整，深度學習系統(tǒng)才能識別其信息

要解決這一問題的方法有兩種，一種是對輸入的維度進行強行限制，另外一種方法是對輸入進行維度調(diào)整。比如在圖像識別應用中，深度學習系統(tǒng)會將大的輸入圖片進行維度縮減，小的圖片進行維度放大，采用的算法包括最近點抽取和雙線性插值等。這種處理的目的就是對圖片降維的同時盡量保持圖片原有的樣子，以確保深度學習系統(tǒng)做出正確的判斷。

但是，上述的情況非常理想化。在實際中，這些常用的降維算法并沒有考慮惡意構(gòu)造的輸入。也就是說：攻擊者可以事先對輸入進行特殊構(gòu)造處理。經(jīng)過處理后，降維函數(shù)會輸出異常的結(jié)果。

下面這組圖片就是攻擊者針對最常用的雙線性插值構(gòu)造的惡意攻擊樣本，雖然原始輸入是一張羊群的圖片，但是經(jīng)過降維處理后，圖像識別系統(tǒng)會將其誤判為一只雪地里的白狼；雖然原始輸入是一只卡通小羊，但圖像識別系統(tǒng)會將其誤判為一只可愛的小貓。

圖2：降維處理后，圖像識別系統(tǒng)可能輸出謬誤嚴重的結(jié)果

再比如下面這組實例，一些對于人來說很清楚的數(shù)字，深度學習系統(tǒng)卻會誤判。下面顯示了了四組圖片，每一組中，左邊是對應用的輸入，也就是人看到的圖片；右邊是人看不到，但是被機器學習模型最后處理的圖片。

圖3：降維算法可能讓深度學習系統(tǒng)出現(xiàn)嚴重誤判

根據(jù)360安全研究人員的分析：幾乎所有網(wǎng)上流行的深度學習圖片識別程序都有被降維攻擊的風險，解決方法包括對人工過濾異常圖片、人工對比識別結(jié)果，以及采用更為健壯的降維算法等。對此，白皮書特別強調(diào)：人工智能安全問題不容忽視，360安全研究院希望公眾在擁抱人工智能熱潮的同時，也能持續(xù)關注深度學習系統(tǒng)中的安全問題。