中國福建網(wǎng)

當(dāng)前位置:中國福建網(wǎng) > 國內(nèi) > 正文

光速運(yùn)算實(shí)現(xiàn)突破,AI訓(xùn)練的成本難題或?qū)⒌靡越鉀Q

作者: 編輯 來源:互聯(lián)網(wǎng) 發(fā)布時(shí)間:2018-07-30

┊文章閱讀:

圖片來源:視覺中國

1956年,“人工智能”這一概念被首次提出,自此以后,歷經(jīng)六十多年沉浮至今,人工智能一共經(jīng)歷了兩次浪潮。

第一次浪潮基于“if- then”結(jié)構(gòu),建立在人工設(shè)定的形式邏輯基礎(chǔ)上;第二次浪潮則是我們現(xiàn)在比較常見的,基于大數(shù)據(jù)驅(qū)動(dòng),借助統(tǒng)計(jì)學(xué)方法、模擬神經(jīng)網(wǎng)絡(luò)等來實(shí)現(xiàn)計(jì)算機(jī)的自主學(xué)習(xí)。

從這兩波浪潮的轉(zhuǎn)變中,我們發(fā)現(xiàn),AI的本質(zhì)就是計(jì)算,算法控制著數(shù)據(jù)的流動(dòng)并實(shí)現(xiàn)所謂的“智能”。計(jì)算,無疑是人工智能發(fā)展中最為重要的一環(huán)。而現(xiàn)在,人工智能的計(jì)算走到哪里了呢?

光速運(yùn)算,解決AI訓(xùn)練的成本難題

近日,OpenAI對(duì)不同時(shí)期最大型的AI試驗(yàn)所消耗的計(jì)算量進(jìn)行了調(diào)查分析。結(jié)果發(fā)現(xiàn),跟6年前相比,AI訓(xùn)練所需的計(jì)算量整整增長了30倍,相當(dāng)于每3.5月就翻番。

? 圖為AI訓(xùn)練所需的計(jì)算量(單位千億次浮點(diǎn)運(yùn)算)圖片來源:OpenAI分析報(bào)告

計(jì)算量不斷增加,其實(shí)并不是一件壞事,因?yàn)檫@代表著AI 的能力也在與日俱增,但是,計(jì)算力的提升也讓AI的訓(xùn)練成本不斷增加。拿目前大家都知道的AlphaGo Zero舉例,這是目前最大規(guī)模的AI實(shí)驗(yàn),其成本可能是1000萬美元。如果試驗(yàn)計(jì)算量持續(xù)增長,其成本每1.1-1.4年就會(huì)增加一個(gè)數(shù)量級(jí)。按照這個(gè)趨勢(shì),在5-6年的時(shí)間內(nèi),這個(gè)實(shí)驗(yàn)的成本將達(dá)到2000萬美元。

除非存在有一些非常強(qiáng)大的AI技術(shù)能帶來大規(guī)模的經(jīng)濟(jì)回報(bào),否則,要想維持AI的計(jì)算趨勢(shì),保證下一個(gè)“阿爾法狗”能被“喂養(yǎng)”出來,經(jīng)濟(jì)產(chǎn)出就要以每年一個(gè)數(shù)量級(jí)的速度來增長。這還只是就目前的情況而言,誰也無法保證AI計(jì)算趨勢(shì)在未來不會(huì)上漲得更快。

所以,目前擺在企業(yè)和政府面前的難題是,如何加快AI運(yùn)算速度,滿足人工智能研究中日益增長的計(jì)算量。

談起速度,目前宇宙中最快的速度是光速,光的傳播速度是 30 萬公里每秒,如果可以讓AI的深度神經(jīng)網(wǎng)絡(luò)中的信號(hào)以光速傳播,運(yùn)算速度是否也能相應(yīng)提高呢?

近日,來自加州大學(xué)洛杉磯分校(UCLA)的研究人員利用 3D 打印技術(shù)打印出了固態(tài)的神經(jīng)網(wǎng)絡(luò),并且利用層級(jí)傳播的光衍射來執(zhí)行計(jì)算,并達(dá)到了圖像識(shí)別手寫數(shù)字的效果。

? 圖為衍射深度神經(jīng)網(wǎng)絡(luò)(D^2NN)架構(gòu) 圖片來源:《science》

用光來執(zhí)行運(yùn)算其實(shí)與機(jī)器學(xué)習(xí)的經(jīng)典算法之一 ——線性回歸算法有著某種天然的合契,線性回歸一般是根據(jù)連續(xù)變量來估計(jì)實(shí)際數(shù)值,而光的振幅、相位都屬于可以調(diào)整的變量,這也是AI光速運(yùn)算與傳統(tǒng)計(jì)算機(jī)電路中電場(chǎng)傳播所區(qū)別的地方。該項(xiàng)技術(shù)的發(fā)展,相信能為AI計(jì)算成本的不斷降低和量產(chǎn)化目標(biāo)帶來助力。

用光執(zhí)行運(yùn)算,意味著什么?

隨著技術(shù)落地,當(dāng)光速運(yùn)算技術(shù)被真正應(yīng)用,會(huì)對(duì)人工智能有哪些改變呢?智能相對(duì)論(ID:aixdlun)分析師顏璇認(rèn)為,其在以下兩個(gè)方面會(huì)有較大突破。

1、“黑匣子”成為了陽光下的“玻璃箱”

如果說人類是AI的“上帝”, 那么人類給AI的只是“生命”組合的規(guī)則,而真正的演化卻是由AI自己完成的。

在初始階段,AI的認(rèn)知是十分有限的,它在不斷地試錯(cuò)中尋求最佳結(jié)果,從而涌現(xiàn)出某種程度的智能。從人類的角度來講,我們?cè)贏I認(rèn)知的過程中是缺席的,在深度學(xué)習(xí)的框架下,我們“知其然而不知其所以然”,這就是著名的“黑匣子”問題。

AI預(yù)測(cè)你將在50年后死亡,你卻不知道它運(yùn)作的原理;無人駕駛的汽車撞上公路旁的護(hù)欄,你也不知道問題究竟出在哪里,只能送回原廠,修改全盤的算法。

讓AI擁有了光,“黑匣子”的問題或許就能迎刃而解了。要知道,AI運(yùn)算雖然是看不見摸不著的數(shù)字,但光的衍射卻是實(shí)實(shí)在在的物理現(xiàn)象,如果將模型的預(yù)測(cè)過程固化為物理表示,就可以清楚地觀察到人工智能運(yùn)算的過程。

在用光執(zhí)行運(yùn)算的實(shí)驗(yàn)中,UCLA 的研究人員研發(fā)出了一個(gè) 3D 打印 AI 分析系統(tǒng)。這一系統(tǒng)可以通過光線的衍射來分析人工智能。研究人員也表示,通過改變相位和振幅,人工智能中每個(gè)“神經(jīng)元”都將是可調(diào)的。

2. AI 的“養(yǎng)成”游戲:強(qiáng)人工智能的開啟

強(qiáng)人工智能(有知覺和自我意識(shí),且能推理和解決問題的智能機(jī)器)究竟能否實(shí)現(xiàn)?

有人預(yù)測(cè),在21世紀(jì)內(nèi)將出現(xiàn)能夠與人類智能水平相當(dāng)?shù)腁I。而這種預(yù)測(cè)的立場(chǎng)來源于一種建立在還原論基礎(chǔ)上的計(jì)算主,其基本觀點(diǎn)是認(rèn)為物理世界、生命過程甚至人類心智都是算法可計(jì)算的。

人類的大腦就像一臺(tái)計(jì)算機(jī)在運(yùn)作,只要能夠模擬出人類大腦的計(jì)算規(guī)則,我們就能夠建立至少與人類水平相當(dāng)?shù)闹悄軝C(jī)器。當(dāng)然了,這里面暗藏一個(gè)假設(shè),即人類的全部意識(shí)均是大腦的計(jì)算產(chǎn)物。

如何創(chuàng)造出一個(gè)強(qiáng)人工智能, 我們或許就可以從人腦的計(jì)算量入手。這里有一個(gè)自然的假設(shè),就是如果我們創(chuàng)造出一個(gè)AI,從零歲起就能夠有足夠的計(jì)算能力去模擬人類大腦運(yùn)行18年,并以足夠細(xì)的顆粒度去捕捉大腦的智力表現(xiàn),這個(gè)AI能否像一位18歲的成年人一樣解決問題?

而這個(gè)計(jì)算量有多大呢?模擬大腦一秒鐘所需的每秒峰值速度(FLOPS,也稱作“每秒浮點(diǎn)運(yùn)算次數(shù)”)有很多測(cè)算,比如AI Impact收集的數(shù)據(jù)得出的中位數(shù)是1018 FLOPS,范圍在3×10^13FLOPS與1×10^25FLOPS之間。運(yùn)行這樣的模擬18年相當(dāng)于700萬Petaflop。

而AI技術(shù)不斷發(fā)展,其顆粒度只會(huì)更加細(xì)微,計(jì)算量也會(huì)更加大。如果能用光執(zhí)行運(yùn)算,無疑是為這一暢想提供了一項(xiàng)可行的技術(shù)。

光速運(yùn)算的“硬傷”

用光來執(zhí)行運(yùn)算固然是革新了神經(jīng)網(wǎng)絡(luò)的計(jì)算方式,但是,這種方法本身還是有著一些問題。

首先,在上文提到的實(shí)驗(yàn)中,光的運(yùn)算是建立在固化的神經(jīng)網(wǎng)絡(luò)的基礎(chǔ)上,因此,當(dāng)深度學(xué)習(xí)已經(jīng)完成訓(xùn)練,并且將所有參數(shù)的值都確定下來,繼而利用3D打印技術(shù)進(jìn)行固化,打印出的神經(jīng)網(wǎng)絡(luò)就不能再被編程。

其次,打造一個(gè)能實(shí)現(xiàn)按需處理任務(wù)的超高精度衍射板是非常困難的,在解決了計(jì)算訓(xùn)練成本的難題時(shí),很難說這個(gè)新技術(shù)不會(huì)帶來硬件研發(fā)的成本難題。除了制作工藝外,還有硬件安裝和環(huán)境穩(wěn)定性的難題。

誠然,新技術(shù)的應(yīng)用仍需要一段時(shí)間,用光來執(zhí)行運(yùn)算究竟能否滿足高速增長的AI計(jì)算趨勢(shì),還需要我們積極探索。

隨著計(jì)算問題的解決,人工智能也必將取得長足發(fā)展。

【鈦媒體作者介紹:文/顏璇;智能相對(duì)論(微信id:aixdlun):深挖人工智能這口井,評(píng)出咸淡,講出黑白,道出vb深淺。重點(diǎn)關(guān)注領(lǐng)域:AI+醫(yī)療、機(jī)器人、智能駕駛、AI+硬件、物聯(lián)網(wǎng)、AI+金融、AI+安全、AR/VR、開發(fā)者以及背后的芯片、算法、人機(jī)交互等】

  • 新浪新聞
  • 百度搜索
  • 搜狗搜索
  • 京東商城
  • 企業(yè)慧聰
  • 新浪科技
  • 科技訊
  • 鵪鶉蛋價(jià)格
  • 唯美圖片