當(dāng)前的企業(yè)網(wǎng)絡(luò)架構(gòu)在數(shù)字化轉(zhuǎn)型過(guò)程中面臨許多難點(diǎn)。計(jì)算機(jī)網(wǎng)絡(luò)系統(tǒng)作為IT基礎(chǔ)設(shè)施關(guān)鍵且復(fù)雜的一部分,其架構(gòu)和設(shè)計(jì)的理念正在從傳統(tǒng)的面向硬件設(shè)備的網(wǎng)絡(luò)運(yùn)維理念,重構(gòu)為面向業(yè)務(wù)和應(yīng)用的網(wǎng)絡(luò)運(yùn)營(yíng)理念,這是企業(yè)網(wǎng)絡(luò)的數(shù)字化轉(zhuǎn)型的一個(gè)重要目標(biāo)。網(wǎng)絡(luò)架構(gòu)不夠敏捷、網(wǎng)絡(luò)運(yùn)維不夠自動(dòng)化和智能化、網(wǎng)絡(luò)故障定位難等是最主要的挑戰(zhàn),這還帶來(lái)了業(yè)務(wù)連續(xù)性無(wú)法滿(mǎn)足服務(wù)等級(jí)協(xié)議Service Level Agreement,?SLA要求、網(wǎng)絡(luò)運(yùn)營(yíng)成本高等諸多問(wèn)題。

人工智能領(lǐng)域的技術(shù)正在迅速發(fā)展,這為解決網(wǎng)絡(luò)系統(tǒng)中的難點(diǎn)帶來(lái)了新的思路和方法。本文主要闡述了AI技術(shù)在網(wǎng)絡(luò)智能化過(guò)程中的一些應(yīng)用和未來(lái)展望。

第一部分 ?AI技術(shù)在網(wǎng)絡(luò)系統(tǒng)領(lǐng)域的應(yīng)用

1.1?AI技術(shù)在計(jì)算機(jī)網(wǎng)絡(luò)系統(tǒng)領(lǐng)域的應(yīng)用

計(jì)算機(jī)網(wǎng)絡(luò)系統(tǒng)的智能化主要經(jīng)歷了三個(gè)階段。

第一個(gè)階段是通過(guò)“軟件定義網(wǎng)絡(luò)Software Defined Network,?SDN”技術(shù)實(shí)現(xiàn)了對(duì)網(wǎng)絡(luò)系統(tǒng)的動(dòng)態(tài)配置、監(jiān)控及優(yōu)化,解決了傳統(tǒng)網(wǎng)絡(luò)系統(tǒng)的靜態(tài)架構(gòu)定義和表達(dá)問(wèn)題。

圖1.軟件定義網(wǎng)絡(luò)技術(shù)示意圖

第二個(gè)階段是大數(shù)據(jù)和深度學(xué)習(xí)技術(shù)的應(yīng)用。在許多業(yè)務(wù)場(chǎng)景下實(shí)現(xiàn)了智能網(wǎng)絡(luò)的“自治化管理”,也就是一系列的智能網(wǎng)絡(luò)設(shè)備和控制器對(duì)網(wǎng)絡(luò)狀態(tài)的智能化監(jiān)測(cè)、性能優(yōu)化及安全防護(hù)。這與張宏軍老師的《從隱秩序到顯規(guī)則》的復(fù)雜性科學(xué)的思路是一致的。

現(xiàn)在是第三個(gè)階段,即用大模型技術(shù)推動(dòng)智能網(wǎng)絡(luò)的進(jìn)化。目前主要有兩個(gè)研究方向:第一個(gè)是使用大模型來(lái)全面學(xué)習(xí)網(wǎng)絡(luò)系統(tǒng)的策略,如架構(gòu)、配置、安全、監(jiān)控、優(yōu)化等對(duì)象,進(jìn)而能夠?qū)崿F(xiàn)全方位的智能化運(yùn)維和故障處理,做到人工智能輔助的運(yùn)營(yíng)AI Ops;第二個(gè)是使用大模型來(lái)學(xué)習(xí)并識(shí)別數(shù)據(jù)流的行為和意圖,幫助進(jìn)一步提升網(wǎng)絡(luò)安全的智能防控水平,提升面向業(yè)務(wù)和應(yīng)用的網(wǎng)絡(luò)系統(tǒng)安全策略。

圖2.智能化網(wǎng)絡(luò)概念示意圖

1.2在計(jì)算機(jī)網(wǎng)絡(luò)系統(tǒng)的智能化改進(jìn)過(guò)程中,大模型技術(shù)的重要性和必要性

大模型是指使用一個(gè)大的人工神經(jīng)網(wǎng)絡(luò)的模型,比如大家熟知的ChatGPT-3的模型有1750億個(gè)參數(shù)。因?yàn)楫?dāng)前的人工智能技術(shù)主要是通過(guò)模型的參數(shù)來(lái)計(jì)算并輸出學(xué)習(xí)到的知識(shí),所以越大的模型能夠?qū)W習(xí)并輸出的知識(shí)就會(huì)越多,進(jìn)而也能夠產(chǎn)生更多的涌現(xiàn)并有能力生成較復(fù)雜的高價(jià)值的內(nèi)容。

當(dāng)前,計(jì)算機(jī)網(wǎng)絡(luò)系統(tǒng)領(lǐng)域的技術(shù)知識(shí)是巨量的,只有大模型才有足夠的學(xué)習(xí)潛力。當(dāng)前主流的大模型都是基于Transformer模型發(fā)展而來(lái)的,還需要許多的基礎(chǔ)研究工作,才能在計(jì)算機(jī)網(wǎng)絡(luò)領(lǐng)域取得類(lèi)似于ChatGPT那樣高水準(zhǔn)的突破。

1.3大模型技術(shù)在網(wǎng)絡(luò)工程領(lǐng)域當(dāng)前的進(jìn)展

我們?cè)O(shè)計(jì)開(kāi)發(fā)了一個(gè)“智能網(wǎng)絡(luò)操作員”AI Operator。它可以自主檢查、發(fā)現(xiàn)、修復(fù)網(wǎng)絡(luò)故障,它可以作為網(wǎng)絡(luò)運(yùn)維方案中的智能化控制中心。它的精簡(jiǎn)版本可以運(yùn)行在個(gè)人電腦上,在5秒之內(nèi)可以智能分析處理一個(gè)小型網(wǎng)絡(luò)中的數(shù)千條信息,達(dá)到100準(zhǔn)確率和可靠性。

這是我們?cè)谟?jì)算機(jī)網(wǎng)絡(luò)系統(tǒng)領(lǐng)域內(nèi)實(shí)現(xiàn)的首個(gè)通用型的智能操作員,以往的產(chǎn)品僅僅可以實(shí)現(xiàn)單個(gè)技術(shù)上的智能化,比如入侵檢測(cè)的智能化、流量工程的智能化等。我們嘗試把自然語(yǔ)言處理領(lǐng)域的智能化技術(shù)遷移到計(jì)算機(jī)網(wǎng)絡(luò)領(lǐng)域,已經(jīng)取得了初步的成功。

圖 3智能網(wǎng)絡(luò)操作員的工作原理

1.4這項(xiàng)智能操作員技術(shù)的應(yīng)用場(chǎng)景

這項(xiàng)技術(shù)可以重構(gòu)網(wǎng)絡(luò)系統(tǒng)的智能化運(yùn)維控制中心。它能夠?qū)崟r(shí)分析網(wǎng)絡(luò)中的監(jiān)控?cái)?shù)據(jù),并發(fā)出修復(fù)故障或優(yōu)化網(wǎng)絡(luò)的操控指令。

它也可以學(xué)習(xí)、感知網(wǎng)絡(luò)數(shù)據(jù)流的行為和意圖,進(jìn)而實(shí)施主動(dòng)安全防護(hù)策略。比如在近期發(fā)生的黑客攻擊地震監(jiān)測(cè)中心事件中,如果通過(guò)數(shù)據(jù)流的行為去分析其意圖,就很容易區(qū)分并捕獲惡意數(shù)據(jù)流,進(jìn)而發(fā)出實(shí)時(shí)告警,記錄并拒止其入侵行為。

第二部分關(guān)于QRDQN算法和關(guān)鍵性損失算法的深度技術(shù)分析

2.1這個(gè)AI項(xiàng)目從技術(shù)上的實(shí)現(xiàn)方式

該項(xiàng)目主要涉及三個(gè)方面的核心工作:

第一個(gè)方面,就是設(shè)計(jì)了一個(gè)全新的架構(gòu),把計(jì)算機(jī)網(wǎng)絡(luò)和人工神經(jīng)網(wǎng)絡(luò)集成在一起,這個(gè)架構(gòu)通過(guò)我們的環(huán)境感知組件來(lái)實(shí)現(xiàn),主要有以下功能:

1.使用軟件接口抓取計(jì)算機(jī)網(wǎng)絡(luò)的狀態(tài)信息,比如網(wǎng)絡(luò)接口的狀態(tài)、路由狀態(tài)等;

2.使用預(yù)定義的標(biāo)準(zhǔn)來(lái)評(píng)估網(wǎng)絡(luò)當(dāng)前的狀況,如果某個(gè)操作指令改善了網(wǎng)絡(luò)狀況,評(píng)分會(huì)增加1分,反之則評(píng)分減少1分;

3.使用預(yù)定義的規(guī)則將網(wǎng)絡(luò)狀態(tài)信息轉(zhuǎn)換為嵌入向量Embedding?Vector,這樣可以?xún)?yōu)化神經(jīng)網(wǎng)絡(luò)的運(yùn)算效率;

4.自動(dòng)將神經(jīng)網(wǎng)絡(luò)生成的指令應(yīng)用于計(jì)算機(jī)網(wǎng)絡(luò),并且向神經(jīng)網(wǎng)絡(luò)反饋?zhàn)钚碌挠?jì)算機(jī)網(wǎng)絡(luò)狀態(tài)信息。

第二個(gè)方面,是提出了對(duì)QRDQN算法的優(yōu)化方法,也就是“關(guān)鍵性損失算法”。

QRDQN算法是當(dāng)前最主流的強(qiáng)化學(xué)習(xí)算法之一,它會(huì)對(duì)每一個(gè)State-Action Pair進(jìn)行計(jì)算并得到多個(gè)評(píng)估分值,最終優(yōu)選出平均分最高的Action作為該State下的正確指令并輸出該指令。

原本的QRDQN算法的準(zhǔn)確率在80左右,也就是說(shuō)有大約20的輸出指令是錯(cuò)誤的。這是由于神經(jīng)網(wǎng)絡(luò)自身的以下兩個(gè)特點(diǎn)導(dǎo)致的:

1.神經(jīng)網(wǎng)絡(luò)會(huì)輸出統(tǒng)計(jì)意義上的計(jì)算數(shù)據(jù),其數(shù)值表示某個(gè)結(jié)果的正確概率,數(shù)值越高表示該結(jié)果有越大的概率是正確的;

2.神經(jīng)網(wǎng)絡(luò)在優(yōu)化過(guò)程中,其計(jì)算參數(shù)會(huì)被微調(diào),這帶來(lái)了輸出數(shù)值的波動(dòng)性,影響了其準(zhǔn)確率。

解決以上問(wèn)題的思路是:

1.根據(jù)需求設(shè)定輸出數(shù)值的目標(biāo)值。本項(xiàng)目中需要分離正確、錯(cuò)誤兩種指令,所以需要選取兩個(gè)目標(biāo)值。所選數(shù)值一方面需要位于0到1之間神經(jīng)網(wǎng)絡(luò)的數(shù)據(jù)敏感區(qū)間是-1到1,因?yàn)閮H需要兩個(gè)目標(biāo)值,所以選擇兩個(gè)正數(shù)數(shù)值,降低計(jì)算復(fù)雜度,另一方面它們之間要有適當(dāng)?shù)拈g距以有效分離正確和錯(cuò)誤兩種指令,同時(shí)還要遠(yuǎn)離0和1這兩個(gè)邊界因?yàn)檫吔缣帟?huì)產(chǎn)生精度下降的問(wèn)題,需要復(fù)雜的數(shù)值處理方法。最終選取0.7為正確指令的輸出數(shù)值的目標(biāo)值,選取0.3為錯(cuò)誤指令的輸出數(shù)值的目標(biāo)值,詳細(xì)的計(jì)算過(guò)程請(qǐng)參見(jiàn)圖4。

2.神經(jīng)網(wǎng)絡(luò)輸出數(shù)值和目標(biāo)值之間的誤差稱(chēng)為損失,某些損失會(huì)導(dǎo)致指令優(yōu)選過(guò)程中的錯(cuò)誤,它們被分類(lèi)為關(guān)鍵性損失;另外一些損失則對(duì)指令優(yōu)選過(guò)程影響較小,它們被分類(lèi)為非關(guān)鍵性損失。在之后的總損失計(jì)算和神經(jīng)網(wǎng)絡(luò)優(yōu)化時(shí),賦予關(guān)鍵性損失較大的權(quán)重,在優(yōu)化過(guò)程中重點(diǎn)降低關(guān)鍵性損失,提高準(zhǔn)確率。

下面是“關(guān)鍵性損失算法”的計(jì)算流程示意圖:

圖 4. QRDQN算法和關(guān)鍵性損失算法示意圖

詳細(xì)解釋如下:

1.設(shè)定神經(jīng)網(wǎng)絡(luò)輸出7個(gè)數(shù)字?jǐn)?shù)值位于0和1之間來(lái)表示一個(gè)指令的評(píng)估得分,7個(gè)評(píng)估得分的平均值越大則表示該指令越優(yōu)取平均值可以降低神經(jīng)網(wǎng)絡(luò)輸出數(shù)值的波動(dòng)性對(duì)準(zhǔn)確率的影響,神經(jīng)網(wǎng)絡(luò)將輸出最優(yōu)指令;

2.該最優(yōu)指令將應(yīng)用于計(jì)算機(jī)網(wǎng)絡(luò),并評(píng)估其效果,以效果為標(biāo)準(zhǔn)分離了正確指令和錯(cuò)誤指令;

3.根據(jù)多次測(cè)試的數(shù)據(jù),選取了4個(gè)數(shù)值用來(lái)計(jì)算并得到“關(guān)鍵性損失”,具體如下:

3.1設(shè)定正確指令的評(píng)估得分的目標(biāo)值為0.7。因?yàn)檩^高的評(píng)估得分有助于該正確指令被優(yōu)選,所以當(dāng)單個(gè)得分大于或等于0.7時(shí),該得分的相關(guān)損失屬于“非關(guān)鍵性損失”;

3.2設(shè)定正確指令的7個(gè)評(píng)估得分的平均值的安全值為0.56。當(dāng)它們的平均值大于或等于0.56時(shí),它們的相關(guān)損失都屬于“非關(guān)鍵性損失”;

3.3設(shè)定錯(cuò)誤指令的評(píng)估得分的目標(biāo)值為0.3。因?yàn)檩^低的評(píng)估得分不會(huì)讓該錯(cuò)誤指令被優(yōu)選,所以當(dāng)單個(gè)得分小于或等于0.3時(shí),該得分的相關(guān)損失屬于“非關(guān)鍵性損失”;

3.4設(shè)定錯(cuò)誤指令的7個(gè)評(píng)估得分的平均值的安全值為0.44。當(dāng)它們的平均值小于或等于0.44時(shí),它們的相關(guān)損失都屬于“非關(guān)鍵性損失”;

3.5其他的損失屬于“關(guān)鍵性損失”;

4.根據(jù)“關(guān)鍵性損失”,使用Adam優(yōu)化算法優(yōu)化神經(jīng)網(wǎng)絡(luò),損失平均值從2.62E-03下降到了1.17E-04,降低了95.5;

5.經(jīng)過(guò)進(jìn)一步的微調(diào),輸出指令的準(zhǔn)確度達(dá)到了100。

圖 5.優(yōu)化以后損失平均值降低了95.5

第三個(gè)方面,在Python的開(kāi)源項(xiàng)目stable-baselines3的基礎(chǔ)上,完成了項(xiàng)目代碼,實(shí)現(xiàn)了“智能操作員”的設(shè)計(jì)功能,并把完整的代碼存儲(chǔ)在GitHub上成為一個(gè)新的開(kāi)源項(xiàng)目,希望更多的工程師能夠參與,共同提升行業(yè)的智能化水平。

2.2傳統(tǒng)的網(wǎng)絡(luò)技術(shù)無(wú)法達(dá)到“智能操作員”的效果

以前的相關(guān)產(chǎn)品可以實(shí)現(xiàn)在某一個(gè)業(yè)務(wù)場(chǎng)景的自動(dòng)化控制,比如我們有一個(gè)產(chǎn)品叫做RCU檢察員CheckRCU,可以根據(jù)預(yù)定義的規(guī)則和方法去檢測(cè)網(wǎng)絡(luò)狀態(tài)并處理故障,它的局限性在于它只能夠應(yīng)對(duì)已知的、預(yù)定義的一些情況。

隨著網(wǎng)絡(luò)技術(shù)的發(fā)展,現(xiàn)在的網(wǎng)絡(luò)設(shè)施是多樣化的,比如:安全設(shè)備、存儲(chǔ)設(shè)備、無(wú)線設(shè)備、監(jiān)控設(shè)備等等,設(shè)備和服務(wù)可以位于本地也可以位于云上,所以傳統(tǒng)的技術(shù)難以實(shí)現(xiàn)對(duì)網(wǎng)絡(luò)的全方位的智能化操作。

而人工智能模型在學(xué)習(xí)的過(guò)程中,可以建立起對(duì)網(wǎng)絡(luò)各個(gè)節(jié)點(diǎn)及其狀態(tài)的認(rèn)知,并進(jìn)一步關(guān)聯(lián)其操作方法和指令,從而可以實(shí)現(xiàn)全面的智能化檢測(cè)和故障修復(fù)。

在其他領(lǐng)域也會(huì)有類(lèi)似的應(yīng)用場(chǎng)景,比如無(wú)人機(jī)的AI控制系統(tǒng)。無(wú)人機(jī)可以通過(guò)自身的狀態(tài)傳感器、GPS、實(shí)時(shí)取景畫(huà)面等信息感知飛行狀態(tài),適時(shí)做出飛行姿態(tài)調(diào)整并完成飛行計(jì)劃。AI控制系統(tǒng)經(jīng)過(guò)在仿真環(huán)境中的訓(xùn)練就能識(shí)別各種外部環(huán)境信息并學(xué)會(huì)正確的應(yīng)對(duì)方法。

2.3智能化過(guò)程中的難點(diǎn)

主要難點(diǎn)有:高算力、高數(shù)據(jù)質(zhì)量、大模型的結(jié)構(gòu)及算法優(yōu)化、數(shù)據(jù)的語(yǔ)義編碼及其優(yōu)化。以語(yǔ)義編碼為例,在自然語(yǔ)言處理領(lǐng)域有許多成熟的語(yǔ)義編碼技術(shù),比如:Word2vec、BERT、GPT等技術(shù),它們可以從統(tǒng)計(jì)學(xué)的角度給語(yǔ)義相近的詞賦予相近的編碼;但是在網(wǎng)絡(luò)領(lǐng)域,目前還沒(méi)有成熟的技術(shù)可以用來(lái)對(duì)網(wǎng)絡(luò)的狀態(tài)信息進(jìn)行語(yǔ)義編碼,所以仍需要大量的研究工作去解決此類(lèi)問(wèn)題。

2.4目前的一些較為成熟的應(yīng)用場(chǎng)景

智能化的網(wǎng)絡(luò)要求盡可能多的設(shè)備都具有智能化模塊,這些智能模塊可以獨(dú)立處理一些較簡(jiǎn)單的需求,也可以和控制器聯(lián)動(dòng)。比如:網(wǎng)絡(luò)流量的預(yù)測(cè)和優(yōu)化、無(wú)線網(wǎng)絡(luò)容量和性能的自動(dòng)優(yōu)化、根據(jù)網(wǎng)絡(luò)負(fù)載動(dòng)態(tài)優(yōu)化設(shè)備耗電量等。

2.5智能化技術(shù)未來(lái)的應(yīng)用前景廣闊

智能化技術(shù)不僅僅體現(xiàn)在網(wǎng)絡(luò)的智能控制器上,也將體現(xiàn)在所有的網(wǎng)絡(luò)接入設(shè)備和終端上,智能化的方案最終將是分布式的。比如無(wú)線AP的智能天線,可以引導(dǎo)終端連接到信號(hào)最好的AP上;再比如我們經(jīng)常提到的物聯(lián)網(wǎng),未來(lái)隨著智能化技術(shù)和應(yīng)用的進(jìn)一步成熟,功能增強(qiáng)的同時(shí)成本降低,各式各樣的聯(lián)網(wǎng)設(shè)備都會(huì)智能化,功能和安全性都會(huì)提升。

第三部分關(guān)于學(xué)習(xí)智能化技術(shù)的入門(mén)之路

3.1學(xué)習(xí)智能化技術(shù),在計(jì)算機(jī)網(wǎng)絡(luò)領(lǐng)域的職業(yè)發(fā)展機(jī)會(huì)

現(xiàn)在是一個(gè)較好的契機(jī)。很多新的技術(shù)在網(wǎng)絡(luò)領(lǐng)域還處于應(yīng)用的早期,除了人工智能技術(shù),還有網(wǎng)絡(luò)資源云化的相關(guān)技術(shù)、設(shè)備全生命周期自動(dòng)化的相關(guān)技術(shù)等等。

網(wǎng)絡(luò)行業(yè)的技術(shù)和產(chǎn)品迭代很快,所以最重要的是能跟進(jìn)新技術(shù),過(guò)往的產(chǎn)品和技術(shù)的重要性較低?，F(xiàn)在智能化的應(yīng)用還在早期,面對(duì)未來(lái)的新機(jī)會(huì)、新產(chǎn)品、新方案,大家的差距不大,保持年輕的學(xué)習(xí)心態(tài)最為重要,年輕人有很大的優(yōu)勢(shì)。

3.2學(xué)好智能化技術(shù)的建議

很多人在學(xué)習(xí)的廣度和深度上會(huì)有困惑,現(xiàn)在是技術(shù)飛速發(fā)展的時(shí)代,我們應(yīng)該優(yōu)先學(xué)習(xí)更廣的知識(shí),暫時(shí)不需要太過(guò)深入,掌握最基礎(chǔ)的概念和用法就可以了。這樣可以較為容易地?cái)U(kuò)展自身,持續(xù)取得小的成績(jī),后面就會(huì)逐漸地水到渠成了,找到屬于自己的機(jī)會(huì)或項(xiàng)目時(shí),再深入學(xué)習(xí)和發(fā)展就行了。

3.3未來(lái)會(huì)出現(xiàn)專(zhuān)業(yè)提供智能化服務(wù)的公司

未來(lái)會(huì)出現(xiàn)專(zhuān)業(yè)提供智能化服務(wù)的公司。技術(shù)其實(shí)是通用的,可以在許多行業(yè)得到普遍的應(yīng)用,當(dāng)然會(huì)做一些定制化和場(chǎng)景優(yōu)化。因此未來(lái)專(zhuān)業(yè)提供智能化服務(wù)的公司一定會(huì)出現(xiàn)而且市場(chǎng)前景廣闊。

AI技術(shù)的發(fā)展給各個(gè)行業(yè)都帶來(lái)了新的空間和發(fā)展機(jī)會(huì),希望更多的人能抓住智能化的時(shí)代機(jī)遇。謝謝大家。

本文作者:武斌斌