┊文章閱讀:次
剛剛獲悉,騰訊5篇網(wǎng)絡(luò)領(lǐng)域技術(shù)論文入選計(jì)算機(jī)網(wǎng)絡(luò)通信和系統(tǒng)領(lǐng)域國(guó)際頂尖會(huì)議SIGCOMM/NSDI 2024主會(huì),涉及高性能數(shù)據(jù)中心網(wǎng)絡(luò)、數(shù)據(jù)中心互聯(lián)網(wǎng)絡(luò)(DCI)、無(wú)線接入網(wǎng)等多個(gè)領(lǐng)域,受到國(guó)際行業(yè)專家的高度認(rèn)可。
據(jù)悉,ACM SIGCOMM和USENIX NSDI并列為計(jì)算機(jī)網(wǎng)絡(luò)領(lǐng)域最頂尖、含金量最高的旗艦型會(huì)議,號(hào)稱為計(jì)算機(jī)網(wǎng)絡(luò)領(lǐng)域的Science和Nature,對(duì)論文的質(zhì)量和數(shù)量要求極高,需具有基礎(chǔ)性貢獻(xiàn)、領(lǐng)導(dǎo)性影響和堅(jiān)實(shí)系統(tǒng)背景,且對(duì)互聯(lián)網(wǎng)發(fā)展具有重要影響力,2024年錄取率均不到19。
在數(shù)字化浪潮的推動(dòng)下,全球數(shù)據(jù)量呈爆炸式增長(zhǎng),網(wǎng)絡(luò)應(yīng)用也日益復(fù)雜,不僅對(duì)網(wǎng)絡(luò)速度和性能提出了更高要求,網(wǎng)絡(luò)處理開(kāi)銷也顯著攀升。在此背景下,騰訊創(chuàng)新推出了性能通信框架Turbo、DCI智連網(wǎng)MegaTE、擁塞控制算法Pudica、無(wú)線網(wǎng)絡(luò)多路徑方案AUGUR、可靠傳輸技術(shù)Hairpin 5項(xiàng)技術(shù),解決了目前網(wǎng)絡(luò)領(lǐng)域面臨的多項(xiàng)難題,為廣大企業(yè)及用戶提供了高效、低成本的方案。
騰訊的高性能網(wǎng)絡(luò)通信框架Turbo正是在高帶寬、低延時(shí)網(wǎng)絡(luò)需求激增的背景下應(yīng)運(yùn)而生,它專為Spark大規(guī)模部署RDMA網(wǎng)絡(luò)設(shè)計(jì),Turbo系統(tǒng)通過(guò)結(jié)合隨機(jī)化傳輸信息和DCT技術(shù),從數(shù)據(jù)塊層面解決了ECMP哈希不均勻問(wèn)題。而為了解決DCT技術(shù)帶來(lái)的動(dòng)態(tài)建鏈延遲問(wèn)題,Turbo構(gòu)建了推測(cè)傳輸機(jī)制,有效地避免了延時(shí)增加和建鏈?zhǔn) ?/p>
同時(shí),Turbo還設(shè)計(jì)了二級(jí)非阻塞執(zhí)行模型,實(shí)現(xiàn)了通信和計(jì)算進(jìn)程的分離,并提供了RDMA故障逃生的系統(tǒng)容錯(cuò)方案。其包含的網(wǎng)絡(luò)負(fù)載均衡,擁塞算法計(jì)算和通信進(jìn)程協(xié)同優(yōu)化等方面,有效提升了AI、分布式計(jì)算、存儲(chǔ)、數(shù)據(jù)庫(kù)等核心業(yè)務(wù)的數(shù)據(jù)處理速度和效率。目前,Turbo已在騰訊大數(shù)據(jù)平臺(tái)完成大規(guī)模部署,大幅提升數(shù)據(jù)處理速度和效率,助力用戶作業(yè)完成時(shí)間縮短超20,完成率提高2.5倍以上。
在云原生技術(shù)的驅(qū)動(dòng)下,業(yè)務(wù)虛擬化分布式部署實(shí)現(xiàn)了資源的高效利用,不同業(yè)務(wù)對(duì)網(wǎng)絡(luò)需求的差異性給傳統(tǒng)網(wǎng)絡(luò)調(diào)度方式帶來(lái)了極大挑戰(zhàn)。對(duì)此,騰訊創(chuàng)新打造了支持百萬(wàn)量級(jí)節(jié)點(diǎn)的DCI智連網(wǎng),在網(wǎng)絡(luò)系統(tǒng)架構(gòu)、IP承載協(xié)議、業(yè)務(wù)識(shí)別與調(diào)度等方面均取得技術(shù)突破,實(shí)現(xiàn)了業(yè)務(wù)級(jí)的流量差異化調(diào)度。通過(guò)服務(wù)器側(cè)的BD軟件系統(tǒng)和EA可編程交換機(jī),DCI智連網(wǎng)能夠精準(zhǔn)匹配和分類業(yè)務(wù)流,并構(gòu)建端網(wǎng)協(xié)同的調(diào)度系統(tǒng)。針對(duì)百萬(wàn)節(jié)點(diǎn)流量工程問(wèn)題,騰訊的MegaTE算法結(jié)合網(wǎng)絡(luò)的分層結(jié)構(gòu)、拓?fù)鋲嚎s和快速SSP技術(shù),確保了求解的高效性、實(shí)時(shí)性和準(zhǔn)確性。目前,DCI智連網(wǎng)已穩(wěn)定高效地支持騰訊多類業(yè)務(wù)平臺(tái)。
云游戲?qū)ρ舆t和碼率要求極高,需要擁塞控制算法具備高鏈路利用率、避免排隊(duì)和快速響應(yīng)鏈路惡化等能力。騰訊云的端到端擁塞控制算法Pudica,是業(yè)內(nèi)首次同時(shí)實(shí)現(xiàn)“零排隊(duì)”和高帶寬利用率的低延遲傳輸方案。它通過(guò)避免幀級(jí)別的排隊(duì)、自適應(yīng)pace技術(shù)實(shí)現(xiàn)高準(zhǔn)確性的BUR估計(jì),并結(jié)合歷史數(shù)據(jù)設(shè)計(jì)多種碼率控制策略,實(shí)現(xiàn)數(shù)據(jù)包延遲最小化,提高網(wǎng)絡(luò)帶寬利用率和公平性。Pudica已大規(guī)模部署,為上千萬(wàn)玩家提供高質(zhì)量服務(wù)。與業(yè)界最先進(jìn)的方法相比,Pudica顯著降低了卡頓率和幀延遲。
此外,為解決移動(dòng)端用戶在Wi-Fi下云游戲的延遲問(wèn)題,騰訊研發(fā)了多路徑傳輸框架AUGUR。該框架具備多鏈路、多連接和多協(xié)議組合的網(wǎng)絡(luò)傳輸能力,利用蜂窩網(wǎng)絡(luò)作為備份路徑,智能調(diào)整視頻幀傳輸,確保延遲維持在時(shí)延Deadline之內(nèi)。同時(shí),通過(guò)構(gòu)建用戶會(huì)話模型和用戶特征量化優(yōu)化傳輸,在保持用戶的蜂窩網(wǎng)流量消耗的前提下,降低用戶的尾部延遲。AUGUR技術(shù)成功做到減少66的尾部延遲、降低99.5的卡頓率,以及減少88.1的蜂窩數(shù)據(jù)使用量。
值得一提的是,針對(duì)傳統(tǒng)丟包處理方案效果不佳、成本高和延遲難以滿足等難題,騰訊推出丟包恢復(fù)機(jī)制Hairpin,利用邊緣節(jié)點(diǎn)低延遲環(huán)境,對(duì)數(shù)據(jù)包、重傳和冗余包進(jìn)行多輪傳輸優(yōu)化。Hairpin的創(chuàng)新點(diǎn)在于,能夠區(qū)分初始傳輸和重傳,采用不同冗余策略,保持低帶寬成本的同時(shí),有效控制卡頓率。同時(shí),Hairpin通過(guò)馬爾可夫決策過(guò)程優(yōu)化傳輸時(shí)序,并通過(guò)實(shí)時(shí)監(jiān)測(cè)網(wǎng)絡(luò)狀況,動(dòng)態(tài)調(diào)整FEC參數(shù)。目前,Hairpin平均能夠減少40帶寬成本和32卡頓率,且部署簡(jiǎn)單,只需在云游戲應(yīng)用的服務(wù)器和客戶端進(jìn)行相應(yīng)的修改,即可實(shí)現(xiàn)無(wú)縫集成。
騰訊在頂會(huì)SIGCOMM和NSDI上連續(xù)多年入選論文,是對(duì)其計(jì)算機(jī)網(wǎng)絡(luò)技術(shù)實(shí)力的充分認(rèn)可。未來(lái),騰訊將繼續(xù)深耕數(shù)據(jù)中心網(wǎng)絡(luò)、互聯(lián)網(wǎng)絡(luò)及無(wú)線接入網(wǎng)等領(lǐng)域,持續(xù)推動(dòng)技術(shù)創(chuàng)新與突破,為全球數(shù)據(jù)傳輸、存儲(chǔ)和處理能力注入強(qiáng)勁動(dòng)力,加速企業(yè)數(shù)字化轉(zhuǎn)型與業(yè)務(wù)革新。同時(shí),騰訊也將攜手業(yè)界伙伴,共促計(jì)算機(jī)網(wǎng)絡(luò)領(lǐng)域的蓬勃發(fā)展。
Copyright @ 2013-2020 中國(guó)福建網(wǎng) 版權(quán)所有
聯(lián)系我們
免責(zé)聲明:本站為非營(yíng)利性網(wǎng)站,部分圖片或文章來(lái)源于互聯(lián)網(wǎng)如果無(wú)意中對(duì)您的權(quán)益構(gòu)成了侵犯,我們深表歉意,請(qǐng)您聯(lián)系,我們立即刪除。