新聞重點：

·Arm通過把Kleidi技術(shù)集成到PyTorch和ExecuTorch，將關(guān)鍵的AI性能優(yōu)勢從邊側(cè)拓展至云端，賦能新一代應(yīng)用在Arm CPU上運行大語言模型。

·對普及ML工作負(fù)載的持續(xù)投入將使任一技術(shù)棧的開發(fā)者能夠在最新的生成式AI模型上即刻獲得顯著的推理性能提升。

·通過擴大與云服務(wù)提供商以及主要的ML獨立軟件開發(fā)商合作，進一步賦能全球的AI開發(fā)者。

Arm控股有限公司納斯達克股票代碼：ARM，以下簡稱“Arm”近期宣布通過將Arm Kleidi技術(shù)集成到PyTorch和ExecuTorch，賦能新一代應(yīng)用在Arm CPU上運行大語言模型LLM。Kleidi匯集了最新的開發(fā)者賦能技術(shù)和關(guān)鍵資源，旨在推動機器學(xué)習(xí)ML技術(shù)棧中的技術(shù)協(xié)作和創(chuàng)新。通過這些重要進展，Arm致力于為任一ML技術(shù)棧的開發(fā)者提供更為順暢的體驗。

Arm戰(zhàn)略與生態(tài)部開發(fā)者技術(shù)副總裁Alex Spinelli表示：“Arm正與領(lǐng)先的云服務(wù)提供商和框架設(shè)計者緊密合作，以打造便捷的開發(fā)環(huán)境，讓軟件開發(fā)者能夠輕松地在基于Arm架構(gòu)的硬件上加速人工智能AI和ML工作負(fù)載。自該技術(shù)推出的四個月以來，Kleidi已在Arm CPU上加速開發(fā)并顯著提升主要的AI性能。Arm與PyTorch社區(qū)的緊密合作印證了該技術(shù)可以大大減少開發(fā)者利用高效AI所需的工作量?！?/p>

與領(lǐng)先框架集成，實現(xiàn)顯著云端優(yōu)勢

在云端，Kleidi以利用Arm Compute LibrariesACL增強PyTorch帶來的成果為基礎(chǔ)，為世界各地在Arm平臺上優(yōu)化AI的開發(fā)者打造藍圖。通過為開發(fā)者免去不必要的工程工作，以便開發(fā)者能將Arm視為運行其關(guān)鍵ML工作負(fù)載的首選平臺。作為實現(xiàn)這一愿景的關(guān)鍵一步，Arm直接與PyTorch和TensorFlow進行Arm Kleidi Libraries的集成合作，這包括將基本的Arm軟件庫直接集成到上述的領(lǐng)先框架中。

重要的是，這意味著當(dāng)新的框架版本發(fā)布時，應(yīng)用開發(fā)者能夠自動從其大幅的性能提升中受益，而無需額外在Arm平臺上重新編譯。這項投入已對合作伙伴關(guān)系產(chǎn)生了積極影響：

·Arm聊天機器人演示由Meta Llama 3 LLM驅(qū)動，并運行在亞馬遜云科技AWS Graviton處理器上，首次在主線PyTorch中實現(xiàn)了實時聊天響應(yīng)。

o根據(jù)在AWS Graviton4上所測得的數(shù)據(jù)顯示，通過將Kleidi技術(shù)集成到開源PyTorch代碼庫，詞元token首次響應(yīng)時間可提高2.5倍。

·通過優(yōu)化torch.compile以充分利用通過ACL提供的Kleidi技術(shù)，在基于AWS Graviton3上所測得的數(shù)據(jù)顯示，各類Hugging Face模型推理工作負(fù)載上的性能可提升1.35至2倍。

這些僅是出色的云端示例之一，卻代表了在Arm平臺上普及ML工作負(fù)載時可實現(xiàn)的性能加速類型。Arm將持續(xù)投入，以確保開發(fā)者的AI應(yīng)用可以在其技術(shù)上從云到邊都能完美運行，其中包括實現(xiàn)新功能的向前兼容，進而使得開發(fā)者能夠即刻從中受益。

合作助力開發(fā)者緊跟生成式AI發(fā)展步伐

隨著新的語言模型版本快速地推陳出新，生成式AI掀起了一波AI創(chuàng)新熱潮。Arm持續(xù)與ML技術(shù)棧的各個關(guān)鍵環(huán)節(jié)緊密合作，攜手AWS和Google等云服務(wù)提供商以及Databricks等迅速壯大的ML獨立軟件開發(fā)商ISV社區(qū)，進而幫助開發(fā)者立于技術(shù)前沿。

Google Cloud Compute產(chǎn)品管理高級總監(jiān)Nirav Mehta表示：“Arm和Google Cloud致力于為開發(fā)者提升AI的可訪問性和敏捷性，而Kleidi代表了通過軟硬件協(xié)同優(yōu)化滿足AI需求所取得的重要進展。隨著我們的客戶正積極采用基于Arm架構(gòu)的定制CPU —— Axion，我們期待在整個ML技術(shù)棧中為客戶帶來更加順暢的集成體驗?！?/p>

Databricks軟件工程師Lin Yuan表示：“利用Databricks Data Intelligence Platform進行AI和ML工作流的企業(yè)，將受益于跨ML軟件棧的Arm Kleidi集成所帶來的性能優(yōu)化。借助由Databricks ML Runtime集群提供支持的Arm架構(gòu)AWS Graviton處理器，企業(yè)可以從各種ML軟件庫的加速中受益，同時降低云服務(wù)提供商的成本?！?/p>

協(xié)助開發(fā)者將Arm提供的資源應(yīng)用到實際用例中至關(guān)重要，為此Arm創(chuàng)建示例軟件棧和學(xué)習(xí)資源，向開發(fā)者展示如何在Arm CPU上構(gòu)建AI工作負(fù)載，進而迅速推動了Arm系統(tǒng)的廣泛采用，并加快了開發(fā)者在Arm系統(tǒng)上的部署速度。第一個案例是通過Kleidi技術(shù)加速聊天機器人的實現(xiàn)，今年晚些時候ML Ops和檢索增強生成RAG也將添加至這些用例，并計劃在2025年實現(xiàn)更多成果。

持續(xù)提升端側(cè)性能

基于Kleidi在端側(cè)的發(fā)展勢頭，KleidiAI還將被集成到ExecuTorchPyTorch新的端側(cè)推理運行時。這項集成預(yù)計將于2024年10月完成，并有望為目前正在ExecuTorch中進行生產(chǎn)測試或?qū)崿F(xiàn)的端側(cè)應(yīng)用帶來顯著的性能提升。目前已完成的多項KleidiAI集成包括與Google XNNPACK和MediaPipe，以及騰訊的混元大模型，為其實際工作負(fù)載帶來了顯著提升。

Kleidi將繼續(xù)與PyTorch和ExecuTorch的各版本以及其他主要AI框架進行集成。從云數(shù)據(jù)中心到端側(cè)設(shè)備，開發(fā)者現(xiàn)在可以即刻在各類設(shè)備上基于Arm平臺高效運行高性能AI工作負(fù)載。Arm將繼續(xù)積極地面向PyTorch社區(qū)推出增強功能，并專注于針對各種整數(shù)格式提供量化優(yōu)化，進一步提高性能，賦能Arm CPU大規(guī)模無縫運行新一代AI體驗。

實現(xiàn)更多成果以賦能開發(fā)者

PyTorch正在推動ML開發(fā)領(lǐng)域的開拓創(chuàng)新。近日，Arm加入PyTorch基金會成為Premier成員，這對于Arm的AI之旅來說，無疑是一個重要時刻。Arm將持續(xù)致力于賦能全球各地的開發(fā)者在Arm平臺上充分發(fā)揮端到端AI的潛力，進而塑造前沿的AI和應(yīng)用功能。

附加資源：

關(guān)于Kleidi:

Kleidi古希臘語中意為“鑰匙”基于三大關(guān)鍵支柱而構(gòu)建：

·開放的Arm技術(shù)直接集成至關(guān)鍵框架中，開發(fā)者無需任何額外工作，便能使LLM無縫取得Arm CPU性能。Arm將確保新技術(shù)始終向前兼容，以便開發(fā)者可以立即從中受益。

·通過提供使用指南、學(xué)習(xí)資源和技術(shù)演示等各種資源賦能開發(fā)者。

·借助由ML軟件供應(yīng)商、框架和開源項目所構(gòu)成的活力十足的生態(tài)系統(tǒng)，從中取得各類最新的AI功能，讓Arm平臺成為開發(fā)者構(gòu)建解決方案的首選平臺。