為因應在用戶端裝置上更有效率地執行各種AI運算任務，Arm推出可擴展矩陣延伸指令集2(Scalable Matrix Extension 2, SME2)技術，以直接在行動CPU上加速高強度的矩陣運算工作負載。這類運算負載對機器視覺和生成式AI應用相當重要。SME2是Armv9架構中的一組高階CPU指令集，它是基於SME升級、能夠在AI異質運算框架下，支援影像處理、自然語言處理、語音生成等在行動端的即時推論任務。
從按下快門前就對照片進行即時銳化，到通話過程中即時消除背景雜音，再到離線狀態下與AI助理互動，裝置端AI正在重塑使用者的行動體驗。而Arm運算平台正是實現這些無縫互動體驗的強勁驅動力。隨著AI工作負載變得日益複雜且已廣泛地應用於各個領域，行動開發者面臨的需求也與日俱增：他們需要在記憶體、電力和熱能條件等嚴格且多樣化的限制下，實現即時且高效率的效能表現，還要確保不為應用程式及其工作負載增加額外的複雜性。
為滿足行動應用開發者的需求，Arm推出了SME2。行動開發者無需更動現有程式碼、模型或應用程式，即可直接取得SME2帶來的效能提升。這可歸功於Arm的軟體加速層 – Arm KleidiAI，它能夠無縫整合到主流Runtime函式庫和AI框架中，為開發者提供立即可用的效能體驗。
由於KleidiAI深入且廣泛的整合，SME2已在Google專為Android系統最佳化的神經網路推論函式庫XNNPACK中提供支援。此外，SME2也被整合至多個框架中，包括阿里巴巴MNN、Google LiteRT和MediaPipe、微軟ONNX Runtime，以及llama.cpp。這些整合代表SME2已深度嵌入到軟體堆疊中。當裝置支援並啟用SME2時，XNNPACK會自動透過KleidiAI將矩陣運算密集型任務導引至SME2，進而讓開發者在無需更動任何應用邏輯或基礎架構的情況下即可直接提升效能。
同時，KleidiAI不僅著眼於目前的效能加速，更是為滿足未來需求而設計。隨著Arm不斷推出全新特性與架構升級，KleidiAI將持續為其所支援的AI框架和Runtime函式庫自動提升效能，無需開發者再投入額外精力。
搭載SME2強化硬體的Android新機即將上市，開發者可率先透過硬體加速使AI效能躍升。同時，SME2已支援最新的iOS裝置，只要其應用中使用整合SME2的AI框架，效能即可自動提升。
在搭載SME2強化硬體的裝置上運行Google Gemma 3模型時，其聊天互動中的AI回應速度與未啟用SME2的同款裝置相比快六倍。此外，僅用單個CPU核心，Gemma 3便可在不到一秒的時間內啟動多達800字的文本摘要任務。目前，一家獨立軟體供應商已承諾將其應用中的大部分詞元生成工作負載從雲端遷移到行動端，其中一部分也歸功於裝置端AI能力的持續突破。
Google Android軟體工程師Iliyan Malchev表示，借助SME2強化的硬體，更先進的AI模型(如Gemma 3)就能直接在各類裝置上運行。隨著SME2的持續擴展，行動開發者能夠在不同生態系中無縫部署次世代AI功能，進而為終端產品使用者帶來低延遲、廣泛可用的智慧手機體驗。
除了效能提升，SME2還為Arm生態系(如iOS與Android)提供可移植的解決方案。目前，已有900萬款應用在Arm運算平台上運行，超過2,200萬名軟體開發者基於Arm平台建構他們的應用和工作負載。
對Android開發者而言，他們只要將應用建構在整合了KleidiAI的AI框架和Runtime函式庫之上，就能自動獲得SME2帶來的效能提升，並可在各類裝置上無縫部署次世代AI功能。
此外，開發者若能提前布局，即可確保其應用在SME2強化硬體推向市場時實現最佳化，無需更動任何一行程式碼，便可為使用者帶來更快的效能、更低的延遲以及更高的能源效率。
Arm也發表開發者啟動平台，幫助行動開發者充分運用SME2的技術優勢，透過豐富案例展示如何針對KleidiAI強化框架進行開發，進而預設啟動硬體層面的最新加速能力。
