隨著生成式AI浪潮席捲全球，運算架構正經歷由雲集中轉向邊緣分散的重大變革。在這場運算典範轉移中，以授權模式為基礎的Arm憑藉其低功耗設計優勢，探討邊緣AI的技術與架構的演進，透過軟體生態協作共同推動生成式AI在終端裝置上的實現。
隨著生成式AI技術從雲端向終端裝置擴展，邊緣AI市場正經歷前所未有的變革。根據市場分析機構預測，未來幾年邊緣AI市場將呈現高速成長，產業對終端AI運算能力的需求日益迫切。
在這場從雲端走向邊緣的運算變革中，Arm扮演著關鍵角色。Arm應用工程總監徐達勇認為，「讓AI工作負載越接近資料收集端，反應就越即時。」分析Arm近年在邊緣AI的佈局，該公司不僅強化了處理器架構，更提升了針對AI工作負載的運算效能。筆者認為，這種橫跨硬體與軟體的整合策略，反映了邊緣AI時代處理器IP廠商必須進行的轉型路徑。
圖說：在邊緣AI實際應用上，徐達勇觀察到工業自動化領域可望率先突破。
為滿足邊緣AI需求，Arm發表了全新的Cortex-A320處理器與Ethos-U85神經網路處理器，亦相當程度提升其在邊緣AI運算領域的競爭力。
邊緣需求崛起，即時性成關鍵
隨著AI應用從雲端向邊緣擴展，運算位置的轉移成為產業重要趨勢。徐達勇表示，邊緣AI在大浪潮中具有三項關鍵優勢。「即時性是邊緣AI首要優勢，在需要即時反應的應用場景中不可或缺，」他強調，車流管理、自駕車等若資料送到雲端再反應，可能因延遲影響安全；健康量測如心臟異常監測，同樣需要即時處理。
安全性與隱私保護為邊緣AI的第二優勢。本地處理機敏資訊減少傳輸風險，增強隱私保護，適用於醫療等對資料安全要求高的領域。第三項優勢是可擴展性，徐達勇指出：「AI工作負載有大量資料，全部上傳雲端處理會消耗大量網路頻寬。」本地處理降低頻寬使用和成本，對偏遠地區尤為重要。
在邊緣AI實際應用上，徐達勇觀察到工業自動化領域可望率先突破。「工廠自動化、交通系統、醫療等需要即時的應用會先行發展，」他分析，機器手臂智能控制、倉儲物流自動分配系統、生產線瑕疵檢測，都是邊緣AI在工廠自動化的潛在應用場景。
運算架構進化，硬體全面聚焦AI
在邊緣端，資源受限且耗電考量至關重要，尤其對可攜式裝置而言。徐達勇指出，「算力與效率之間的平衡相當重要，運算效率要很好才能省電。」選擇最適配的處理器成為Arm硬體設計的核心理念。
Arm在異質運算領域的佈局涵蓋CPU和GPU，近年則加入NPU。隨著AI時代來臨，Arm針對這三類處理器進行全新設計和架構最佳化。「CPU部分有可擴展向量延伸指令集及可擴展矩陣延伸指令集。早期只有Neon，現在因應AI需求增加新的架構或指令集，」徐達勇解釋。
在NPU方面，從Ethos-U55、U65到最新的U85，處理效能顯著提升。Ethos-U85專為邊緣AI設計，提供高效能和能源效率，可支援Transformer網路，能執行生成式AI模型。「NPU效能從早期的256 GOPS，提升到在1GHz頻率可達4 TOPS的等級，能源效率比前代提升20%，」徐達勇表示。
從終端到雲端，各環節需要的算力各不相同，可擴展性成為硬體設計關鍵。一個裝置可能同時包含多種處理器，根據工作負載特性選擇最合適的處理單元，實現最佳效能與能源效率平衡。
開發生態完整，軟體釋放硬體潛能
在軟體層面，Arm擁有龐大的開發者社群作為優勢。徐達勇指出，「我們有2,000萬個以上基於Arm的軟體開發人員，熟悉我們工具的人數遠超過競爭對手。」這讓開發人員可以無縫接軌，用原本熟悉的工具存取新功能，快速開發AI工作負載。
軟體最佳化對於釋放硬體潛能至關重要。徐達勇以Kleidi AI為例：「Kleidi AI展現如何把硬體的最佳效能釋放出來。」以Arm Cortex系列CPU為例，Kleidi AI可大幅提升其效能，最新推出的Cortex-A320，在執行微軟的生成式AI模型時，有Kleidi AI能增加70%效能。
在異質運算環境中，軟體協調同樣重要。「當上層工作負載來了，該交給哪個處理器處理？這需要中間有軟體來排程，」徐達勇解釋，早期Arm使用ArmNN來分配工作負載，根據處理器效率與閒置狀態做最佳工作分配。
關於雲端與邊緣的連接，Arm主要與生態系夥伴合作，例如AWS的Greengrass。「邊緣端的設定或管理可從雲端作業，之後裝置便可與雲端互動或獨立運作，」他說明，若兩端都是Arm架構，因指令集相同，軟體移植會更容易快速。
應用領域分化，產業場景率先起飛
談及邊緣AI應用的發展速度，徐達勇觀察到消費者與產業應用存在顯著差異。「目前使用者的期待不高，延遲或回答不準確時，他們不會太在意，」他分析，但工廠自動化等場景對即時性和精確度要求極高，因此這類專業應用可能率先實現突破。
在模型部署上，目前依然面臨挑戰。「模型訓練需要龐大成本與資源，」徐達勇表示，「應用程式多採用開放模型，關鍵在於這些模型是放在雲端還是終端裝置上。」他認為邊緣端模型需要大型科技公司如Google、微軟等推動，才能加速發展。
展望未來，徐達勇指出邊緣AI將更多元化發展，特別在工業和專業領域。AI技術將加速機器人市場成長，尤其在特定應用如機器手臂和自動配送系統上。「Arm希望透過完整解決方案，幫助夥伴更快地完成晶片或系統開發，」徐達勇總結。邊緣AI雖前景廣闊，但要實現大規模應用，產業生態系仍需在模型最佳化、成本降低等方面共同努力。
