相對於ChatGPT等基於雲端運算的AI服務，架設於邊緣、地端的AI應用，因其低延遲、低流量成本、低能耗以及高隱私之特性，正逐漸在產業應用端快速興起，同時各家大廠也積極投入邊緣AI技術及商業布局。國際大廠在邊緣AI的布局上，多利用既有技術優勢，朝各自相異的產品領域進行布局。
NVIDIA以CUDA優勢進軍邊緣AI
NVIDIA主要的邊緣AI產品線為Jetson平台。Jetson是專為邊緣AI及機器學習應用特化的硬體平台，主要搭載NVIDIA的Tegra GPU，並有較細分的產品線，從最輕量的Jetson Nano，到算力較高的Jetson AGX Xavier。上述硬體平台具備高效運算能力和低能耗特性，並能串連到各種終端設備，如機器人、無人機和智慧感測器介面等。Jetson平台也介接NVIDIA的軟體開發工具和生態系統，包括JetPack SDK，提供深度學習框架、函式庫及用於視覺、多媒體和IoT的工具，讓開發者可以在較短的開發周期內，快速開發和部署用於邊緣運算的AI模型。
除了完整的Jetson邊緣AI產品線，其上層的運算引擎TensorRT，才是使NVIDIA在邊緣AI運算的競爭中獲得優勢的關鍵。NVIDIA的CUDA為目前業界主流的平行運算及AI應用開發框架，而TensorRT深度學習引擎，則是基於CUDA提供的底層運算能力，來實現對深度學習模型的優化和加速，使既有的開發者能夠快速上手邊緣部署相關能力。
另一方面，NVIDIA也加速布局邊緣生成式AI。2023年10月，NVIDIA在邊緣平台Jetson上，發布生成式人工智慧練習場(Generative AI Playground)，提供使用者在邊緣裝置上部署開源的AI大語言模型(LLM)，並在地端執行如自然語言處理、電腦視覺處理、人機協作等任務。雖然NVIDIA目前投入較多資源於AI模型訓練、推論的高階GPU運算系統，然藉由已被廣泛使用的CUDA平台基礎，推動Jetson及TensorRT延伸至邊緣AI市場的策略也相當明顯。
英特爾積極拓展邊緣AI推論產品組合
英特爾(Intel)在2023年12月的Innovation Day提出了「AI Everywhere」的口號，並積極拓展邊緣AI推論產品線，除了強調邊緣推論速度的新一代Intel Xeon 系列外，更於2024年2月的MWC展中，首次展出全新企業邊緣平台，更全面的簡化邊緣AI開發、部署、安全性管理等流程。
在企業端導入AI應用的風潮下，目前CPU的邊緣推論能力仍是重點，而Intel也正循此路徑，加速其用於企業邊緣AI的CPU的產品推出，除了持續擴展邊緣應用的Atom系列產品線，也在2023年12月發布的第五代Xeon Scalable伺服器處理器Emerald Rapids，訴求可在邊緣端執行100億參數的大語言模型推論。
此外，英特爾更在其最新版的OpenVINO中，引入LLM支援及模型壓縮技術，可見出其往邊緣AI布局的企圖。針對PC應用，英特爾則是在2024年1月的CES展出搭載Intel Core Ultra，可在邊緣端離線執行的對話型AI平台，降低仰賴雲端的連線負載，並達到低延遲對話回應。
英特爾雖然也有用於訓練深度學習AI的Habana Gaudi產品線，但從其發展策略可知，其避免在高算力的AI訓練領域和NVIDIA硬碰硬，並利用其在中階伺服器的市占優勢，積極在高市占率，且算力較有限的邊緣硬體、伺服器系統上，主導AI推論市場，是英特爾在邊緣AI領域布局的主要策略。
AMD雙線投入邊緣AI競局
超微(AMD)在2022年以近500億美元併購全球最大FPGA供應商賽靈思(Xilinx)之後，也加速了其在邊緣AI推論的布局。超微於2023年9月推出主攻低成本邊緣應用市場的Kria K24 SOM(System On Module)，其FPGA晶片採用AMD Zynq UltraScale+ MPSoC，訴求工業級應用，運作時間可達10年，並可在寬溫條件(-40°C至100°C)運作，能耗也較前一代產品大幅降低，適合環境條件更為苛刻的製造等邊緣應用。
不過，要利用FPGA開發應用，開發人員需學習硬體描述語言(HDL)，其門檻令人卻步。為解決這個問題，AMD也同時推出KD240 Drives Starter Kit，內建各垂直領域的開發工具，例如機械控制、AI影像模組等，降低導入端的學習門檻。此外，超微也推出Vitis-AI，提供不同垂直應用領域的AI工具和模組，降低開發成本。另外，超微在2024年CES首次亮相的AMD ALVEO V70邊緣AI推論加速器，採XDNA架構，加速邊緣AI推論應用，支援CNN、RNN、電腦視覺運算、自然語言處理(NLP)等類型加速運算。在運算效能上，在INT8模型精度條件下，可達400 TOPS；BF16則可達200 TOPS的算力。
整體而言，超微在收購了賽靈思後，其邊緣AI產品線的布局更顯完整，從專用型產業應用的FPGA，到較泛用、算力較高的AI推論加速器雙線發展，持續擴大超微在邊緣AI市場的競爭力。
國際大廠邊緣AI布局動作多 台灣供應鏈機會來了(1)
