隨著生成式AI技術快速崛起，邊緣運算的需求日益成長。嵌入式系統和物聯網應用正在全面AI化，並廣泛應用於智慧家庭與工業自動化等領域。為了滿足這些需求，新一代MCU、NPU和MPU解決方案應運而生，為創新應用提供低功耗且彈性的設計支援。另外，程式碼驗證工具，也協助開發人員使用AI生成程式的同時，確保程式碼的品質。
意法半導體技術行銷經理張世昌表示，邊緣AI比雲端運算更省電，也能降低資料外洩風險，長期受到市場歡迎。智慧邊緣裝置的設計仰賴MCU提供算力， 產品設計可以採用AutoML等工具，加速開發流程。
低功耗MCU助攻邊緣AI
Ambiq品牌行銷暨投資人關係副總裁Charlene Wan(圖1)觀察，隨著2023年ChatGPT問世，每個產業和領域都爭相加入生成式AI的開發，期望透過AI 增加企業的競爭力。但是在生成式AI第一波的熱潮平息後，企業面臨兩個關鍵的挑戰。首先是執行生成式AI，需要的電力超出企業可負擔的範圍。其次，生成式AI到目前為止明確的商業用途不多，尚未出現可以長期帶來營收的前景。有潛力的產品問世後，可能因為耗電問題而難以受到市場青睞。
同時，若是生成式AI應用只能依賴雲端運算，網路連接的條件也可能限制應用場景。因此生成式AI應用走向邊緣運算，邊緣推論的可用性高、低延遲、安全、耗電下降，還可以強化個人化經驗。
邊緣A I裝置的設計目標之一，即是盡可能降低功耗。Ambiq業務總監Eric Chu(圖2) 說明，因此Ambiq透過SPOT技術，開發超低功耗MCU，以支援邊緣裝置的低功耗需求。透過上述技術，MCU核心的工作電壓只需要0.5~1.2V。超低工作電壓可以為產品省電，設計上則可能遇到電壓太接近臨界值，開發人員擔心電壓容易受到雜訊干擾。Ambiq則提供AI SDK環境，供開發人員測試。
驗證工具把關AI程式
IAR Systems資深技術經理FAE蔡本中(圖3)指出，目前AI工具可以協助工程師寫程式。工程開發人員使用AI工具設計程式，在AI完成程式後，需要自行確保程式碼的品質，包含是否符合工規或車用等標準規範。
此外，工程師使用AI工具的同時，也要具備修改程式的能力。因為AI工具的目標只有寫出功能，不一定能提供穩定的程式碼品質。因此除了使用AI工具生成程式碼，蔡本中建議開發人員同步透過驗證工具，在寫程式的過程中逐步確認程式碼品質，以及程式碼是否符合產品所需的標準規範，藉此有效避免程式碼完成後，耗費大量時間除錯。
NPU實現TinyML彈性
在邊緣AI發展腳步加快之後，TinyML未來的市場需求也將快速成長。Ceva資深客戶服務及應用工程師李承翰(圖4)指出，智慧邊緣裝置需要具備音訊與視覺辨識功能，像是偵測使用者生理訊號等應用。智慧家電產品可能安裝感測器，用來偵測環境溼度與溫度的變化。
目前TinyML應用的挑戰之一，是幾乎每個月市場上都會出現新的AI模型。根據不同的應用需求，開發人員可能需要重新訓練模型，耗費大量的時間與成本。而如果採用較有彈性的設計方案，例如採用專門執行TinyML，且可以彈性是用不同模型的NPU，來取得客製化NPU或MCU，並根據客戶的MAC需求採用最新的機器學習資料類型，就能更新AI模型的彈性。
設計邊緣AI產品，離不開低功耗與彈性的設計需求。市場上多元的MCU產品線，以及供應商針對AI應用提供的開發工具，都能協助開發人員持續創新。
