作為全球最早定義並投入神經網路處理器(NPU)開發的晶片公司，耐能智慧除已在智慧汽車、智慧醫療、智慧家電、機器人、安全監控，以及視訊會議等多種邊緣運算和終端應用市場取得亮眼成績外，近期更成功打入德國及沙烏地阿拉伯的「主權AI」標案，將業務觸角延伸到AI資料中心，展現NPU在AI端到雲應用的巨大發展潛力與關鍵價值。
混合架構勢在必行
耐能智慧董事長劉峻誠表示，NPU是專門為AI而設計的運算架構，所以在功耗方面，會比已經存在幾十年的CPU、GPU更有優勢。這項優勢相當關鍵，因為完全以GPU來跑生成式AI的耗電量太大，不僅對許多國家的電力系統造成考驗，也必須採用更昂貴的散熱方案作為配套。在條件允許的前提下，若能把一些運算負載分散到NPU上，可以為功耗問題帶來一定程度的緩解。這也是主權AI會對NPU技術產生興趣的原因。
不過，劉峻誠認為，儘管NPU功耗優勢明顯，但在生成式AI時代仍將會是CPU、GPU跟NPU共存的時代。他進一步分析，以NPU來取代GPU或CPU是不現實的想法，因為不同運算架構有各自的長處。耐能在德國和沙烏地阿拉伯拿到的主權AI標案，就是CPU、GPU及NPU混合的系統。
也因為NPU具有優秀的性能/功耗比，因此NPU是最有機會滲透到各種應用情境中的技術。除了已經被應用在USB Dongle、筆記型電腦等IT產品上，還有前面提到的主權AI外，也有國際家電業者正在開發搭載耐能NPU的智慧家電產品。同時，耐能也正在發展一些企業級方案，像是伺服器、工作站或mini PC型態的產品。
端到端方案進攻企業市場
值得一提的是，在企業市場上，耐能除了提供硬體，針對某些特定應用場景，還會提供模型跟應用軟體，構成端到端(End to End)且100%在本地執行的解決方案。
比如說，會議錄音檔的AI轉錄，可說是每家公司都有的基本需求。但因為會議內容往往是公司的內部機密，不宜使用雲端的語音轉錄服務，因此製作會議記錄這件事，還是許多公司的痛點。因此，耐能研發團隊自己訓練出一個模型，可執行多語言轉錄工作。該模型還支援語音識別，能自動分辨不同說話者，因此非常適合應用在會議紀錄上。
而在模型之外，耐能也針對會議記錄這個應用場景，開發了專用的Web App。企業客戶只要將Web App安裝在搭載了耐能NPU的本地硬體設備上，就可以擁有一個自己專屬的AI會議記錄系統，讓生成式AI應用可以低成本地本地部署。
技術掌握度極深 贏得國際大廠青睞
在與國際巨頭的商業競爭中，新創公司如何脫穎而出？劉峻誠給出的答案是：對技術的深度掌握。這份自信其來有自。劉峻誠本人正是NPU架構的發明者，並因此獲得國際電子電機工程師學會(IEEE)所頒發的達靈頓獎(Darlington Award)殊榮，他所撰寫的相關書籍，更已成為美國、台灣等大學院校AI相關科系學子必讀的聖經。
劉峻誠回憶，自2015年起耐能便投入紮實研究，從軟體、演算法模型到硬體架構，皆有深厚的實作經驗，從而掌握了高度的軟硬體整合能力。因此，耐能選擇了與蘋果(Apple)相似的策略—垂直整合，讓軟體為硬體而生、硬體為軟體服務，甚至連同應用層都一手包辦，才能在不完全依賴頂級硬體規格的情況下，創造出極致的效能與使用者體驗。
政府計畫補助 挹注研發資源
儘管耐能憑藉著深厚的技術實力與垂直整合策略，在國際競爭中脫穎而出，然而，新創企業的成長之路往往需要外部資源的挹注與政策的扶持。特別是在IC設計這樣高研發投入的產業中，政府的產業推動計畫，更扮演著關鍵的助力。
也因此，2024年耐能透過「智慧電子產業計畫推動辦公室(SIPO)」的協助，成功申請「驅動國內IC設計業者先進發展補助計畫」，為其「離線生成式AI Edge SoC」的研發注入關鍵資源。
除了資金補助外，劉峻誠也期望，透過SIPO各式產業交流活動與展會曝光機會，未來進一步讓更多國內外業者認識耐能的品牌與技術，同時擴大開發者社群，吸引更多開發者運用耐能的方案進行開發，從而鞏固生態系，深化整體的市場影響力。
