耐能AI晶片KL730驅動輕量級GPT應用

作者: 吳心予
2023 年 08 月 17 日

人工智慧(AI)公司耐能日前發布KL730晶片,KL730整合了車規級NPU和影像訊號處理器(ISP),並將安全而低耗能的 AI,賦能到邊緣伺服器、智慧家居及汽車輔助駕駛系統等各類應用場景中。針對大型語言模型帶來的耗能挑戰,KL730可以大幅節省AI運算的功耗。

耐能創辦人兼執行長劉峻誠說明,包含OpenAI、Google等科技大廠的碳排量急劇攀升,但這些廠商也訂下減碳目標,期望在發展大型語言模型技術的同時,兼顧環境議題。而採用NPU晶片取代GPU,即是大量減少功耗的有效策略。台灣建立自己的ChatGPT的目標,也能透過NPU晶片實現。

左起為國立台灣大學電機工程學系名譽教授陳良基、耐能創辦人暨執行長劉峻誠、行政院副院長鄭文燦

KL730從設計之初就以實現 AI 功能為目的,並更新了多項節能及安全的技術創新。該晶片具備多通道介面,可無縫接入圖像、影片、聲音和毫米波等各種數位訊號,支援各產業的人工智慧應用開發。

該晶片還解決了目前人工智慧的廣泛瓶頸之一,普遍的低效能硬體導致的系統高成本。在這個晶片的開發工作中,KL730在效能方面取得了極大的進步,效能比相較於過往耐能的晶片提升了三至四倍,且比主要產業同等產品提高了150~200%。

耐能長期專注於邊緣AI,並研發了一系列輕量且可擴展的AI晶片,以安全地推動AI能力的發展。2021年,耐能發布首款支援Transformer神經網路架構的邊緣AI片KL530。而Transformer 神經網路架構是所有GPT(Generative Pre-trained Transformer)模型的基礎。KL730晶片進一步豐富該產品系列,提供每秒0.35~4 tera有效計算能力,擴展了支援先進的輕量級GPT大型語言模型(如nanoGPT)的能力。

KL730具有獨特的定位,可以改變AIoT領域的安全性,進而使用戶能夠部分或完全離線地在終端運行GPT模型。該晶片配合耐能的私有安全邊緣AI網路KNEO,讓AI在用戶的邊緣設備上執行,強化保護資料隱私。這些功能擴及不同領域的應用,從企業伺服器解決方案到智慧駕駛車輛再到以 AI 驅動的醫療設備,所增加的安全性允許設備之間進行更大的協作,同時保護資料的安全。例如,工程師可以設計新的半導體晶片,而無需與大型雲端公司營運的資料中心共用機密數據。

標籤
相關文章

異質運算實現邊緣LLM CPU/GPU/NPU各有所長

2024 年 06 月 06 日

企業加碼布建雲端 電信級乙太網路商機浮現

2013 年 11 月 07 日

國研院/Arm簽訂IP授權合約 AFA助攻AI運算研發

2020 年 11 月 25 日

特斯拉D1晶片亮相 7nm AI晶片強化自駕功能

2021 年 08 月 23 日

搶攻LLM市場 Ampere攜手高通推雲端AI加速器

2024 年 05 月 20 日

研華發表邊緣運算解方 加速產業AI應用落地

2024 年 06 月 07 日
前一篇
igus推出新型生物相容性滾珠軸承材料
下一篇
2024年全球伺服器整機出貨量恐僅成長2.3%