耐能新推邊緣AI伺服器/嵌入式AI PC

2024 年 06 月 07 日

耐能於COMPUTEX 2024宣布推出最新的邊緣AI伺服器及一款內置耐能AI晶片的PC設備。

KNEO 330是耐能最新且第二款端側GPT伺服器。首款產品KNEO 300於2023年推出,已經在製造業、金融服務和大學教育領域擁有企業客戶,包括史丹佛大學和加州大學洛杉磯分校。

KNEO 330擁有48TOPS的AI運算能力,最多可支持8個併發連接,支持LLM和Stable Diffusion。在較低的硬體條件下,其RAG精度與雲端解決方案相當。KNEO 330大幅降低了小型企業的整體AI成本,降幅可達30%~40%。

與大多數雲解決方案相比,KNEO 330實現了更簡單的集成和分層許可權管理,極大地提高了隱私和安全性。其全面的功能包括多模態GPT的離線版本。

耐能智慧股份有限公司創辦人兼執行長劉峻誠表示,AI近期蓬勃發展,強大的AI模型的發展速度超出了許多專家的預期。平衡AI的道德倫理與盈利驅動是AI真正的挑戰。諸如訓練AI模型所需的電力和數據以及AI幻覺的潛在問題等擔憂都是現實問題。

除了KNEO 330,耐能還推出搭載第三代NPU晶片KL830的PC設備。AI PC的時代已經來臨,根據IDC報告,銷量預計將從2024年的5,000萬台成長到2027年的超過1.67億台,占整體個人電腦市場的60%以上。同時,Gartner機構預測,2024年全球AI個人電腦和AI智慧手機的出貨量將達到2.95億台,比2023年的2900萬台成長十倍多。

KL830強大的功能和低廉的成本使得低成本AI PC成為可能,將為更廣泛的消費者群體帶來AI的普及和應用。KL830提供達10eTOPS@8bit的綜合運算能力(CCP),峰值功耗僅為2W。這款NPU將使個性化GPT成為現實。

當耐能的NPU與GPU配合使用時,可將能耗降低30%,有效延長產品使用壽命。這展示了NPU在高性能但價格親民的電競PC領域的未來潛力。

該款晶片已經準備用於AIoT設備,KL830晶片使得定點能保持與浮點精度一致。KL830也可透過USB AI加速棒使用,使得任何設備,無論是寬頻路由器、物聯網攝像頭還是傳統電腦,都可以成為邊緣AI設備。它提供了10eTOPS的運算能力,並支援許多相對低參數的大型語言模型。

專為開發者設計的KNEO平台是一個易於使用的Edge GPT開放平台。耐能透過其編譯器和「Hugging Face」鏈接,為用戶提供了友好的AI生成內容模型部署方式,用戶可根據需求切換不同的Edge GPT。

耐能的Edge GPT服務(EGaaS)由開發平台、管理平台和Edge GPT庫組成。Edge GPT即服務(EGaaS)使設備能夠在本地處理數據,實現即時決策,無須依賴互聯網或雲伺服器。這種方法有效提高了速度,同時支援多模態功能,並增強了隱私和安全性。耐能全面的企業級邊緣GPT解決方案可以根據每個企業的需求進行定制,為各種定制化場景訓練和部署大型語言模型(LLM)。

在COMPUTEX2024展會的主題演講中,耐能重點分享了以下內容:

  • KNEO 330是Kneron最新推出的第二款私有Edge GPT伺服器,為中小企業帶來30~40%的成本節省,同時優先考慮隱私和安全性。
  • KL830是耐能的邊緣GPT AI晶片,可完全應用於AI PC、USB Dongle和邊緣伺服器,當與GPU配合使用時,NPU可將設備能耗降低30%。

此外,耐能還在現場宣布了自研第四代NPU晶片KL1140的規劃,可用於邊緣和雲端AI應用,並將於2025年推出。

耐能已從維港投資、高通、紅杉資本、富士康、臺達電子、Vivotek等投資方處獲得了近2億美元投資。提供端到端的集成硬體和軟體解決方案,實現設備上的邊緣AI推理。擁有高通、Toyota、Kenwood、Garmin、松下、廣達電腦、仁寶電腦、Unimicro、神通資訊、韓華、Spark、Naver、撼訊科技和格力電器等諸多全球客戶。

標籤
相關文章

大聯大世平基於耐能晶片推出3D AI人臉辨識方案

2022 年 11 月 28 日

耐能智慧AI晶片實現3D人工智慧方案

2019 年 06 月 13 日

耐能創辦人張懋中獲授IEEE榮譽獎章

2023 年 12 月 05 日

巨大機會與挑戰迎面撲來 2024生成式AI全方位啟動(1)

2024 年 05 月 06 日

巨大機會與挑戰迎面撲來 2024生成式AI全方位啟動(2)

2024 年 05 月 06 日

新思科技正式成立新竹AI設計中心

2020 年 02 月 21 日
前一篇
台達Computex展出全新技術驅動AI發展
下一篇
強茂推出高效能60V/100V/150V車規級MOSFET系列