新世代Armv9 CPU效能滿點瞄準AI終端需求

2024年Arm終端產品運算子系統(Arm CSS for Client)解決方案中的核心,絕對非CPU架構莫屬,Arm自2020年推出Cortex-X系列以來,目標簡單明確,就是提高單執行緒性能,要實現優異性能,並非只涉及單一因素,而是要綜合考量每時脈週期指令數(IPC)、頻率、編譯器、作業系統(OS)、封裝等多個方面。Arm對Cortex-X...
2024 年 06 月 24 日

Arm Immortalis-G925 GPU核心大幅強化遊戲體驗

自從行動裝置進入智慧聯網時代,無所不在的影像體驗就成為智慧裝置的一大重點,高階智慧手機的CPU效能也成為產業關注的焦點。目前,Arm合作夥伴的GPU出貨量已累計超過100億顆。2024年Arm CSS...
2024 年 06 月 21 日

Arm終端產品運算子系統全面優化智慧行動裝置AI體驗

人工智慧(AI)時代正式降臨,AI PC與AI NB等智慧終端預計將成為品牌廠商開發的重點,身為各家晶片商軍火庫的Arm,也於5月底正式推出全新的架構解決方案Arm終端產品運算子系統(Arm CSS for...
2024 年 06 月 20 日

研華發表邊緣運算解方 加速產業AI應用落地

邊緣AI在工業自動化與智慧城市應用的腳步加快,即將在2025~2026年迎來落地應用的成長爆發。研華於Computex2024中,展示應用NVIDIA方案的產業AI平台。此次展出從邊緣端生成式AI、醫療AI,智慧製造AI解決方案三大主軸,提供相應的AI邊緣運算系統與伺服器。...
2024 年 06 月 07 日

異質運算實現邊緣LLM CPU/GPU/NPU各有所長

生成式人工智慧(AI)技術及大型語言模型(LLM)逐步往終端應用拓展,在邊緣端導入生成式AI的願景,成為處理器廠商的兵家必爭之地。面對市場上特定應用領域的AI推論需求,處理器廠商積極開發適用於終端裝置的解決方案,期望未來終端應用可以導入生成式AI。...
2024 年 06 月 06 日

安提國際發表NVIDIA MGX邊緣AI伺服器

安提國際(Aetina)為宜鼎國際(Innodisk)集團子公司,於COMPUTEX 2024中宣布推出旗下首款創新的NVIDIA MGX短機身伺服器「SuperEdge AEX-2UA1」。AEX-2UA1是市場上首批採用x86...
2024 年 06 月 06 日

算力/記憶體容量/低功耗技術缺一不可 GAI導入邊緣開發大顯神通(1)

生成式AI啟動新一波的AI應用熱潮,將LLM導入邊緣端,需要足夠的記憶體容量,確保AI模型順利執行。將SSD用於AI運算,以及In-Memory Compute的技術進展,都讓邊緣端的算力更上層樓。 生成式人工智慧(AI)啟動新一波的AI應用熱潮,而邊緣AI高度安全、低延遲等優勢,也帶動大型語言模型(LLM)在終端裝置中的應用。將LLM導入邊緣端,需要足夠的記憶體容量,確保AI模型順利執行。將SSD用於AI運算,以及In-Memory...
2024 年 06 月 03 日

算力/記憶體容量/低功耗技術缺一不可 GAI導入邊緣開發大顯神通(2)

生成式AI啟動新一波的AI應用熱潮,將LLM導入邊緣端,需要足夠的記憶體容量,確保AI模型順利執行。將SSD用於AI運算,以及In-Memory Compute的技術進展,都讓邊緣端的算力更上層樓。 SSD支援AI運算空間...
2024 年 06 月 03 日

算力/記憶體容量/低功耗技術缺一不可 GAI導入邊緣開發大顯神通(3)

生成式AI啟動新一波的AI應用熱潮,將LLM導入邊緣端,需要足夠的記憶體容量,確保AI模型順利執行。將SSD用於AI運算,以及In-Memory Compute的技術進展,都讓邊緣端的算力更上層樓。 CXL加快裝置資料傳輸...
2024 年 06 月 03 日

MCU運算效能不卡關 終端AI模型朝低算力/高精度邁進

生成式人工智慧(AI)的發酵在新興運算架構,以及先進製程的支援下,可說是水到渠成。新唐科技微控制器行銷應用處副處長沈子嵐說明,當大型語言模型(LLM)應用逐漸從雲端走向邊緣,產業對於邊緣運算技術的重視度隨之提升。高算力需求的AI應用集中在雲端,但未來端點AI的應用規模可望大幅超越雲端。端點AI的優勢之一是通常會配置豐富的感測器連結介面,具備多感測器融合的能力。感測器的資料在終端融合,可以減少資料量,進而降低邊緣端的算力需求。...
2024 年 06 月 03 日

搶攻AI商機 創鑫智慧打造端到端RAG方案

致力研發高能效AI ASIC的台灣IC設計公司創鑫智慧,將在2024台北國際電腦展(COMPUTEX 2024)中推出端對端的檢索增強生成(Retrieval-Augmented Generation,...
2024 年 05 月 29 日

國科會團隊打造本土LLM 百工百業擁抱生成式AI(2)

為避免繁體中文在大語言模型浪潮中消失,在國科會主導下,TAIDE團隊耗時一年,完成本土大語言模型的開發。TAIDE模型不僅將繁體中文所代表的文化保存在大語言模型中,也為使用繁體中文的台灣一般使用者與企業,奠定了導入生成式AI的基礎。...
2024 年 05 月 24 日