異質運算實現邊緣LLM　CPU/GPU/NPU各有所長

生成式人工智慧(AI)技術及大型語言模型(LLM)逐步往終端應用拓展，在邊緣端導入生成式AI的願景，成為處理器廠商的兵家必爭之地。面對市場上特定應用領域的AI推論需求，處理器廠商積極開發適用於終端裝置的解決方案，期望未來終端應用可以導入生成式AI。...
2024 年 06 月 06 日

生成式AI落地邊緣幹大事　突破模型瘦身/精準度瓶頸

生成式人工智慧(AI)從雲端走向邊緣，需要克服模型縮小，以及推論精準度的挑戰。在終端設備資源有限的前提下，大型語言模型(LLM)需要透過量化(Quantization)等方式壓縮模型，並且確保推論維持一定的精準度。...
2024 年 06 月 06 日

全面導入液冷技術　Supermicro讓生成式AI既酷又永續

GPU與人工智慧(AI)伺服器的市場需求，隨著生成式AI應用的發酵而快速成長。資料中心面對大量AI運算需求，需要克服耗電與散熱兩大挑戰。Supermicro總裁暨執行長梁見後表示，直接液冷(DLC)系統相較氣冷系統，可以提升資料中心的散熱效率與能源使用效益。隨著散熱系統的用電不斷減少，採用液冷的資料中心營運成本成可大幅下降。過去DLC常見的挑戰在於可靠度不足，並且難以維護。而目前Supermicro解決方案經過NVIDIA...
2024 年 06 月 06 日

Arm執行長Rene Haas：Arm新推KleidiAI力助AI應用開發

生成式人工智慧(AI)在快速發展下，AI運算所需的龐大能源，為科技產業帶來挑戰。Arm執行長Rene Haas在Computex2024主題演講中表示，世界是否有足夠的能源來支援，以因應AI 持續增加的運算需求，是重要的議題。雖然在AI領域可以看到驚人的創新，但這個產業正處於一個有趣的兩難處境：處理AI效能需求的處理器越好，能源需求就越大。...
2024 年 06 月 04 日

RTX AI PC亮相　黃仁勳：數位人類應用可期

NVIDIA執行長黃仁勳在Computex2024主題演講中，圍繞著加速運算與人工智慧(AI)兩大主軸，提到生成式AI在多元領域的應用，以及NVIDIA在軟、硬體提供相應的解決方案。由於AI應用的算力需求飛快成長，運算的成本包含資料中心的用電等也在上升。因此NVIDIA透過CUDA提升CPU的效能，加速每個應用程式的運算效率。同時在CPU的運算中加入GPU，不只效能運算大幅增加，也能節省大量成本，達到「買越多、省越多」的效益。...
2024 年 06 月 03 日

算力/記憶體容量/低功耗技術缺一不可　GAI導入邊緣開發大顯神通(1)

生成式AI啟動新一波的AI應用熱潮，將LLM導入邊緣端，需要足夠的記憶體容量，確保AI模型順利執行。將SSD用於AI運算，以及In-Memory Compute的技術進展，都讓邊緣端的算力更上層樓。 生成式人工智慧(AI)啟動新一波的AI應用熱潮，而邊緣AI高度安全、低延遲等優勢，也帶動大型語言模型(LLM)在終端裝置中的應用。將LLM導入邊緣端，需要足夠的記憶體容量，確保AI模型順利執行。將SSD用於AI運算，以及In-Memory...
2024 年 06 月 03 日

算力/記憶體容量/低功耗技術缺一不可　GAI導入邊緣開發大顯神通(2)

生成式AI啟動新一波的AI應用熱潮，將LLM導入邊緣端，需要足夠的記憶體容量，確保AI模型順利執行。將SSD用於AI運算，以及In-Memory Compute的技術進展，都讓邊緣端的算力更上層樓。 SSD支援AI運算空間...
2024 年 06 月 03 日

算力/記憶體容量/低功耗技術缺一不可　GAI導入邊緣開發大顯神通(3)

生成式AI啟動新一波的AI應用熱潮，將LLM導入邊緣端，需要足夠的記憶體容量，確保AI模型順利執行。將SSD用於AI運算，以及In-Memory Compute的技術進展，都讓邊緣端的算力更上層樓。 CXL加快裝置資料傳輸...
2024 年 06 月 03 日

AI機器學習潛力十足　智慧裝置邊緣運算MCU應用爆發

人工智慧(AI)受到機器學習在邊緣運算的發展帶動，在PC與手機等終端裝置的應用成長有目共睹。恩智浦半導體大中華區行銷總監黃健洲表示，隨著使用者更加重視資料安全與隱私，執行在邊緣端的機器學習功能越來越受市場重視。在物聯網(IoT)與工業領域中，包含健康照護、居家控制、工業自動化、電力控制等，都是機器學習在邊緣端的應用範圍。...
2024 年 06 月 03 日

汽車架構日益複雜　恩智浦S32 CoreRide助SDV開發

汽車功能持續創新，車內的ECU大幅增加。為了解決汽車架構複雜度持續提升，大量ECU難以開發功能與管理的問題，軟體定義汽車(SDV)的概念成為產業重視的方向。車用IC供應商面對SDV的趨勢，也透過平台整合，期望連結客戶與合作夥伴，共同開發功能可擴充且更安全的汽車。廠商如恩智浦半導體(NXP...
2024 年 06 月 03 日

突破AI資料傳輸瓶頸　CPO/LPO高速傳輸障礙迎刃解

過去半年到一年，人工智慧(AI)的技術成長超乎預期。是德科技資深技術專案經理林昭彥提及，AI市場的快速發展，從ChatGPT的用戶成長數據中可見一斑。過去Facebook在推出40週之後，用戶達到百萬，Instagram則在推出12週後累積百萬用戶。而ChatGPT在推出的一週之內，用戶數即達到百萬。AI已經成為時勢所趨，同時AI模型的參數量呈現倍數成長，除了帶動半導體的需求，也需要克服大數據傳輸的挑戰。...
2024 年 06 月 03 日

MCU運算效能不卡關　終端AI模型朝低算力/高精度邁進

生成式人工智慧(AI)的發酵在新興運算架構，以及先進製程的支援下，可說是水到渠成。新唐科技微控制器行銷應用處副處長沈子嵐說明，當大型語言模型(LLM)應用逐漸從雲端走向邊緣，產業對於邊緣運算技術的重視度隨之提升。高算力需求的AI應用集中在雲端，但未來端點AI的應用規模可望大幅超越雲端。端點AI的優勢之一是通常會配置豐富的感測器連結介面，具備多感測器融合的能力。感測器的資料在終端融合，可以減少資料量，進而降低邊緣端的算力需求。...
2024 年 06 月 03 日
近期研討會 More
白皮書

【重磅白皮書】免費下載！8位產業專家探討儀器儀錶在現代技術中的作用

2025 年 04 月 08 日

【經典秘笈下載】電源監控器處理延長電池壽命並提高性能

2025 年 01 月 13 日

【工程師必備收藏】SiC引領能源新革命: 高效儲能與轉換系統設計指南

2024 年 10 月 14 日

【免費下載】解鎖未來智慧車關鍵議題！免費下載《AI智慧車與智慧座艙》白皮書

2024 年 09 月 18 日

【成功案例分享】即刻下載！ROHM使用Siemens Tanner提供一流的dual MOSFET元件

2024 年 05 月 07 日
重磅專訪

碳矽電子創辦人李坤彥：紅鏈威脅是台灣SiC產業的危與機

2025 年 05 月 02 日

合聖總經理伍茂仁：矽光子需求大爆發　光通產業擴產潮到來

2025 年 03 月 03 日

Silicon Labs亞太區暨日本業務副總裁王祿銘：2025物聯網/邊緣AI深度結合創新局

2025 年 01 月 17 日

ams OSRAM Rest of Asia技術行銷總監李定翰：光與AI融合深化感測技術/應用

2025 年 01 月 13 日

Qorvo資深產品行銷經理陳慶鴻：高整合/低電壓射頻前端再進化

2025 年 01 月 09 日
最新文章

DigiKey 推出自有品牌 DigiKey Standard 產品組合

2025 年 05 月 02 日

Anritsu推出Wi-Fi 7 OTA測試解決方案　結合MVG多探棒系統與MT8862A測試儀

2025 年 05 月 02 日

碳矽電子創辦人李坤彥：紅鏈威脅是台灣SiC產業的危與機

2025 年 05 月 02 日

ICTGC重磅登場　揭密AI創新與技術應用智取未來新篇章

2025 年 05 月 02 日

解析Foundry Direct Connect 2025大會：英特爾的晶圓代工復興大計

2025 年 05 月 01 日
編輯推薦

碳矽電子創辦人李坤彥：紅鏈威脅是台灣SiC產業的危與機

2025 年 05 月 02 日

解析Foundry Direct Connect 2025大會：英特爾的晶圓代工復興大計

2025 年 05 月 01 日

挾軟硬體整合與客製化優勢　博鈞服務型機器人開創新版圖

2025 年 04 月 30 日

人形機器人開啟市場新契機　台灣機器人產業優勢/挑戰並陳

2025 年 04 月 28 日

實現高精度與可重複性設備保養　協作機器人革新晶圓廠維運

2025 年 04 月 22 日
城邦文化事業股份有限公司版權所有、轉載必究．Copyright(c) 2004 - 2025 Cite Publishing Ltd.