高通(Qualcomm)近日宣布推出新一代專為資料中心AI推論最佳化的解決方案：以高通AI200與AI250晶片為基礎打造的加速卡及機架系統。以高通在NPU技術領域的領導地位為基礎，這些解決方案提供機架級效能與卓越的記憶體容量，能以出色的每美元每瓦的高效能，支援快速生成式AI推論，並在推動跨產業可擴展、高效且靈活的生成式AI上邁出重大突破。 高通宣布將推出基於AI200、AI250晶片的加速卡與機架解決方案，瞄準生成式AI推論需求。 高通AI200推出專為機架級AI推論打造的解決方案，可為大型語言模型(LLM)、多模態模型(LMM)推論及其他AI工作負載提供低總體擁有成本(TCO)與最佳化的效能。每張加速卡支援768GB的LPDDR記憶體，實現更高容量與更低成本，為AI推論提供出色的擴展性與靈活性。 高通AI250解決方案將首次採用基於近記憶體運算(near-memory...

AI對運算資源的極度渴求正在重塑基礎架構，業界也正努力解決電力、擴充性和效率等需求。這促使了大量投資湧入，以重新配置資料中心架構。問題的癥結在於創造智慧需要巨大的運算能力。隨著AI的複雜度每年都以幾個數量級的速度增加，資料中心必須快速擴充。從這個角度來看，需求的成長速度非常驚人，預計到2027年，AI工作負載所消耗的能源將超過阿根廷全國的用電量。 資料中心新格局　AI朝多樣化架構演進 AI正重新定義各種類型資料中心的架構：包括超大規模、現場部署、代管和邊緣。迄今為止，大部分的關注仍集中在超大規模業者之間的軍備競賽上。對於運算資源的指數級需求，正在創造出擁有超過1GW容量的現場AI叢集。麥肯錫預測，到2030年，歐洲和美國超過60%的AI工作負載將託管在超大規模基礎設施上。 資料中心必須能夠支援AI工作負載，例如訓練大型語言模型(LLM)。這涉及到設施設計與架構的全面調整。為支援密集運算的需求，每個機架的電力容量必須增加到200~300kW，同時導入相對應的強化冷卻解決方案。像GPU和TPU等專業硬體整合至系統中，並搭配擴充的儲存系統，以管理龐大的資料量。目前正在部署分散式架構，以便獨立管理和擴充硬體，讓不同的工作負載都能有效地使用資源。網路架構也需要更新，以處理AI特有的流量模式，否則AI叢集可能會陷入數位壅塞－處理能力將因資料瓶頸而癱瘓。 除了超大規模設施之外，AI也在推動分散式基礎架構的需求，以支援本機的資料處理。這需要專為邊緣工作負載所設計的資料中心－以較小的實體占用空間和較低的能源消耗下達到高效能。預計到2030年，隨著越來越多的處理轉移到邊緣，這個市場預計將超過1,600億美元。 這種成長的動力來自於支援更接近終端使用者的即時處理，如自動駕駛等應用，在這些應用場景中，更快速的決策能力至關重要。這種方法可降低延遲，並支援由IoT和5G技術推動的超連結世界。 隨著AI應用的成熟，推論工作負載的成長速度遠高於模型訓練。基礎架構需要顧及這種從訓練到推理的轉變，像DeepSeek...

AI對運算資源的極度渴求正在重塑基礎架構，業界也正努力解決電力、擴充性和效率等需求。這促使了大量投資湧入，以重新配置資料中心架構。問題的癥結在於創造智慧需要巨大的運算能力。隨著AI的複雜度每年都以幾個數量級的速度增加，資料中心必須快速擴充。從這個角度來看，需求的成長速度非常驚人，預計到2027年，AI工作負載所消耗的能源將超過阿根廷全國的用電量。 資料中心新格局　AI朝多樣化架構演進 AI正重新定義各種類型資料中心的架構：包括超大規模、現場部署、代管和邊緣。迄今為止，大部分的關注仍集中在超大規模業者之間的軍備競賽上。對於運算資源的指數級需求，正在創造出擁有超過1GW容量的現場AI叢集。麥肯錫預測，到2030年，歐洲和美國超過60%的AI工作負載將託管在超大規模基礎設施上。 資料中心必須能夠支援AI工作負載，例如訓練大型語言模型(LLM)。這涉及到設施設計與架構的全面調整。為支援密集運算的需求，每個機架的電力容量必須增加到200~300kW，同時導入相對應的強化冷卻解決方案。像GPU和TPU等專業硬體整合至系統中，並搭配擴充的儲存系統，以管理龐大的資料量。目前正在部署分散式架構，以便獨立管理和擴充硬體，讓不同的工作負載都能有效地使用資源。網路架構也需要更新，以處理AI特有的流量模式，否則AI叢集可能會陷入數位壅塞－處理能力將因資料瓶頸而癱瘓。 除了超大規模設施之外，AI也在推動分散式基礎架構的需求，以支援本機的資料處理。這需要專為邊緣工作負載所設計的資料中心－以較小的實體占用空間和較低的能源消耗下達到高效能。預計到2030年，隨著越來越多的處理轉移到邊緣，這個市場預計將超過1,600億美元。 這種成長的動力來自於支援更接近終端使用者的即時處理，如自動駕駛等應用，在這些應用場景中，更快速的決策能力至關重要。這種方法可降低延遲，並支援由IoT和5G技術推動的超連結世界。 隨著AI應用的成熟，推論工作負載的成長速度遠高於模型訓練。基礎架構需要顧及這種從訓練到推理的轉變，像DeepSeek...

人工智慧(AI)時代，運算元件的效能重點，從算力進化到運算密度(Arithmetic Intensity)，運算密度越高可以更有效率的處理模型的資料，台灣發展軟體科技(Skymizer)十多年前從編譯器軟體起家，近年設計出可以最有效率處理大語言模型的LPU(Language...

2025年5月Arduino官方為其雲端版的開發工具Arduino Cloud Editor加入大語言模型(LLM)的能力，Maker寫Arduino程式寫到一半不知如何接續時，可以用文字對話方式詢問LLM，模型就會生出一段程式碼。理想情況下，程式碼可以直接複製沿用，即便無法完全適用，也可以進行人工修改後使用，最差得情況下，至少也能提供一些靈感啟發。 圖1...

眾所皆知，若期望目前的大語言模型（Large Language Model, LLM）有足夠程度的智慧，通常要使用高參數量的版本。然而，高參數量版本若要實現即時回應，則需要仰賴龐大的運算能力，反之，在有限運算力下，則必須接受漫長的等待回應。 圖1...

繼2024年推出邊緣推論加速器EdgeThought之後，Skymizer日前正式發表全新一代AI加速器IP：HyperThought。此新產品專為應對即時、多模態與Agent型AI的日益成長需求而設計，代表AI加速性能、擴展性與部署靈活性的趨勢。 Skymizer執行長賴俊豪(中)；Skymizer創辦人暨技術長唐文力(右)；Skymizer的營銷總監兼執行副總裁魏國章(左) Skymizer的LPU...

益華電腦(Cadence)宣布，與經濟部產業技術司攜手合作的「全流程智慧系統設計實現自動化研發夥伴計畫」締造重大里程碑。此計畫成功協助工研院建構全台首創的「全流程3D IC智慧系統設計與驗證服務平台」，推出3D異質堆疊晶片設計服務(3D...

高通(Qualcomm)技術公司推出Snapdragon 7系列的最新產品 – Snapdragon 7 Gen 4行動平台。此全新行動平台專為提升最受使用者喜愛的多媒體體驗而設計，並提供全面的強大效能。無論是利用先進的圖像處理功能捕捉珍貴時刻，或享受精選的Snapdragon...

聯發科發表天璣9400e旗艦行動晶片。作為天璣旗艦系列最新平台，天璣9400e採用聯發科技先進的全大核架構，以澎湃效能與傑出能效，為廣泛的智慧型手機使用者帶來卓越的行動遊戲、人工智慧、影像與通訊體驗。首批採用聯發科技天璣9400e行動平台的智慧手機預計於本月發表。 聯發科發表天璣9400e處理器，整合了更完善的AI與遊戲相關功能   聯發科無線通訊事業部總經理李彥輯表示，該公司致力於為全球使用者帶來超乎想像的旗艦體驗，將高效能、高智能、高能效、低功耗四大優勢變成天璣行動平台的基因。天璣9400e強悍的硬體配置結合先進的聯發科遊戲技術，可帶來持久流暢、畫質驚艷的娛樂體驗，能讓玩家長時間暢玩遊戲。 天璣9400e採用高能效的台積電第三代4奈米製程，全大核CPU架構包含4個Cortex-X4超大核，主頻高達3.4GHz，以及4個主頻為2.0GHz的Cortex-A720大核，強勁的全大核架構可輕鬆滿足使用者對多任務、複雜任務等應用情境的效能需求，並同時兼顧要有出色的能效表現。天璣9400e搭載旗艦12核GPU...

人工智慧(AI)逐漸深入影響各產業並開創嶄新面目，AI技術正以前所未見的速度改變製藥研發、資安防護、綠色永續與AI運算架構的未來。國家科學及技術委員會IC Taiwan Grand Challenge第二梯次獲獎團隊揭曉，來自英國、法國、瑞典、新加坡等五家頂尖新創公司出列！聚焦AI驅動的量子運算突破、後量子時代資安防護、奈米級水純化技術、LLM基礎架構革新及GaN功率晶片應用等技術領域。五家得獎團隊將於5/20(二)-5/23...

關於以色列新創晶片商Hailo公司，相信許多自造者、創客（Maker）已略有耳聞，因為該公司專門設計與銷售Edge AI的硬體加速晶片，如Hailo-8、Hailo-8L，或是直接內含處理器的Hailo-15等。 圖1...