搶攻LLM市場 Ampere攜手高通推雲端AI加速器

針對生成式(AI)應用蓬勃發展,處理器廠商無法積極布局雲端運算與終端應用市場。瞄準大型語言模型(LLM)與AI伺服器的處理器,持續突破運算效能與散熱能力的瓶頸,快速攻掠AI應用市場。日前Ampere Computing宣布將推出即將推出的256核心AmpereOne...
2024 年 05 月 20 日

TAIDE團隊催落去 台灣大語言模型4天升級Llama 3

Meta在4月19日正式發表Llama 3大語言模型(LLM),原本基於Llama 2的TAIDE模型在正式發表後不到半個月時間,也快速升級到Llama 3。國科會於29日釋出基於Llama 3的Llama...
2024 年 04 月 29 日

台灣本土大語言模型TAIDE公開亮相

生成式AI浪潮席捲科技業,除了晶片業者聯發科也開始跨界布局大語言模型技術跟服務,推出達哥DaVinci平台服務外,國科會亦於15日正式推出利用台灣繁體中文文本訓練出來的TAIDE模型。與聯發科的達哥平台聚焦企業、學校等法人生態系建構不同,在國家預算挹注下而誕生的TAIDE,是所有人皆可下載使用、甚至進一步微調(Fine-tune)的LLM。...
2024 年 04 月 15 日

生成式AI元年啟動 NVIDIA全力支援企業AI

人工智慧(AI)與大型語言模型(LLM)的快速進展,模型的參數量呈現倍數成長,硬體設備亟需突破效能瓶頸。 面對龐大的算力需求,處理器供應商從CPU、GPU的運算效能、晶片內的資料傳輸頻寬等角度切入,盡可能滿足LLM在訓練與推論方面的效能需求。同時,企業導入生成式AI面臨諸多挑戰,包含模型更新速度飛快、數位分身(Digital...
2024 年 04 月 11 日

英特爾發表Gaudi 3 點名挑戰NVIDIA

英特爾在Vision 2024大會上,正式發表其Intel Gaudi 3 AI加速器。與前代產品相比,Gaudi 3為BF16提供4倍AI運算能力、1.5倍記憶體頻寬以及2倍網路頻寬,可擴充大規模系統,將有助大型語言模型(LLM)和多模態模型的AI訓練和推理,大幅提升效能和生產力。此外,英特爾亦強調,將透過開源社群軟體和符合業界標準的乙太網路,為客戶提供可靈活擴充系統的新選擇。從新推出的產品規格到生態系布局,可以很明顯看出,英特爾正急於抽乾NVIDIA在AI生態系領域所挖掘的護城河。...
2024 年 04 月 10 日

從機械按鍵到心領神會 人機介面演進催生科技金雞母

從最初的機械按鍵到觸控、語音、手勢,甚至眼神與意念的控制,人機介面的每一個階段都反映人們對於如何與機器進行互動的不斷探索與創新。更簡易、更直覺的人機溝通方式,沒有學習門檻的資訊產品,也許不久之後就會誕生。...
2024 年 04 月 09 日

Ansys攜手NVIDIA開創電腦輔助工程新世代

Ansys宣布與NVIDIA合作,共同開發由加速運算和生成式AI驅動的下一代模擬解決方案。擴大的合作將融合頂尖技術以推進6G技術,透過NVIDIA GPU增強Ansys求解器,將NVIDIA AI整合到Ansys軟體產品中,開發基於物理的數位分身,以及自訂使用NVIDIA...
2024 年 03 月 21 日

「AI+手機」問世 手機產業邁向新篇章(1)

為實現生成式AI在手機上的各類應用,並滿足手機直接處理LLM的運算需求,手機晶片算力的演進成為AI手機的發展關鍵。國際兩大行動處理器業者高通與聯發科皆於2023年第四季發表新一代的手機旗艦晶片,如高通Snapdragon...
2024 年 03 月 18 日

「AI+手機」問世 手機產業邁向新篇章(2)

在聯發科與高通的處理器平台支援下,智慧型手機已正式進入AI+手機的新時代。未來這些由AI衍生出的各種應用與軟體服務,將為手機品牌廠帶來更多創造差異化的機會。 開發LLM與各類AI應用為品牌廠策略重點 自2023年第四季起至今,手機品牌陸續發表AI手機的資訊,包含小米、vivo、OPPO、三星等,各品牌最新的旗艦款手機皆可在手機上直接運行生成式AI。目前AI手機以陸系手機品牌最為積極,包含Xiaomi...
2024 年 03 月 18 日

軟硬整合釋放AI潛能 資料中心效能須升級

過去這一年來,由於生成式預訓練模型(GPT)和其他大型語言模型的推出,AI已經漸漸成為科技應用的主流趨勢。AI迅速發展正為全球各行各業帶來革命性的改變,許多企業組織希望將AI整合進其資料中心,以進一步提升工作效率。...
2024 年 02 月 16 日

美光發表LPCAMM2產品 記憶體模組進入新世代

美光(Micron)近日發表其第一款LPCAMM2記憶體模組,該模組是記憶體模組領域繼SO-DIMM以來最重要的一次技術更新,不僅外觀尺寸更小,而且擁有遠勝於SO-DIMM的介面效能。 美光推出最新基於LPDDR5X的LPCAMM2記憶體,具備高效能、低功耗、更小規格尺寸...
2024 年 01 月 19 日

非x86陣營搶進AI PC 生態系成熟度定勝負(1)

為搶食AI應用進駐PC等終端裝置所帶來的商機,Arm陣營的業者也有相當積極的動作,不讓x86陣營專美於前。但在軟體生態系方面,除了蘋果之外,泛安謀陣營恐怕還有許多障礙需要克服。 基於人工智慧(AI)的應用功能,在智慧型手機等領域已經存在一段時間,例如手機拍照後的相片美化,或是拍攝時的影像強化功能,都已經大量使用AI。因此,對於非x86陣營的處理器晶片業者而言,支援AI並非新鮮事。不過,這些AI跟當下最熱門的生成式AI相比,在運算效能需求、記憶體容量跟存取效率方面,有著巨大的差異。如何進一步提升硬體效能,讓智慧型手機等行動終端裝置也能支援生成式AI,遂成為相關處理器業者當下必須面對的課題。...
2024 年 01 月 08 日