生成式AI持續發燒 HBM3e/CoWoS-L需求強勁

2024 年 04 月 18 日

NVIDIA即將推出新一代平台Blackwell,其中包含B系列GPU和整合了NVIDIA自家Grace Arm CPU的GB200等產品。根據市場研究機構TrendForce指出,雖然在當前世代,整合CPU跟GPU的GH200出貨量占比極低,僅5%左右,但在即將到來的下一個世代,NVIDIA GB200的出貨量有望突破百萬顆,佔NVIDIA高階GPU出貨量的近4~5成。

儘管NVIDIA計劃在2024下半年推出GB200和B100等產品,但在晶圓封裝方面需要採用更複雜、更高精度的CoWoS-L,驗證測試過程將會更耗時。此外,針對AI伺服器整機系統,B系列還需要更多時間進行最佳化,例如網通和散熱的運轉效能。預計GB200和B100等產品要等到2024年第四季至2025年第一季才有機會正式大量生產。

在CoWoS方面,NVIDIA的B系列包括GB200、B100、B200等將消耗更多CoWoS產能,台積電已提升2024年全年CoWoS產能,預計至年底每月產能將達40k,較2023年總產能提升逾150%。2025年的總產能量有望幾乎翻倍,其中將有一半以上產能被用來滿足NVIDIA的需求。目前主力技術為CoWoS-S的Amkor、Intel等公司,短期內技術難以突破,因此擴產計畫相對保守,除非未來能獲得更多NVIDIA以外的訂單,如雲端服務業者(CSP)自研ASIC晶片的封裝訂單,擴產態度才會轉趨積極。

此外,根據TrendForce的觀察,NVIDIA和AMD的AI加速器將加快導入HBM3e,使其成為市場主流。NVIDIA將在今年下半年開始大量出貨搭載HBM3e的H200,取代H100成為主流,隨後GB200和B100等產品也將採用HBM3e。而超微(AMD)為了與NVIDIA抗衡,在MI350上也會搭載HBM3e。

HBM搭載容量持續擴增,以滿足大語言模型的訓練跟推論應用需求。NVIDIA的B100、GB200主要搭載8hi HBM3e,達192GB,2025年將推出的B200則預期會搭載12hi HBM3e,容量提升到288GB;AMD將推出的MI350或MI375系列也預計會搭載12hi HBM3e,達288GB。

 

》想看更多內容?快來【免費加入會員】【登入會員】,享受更多閱讀文章的權限喔!
標籤
相關文章

獨立顯卡/遊戲機雙引擎帶動 GDDR6將成繪圖記憶體新主流

2020 年 05 月 21 日

全球前十大IC設計2019年第二季營收出爐 前後段兩樣情

2019 年 09 月 02 日

超大型購併案接二連三 2020年半導體購併金額破紀錄

2021 年 01 月 14 日

整併熱潮退燒 2021年半導體購併案回歸正常水準

2021 年 09 月 30 日

AI伺服器需求高漲 ASIC方案市占率超過25%

2024 年 07 月 22 日

NVIDIA RTX PRO搶灘企業市場 迎戰客製化晶片浪潮

2025 年 08 月 31 日
前一篇
2024台灣半導體產值達台幣4.17兆 成長13.6%
下一篇
高通Embedded World 2024展出嵌入式Wi-Fi與AI物聯網、工業平台