NVIDIA即將推出新一代平台Blackwell,其中包含B系列GPU和整合了NVIDIA自家Grace Arm CPU的GB200等產品。根據市場研究機構TrendForce指出,雖然在當前世代,整合CPU跟GPU的GH200出貨量占比極低,僅5%左右,但在即將到來的下一個世代,NVIDIA GB200的出貨量有望突破百萬顆,佔NVIDIA高階GPU出貨量的近4~5成。
儘管NVIDIA計劃在2024下半年推出GB200和B100等產品,但在晶圓封裝方面需要採用更複雜、更高精度的CoWoS-L,驗證測試過程將會更耗時。此外,針對AI伺服器整機系統,B系列還需要更多時間進行最佳化,例如網通和散熱的運轉效能。預計GB200和B100等產品要等到2024年第四季至2025年第一季才有機會正式大量生產。
在CoWoS方面,NVIDIA的B系列包括GB200、B100、B200等將消耗更多CoWoS產能,台積電已提升2024年全年CoWoS產能,預計至年底每月產能將達40k,較2023年總產能提升逾150%。2025年的總產能量有望幾乎翻倍,其中將有一半以上產能被用來滿足NVIDIA的需求。目前主力技術為CoWoS-S的Amkor、Intel等公司,短期內技術難以突破,因此擴產計畫相對保守,除非未來能獲得更多NVIDIA以外的訂單,如雲端服務業者(CSP)自研ASIC晶片的封裝訂單,擴產態度才會轉趨積極。
此外,根據TrendForce的觀察,NVIDIA和AMD的AI加速器將加快導入HBM3e,使其成為市場主流。NVIDIA將在今年下半年開始大量出貨搭載HBM3e的H200,取代H100成為主流,隨後GB200和B100等產品也將採用HBM3e。而超微(AMD)為了與NVIDIA抗衡,在MI350上也會搭載HBM3e。
HBM搭載容量持續擴增,以滿足大語言模型的訓練跟推論應用需求。NVIDIA的B100、GB200主要搭載8hi HBM3e,達192GB,2025年將推出的B200則預期會搭載12hi HBM3e,容量提升到288GB;AMD將推出的MI350或MI375系列也預計會搭載12hi HBM3e,達288GB。