JEDEC正式發表備受期待的下一代高頻寬記憶體(HBM) DRAM標準：HBM4。JESD270-4 HBM4將在HBM3的基礎上，進一步提高資料處理速度，同時保持高頻寬、能源效率及大儲存容量等基本特徵，因為更高的頻寬使得更高的資料處理速率成為可能。該標準已在JEDEC官網上開放下載。 HBM4帶來的進步，對於需要有效處理大型資料集和複雜運算的應用至關重要，包括生成式人工智慧(AI)、高效能運算(HPC)、高階顯示卡和伺服器。在前一版本標準的基礎上，HBM4引入了許多改進，包括： •...

高速記憶體成為支援AI發展的利器，在終端應用方面，消費者對於AI PC的期待是無須聯網，就可以在終端裝置實現生成式AI的功能。因此裝置儲存資料的擴張性，會順勢帶動記憶體與儲存裝置的升級。 近年來，人工智慧(AI)的快速發展帶動運算技術的新浪潮，同時高速記憶體的不斷創新，成為提升運算效能提供了關鍵的支援。市場上多半視2024年為人工智慧個人電腦(AI...

高速記憶體成為支援AI發展的利器，在終端應用方面，消費者對於AI PC的期待是無須聯網，就可以在終端裝置實現生成式AI的功能。因此裝置儲存資料的擴張性，會順勢帶動記憶體與儲存裝置的升級。 (承前文)頻率跟密度上，DDR5也大大的超越了DDR4。DDR4僅支援最高16Gb的DRAM容量，而DDR5記憶體標準提高到了64Gb。這表示DDR5...

關於高頻寬記憶體(HBM)的討論非常熱烈。隨著人工智慧(AI)的不斷發展，市場對於HBM的需求也不斷增加。許多大型科技公司都在HBM上投注資源，以滿足客戶的需求。HBM是一種進階的電腦記憶體，旨在以更低的耗能提供更快的資料存取速度。對於人工智慧而言，HBMs可以成為提升效能和降低記憶體晶片功耗的關鍵組成。 HBM採用3D堆疊技術，利用先進的封裝技術將多層元件垂直整合。將專用的動態隨機存取記憶體(DRAM)晶片垂直堆疊，並透過高速通道將它們連接起來，可實現執行複雜人工智慧任務所需的快速數據交換。新興成長驅動因素如生成式人工智慧和資料處理等應用，雖處於起步的階段，但可預期將帶動HBM的市場潛力保持強勁。 凸塊和TSV實現HBM3 HBM3是目前這一代的HBM，它有兩個關鍵元件，可以增加垂直堆疊積體電路(也稱為晶粒)的數量，進而提高記憶體容量和效能。第一種是微凸塊，即在晶粒上形成的微小焊點。第二種是矽穿孔(TSV)，它是從晶圓正面策略性蝕刻並填充銅的孔洞。記憶體晶粒透過一系列TSV連接在一起。然後，連接的微型凸塊，將在記憶體模組中堆疊封裝的裝置之間建立小型、快速的電氣連接。 數位化應用 機器學習 HBM的獨特設計有利於在處理器和記憶體之間快速傳輸資料，進而最佳化人工智慧任務，例如機器學習與人工智慧。人工智慧訓練和推論是機器學習的兩個不同階段，訓練是指人工智慧從資料中學習，更新參數以找到模式或規則，並將每個輸入對應到特定輸出。人工智慧推論是指人工智慧系統使用訓練有素的模型對新資料進行預測，而無需人工干預。 機器學習和人工智慧的一個範例就是Siri或Alexa這樣的虛擬助手。這些人工智慧系統使用機器學習演算法來理解和回應使用者的指令和詢問。 自動駕駛 如果要實現自動駕駛，人工智慧需要在不受人類駕駛影響的情況下進行規畫和行動，這就需要進行資料密集型處理。人工智慧的影像識別、決策能力、感官功能以及資料建模能力可以透過高頻寬記憶體同時實現。 影像辨識 影像識別使用的是機器學習的分支，即深度學習。透過各種演算法，人工智慧可以分析成千上萬的影像和海量資料。影像識別的一個範例是Google...

資料來源：TrendForce(8/2023) 根據TrendForce最新報告指出，在AI熱潮的帶動下，NVIDIA等晶片供應商以及自行設計AI加速器的雲端服務業者(CSP)，紛紛增加了對HBM記憶體的採購量，使得記憶體廠紛紛擴增TSV產線以增加HBM產能。從目前各記憶體原廠的規劃來看，預估2024年HBM供給位元量將年增105%。不過，考量TSV擴產加上機台交期與測試所需的時間合計可能長達9~12個月，多數HBM產能要等到2024年第二季才可望陸續開出。 TrendForce分析，由於2023~2024年屬AI建置爆發期，故大量需求挹注在AI訓練晶片，並推升HBM使用量，後續建置轉為推論後，對AI訓練晶片以及HBM需求的年成長率則將略為收斂。因此，原廠此刻在HBM擴產的評估正面臨抉擇，必須在擴大市占率以滿足客戶需求，以及過度擴產恐導致供過於求之間取得平衡。值得注意的是，目前買方在預期HBM可能缺貨的情況下，其需求數量恐隱含超額下單(Overbooking)的風險。 觀察HBM供需變化，2022年供給無虞，2023年受到AI需求突爆式增長導致客戶的預先加單，即便原廠擴大產能但仍無法完全滿足客戶需求。展望2024年，TrendForce認為，基於各原廠積極擴產的策略下，HBM供需比(Sufficiency...