人工智慧(AI)的話題在Computex 2024發酵，在ChatGPT正式點燃生成式AI的熱潮之後，科技產業更掀起AI商機卡位戰。力晶積成電子(PSMC)參與Computex 2024並參加台灣先進車用技術發展協會(TADA)汽車科技主題館(Taiwan Automotive Tech Pavilion)，展示晶圓堆疊晶圓(Wafer on Wafer, WoW)製程解決方案，協助廠商搶占AI商機。
AI在Computex 2024颳起一陣旋風，在相關應用逐步落地的過程中，所有人都在尋找未來商機，力積電技術長室技術處長葛永年表示，除了雲端的AI之外，此次展覽中，更多廠商的技術主管，談論的都是邊緣(Edge)AI，包括AI PC、AI手機、智慧音箱(Smart Speak)等終端產品都要導入AI，Transformer模型會創造巨大的需求。
未來AI模型隨著技術的發展，參數量將快速膨脹，2023年之前的AI模型大概是以十億(B)為單位，2024年的AI模型參數已經以兆(T)為單位，葛永年指出，針對AI模型參數的成長，首先要有足夠的儲存容量，針對推論結果Token的反應，也要有足夠的頻寬可以傳輸，所以在滿足容量與頻寬的需求之下，每單位容量能分享的頻寬是更重要的原則。
所以在容量與頻寬利用率上，透過半導體製程的協助，讓資料存取與傳輸更有效率，是近年業界討論的熱門話題，葛永年說明，過去處理器與記憶體在晶片上的布局通常以一維方式連接，在同一個平面上，相鄰的兩個晶片透過電路連接，在狹小的空間裡連接更多電路取得盡量多的頻寬，而新設計混合鍵合(Hybrid Bonding)是晶片連接的革命性技術，該技術又稱為直接鍵合互連(Direct Bond Interconnect, DBI)，讓兩顆晶片透過二維的方式直接黏在一起，兩個晶片覆蓋介電材料如二氧化矽(SiO2)，介電材料嵌入與晶片相連的銅接點，接著將兩晶片接點面對合，最後透過熱處理讓兩晶片銅接點受熱膨脹對接。
簡而言之，葛永年進一步解釋，透過混合鍵合技術的晶圓堆疊晶圓(Wafer on Wafer, WoW)製程，與使用HBM需借助中介層(Interposer)的製程相較，WoW可以大幅縮短記憶體與處理器的距離，每單位容量可以得到10倍的頻寬，而且每位元的移動能量僅1/10。
葛永年說，PSMC擁有兩座8吋和四座12吋晶圓廠，提供先進記憶體、客製化邏輯積體電路和分立元件的代工服務。用於CNN的單層DRAM-Tile WoW，使用3D WoW製程將AI運算邏輯和高頻寬DRAM整合在一起。透過近記憶體計算，解決AI應用中遇到的記憶體頻寬和能耗問題。PSMC並演示晶片AIM300包括兩個工研院DLA人工智慧引擎，每個引擎具有2048個和256個MAC單元，採用40奈米邏輯製程，以及十六塊25奈米PSMC DRAM 128Mb，總容量為2Gb。透過TSV和混合鍵合，整合到單一3D封裝中，提供16GB/s高速記憶體存取和1TOP效能。AIM-300的記憶體存取能耗低於1pJ/bit，整體功耗低於1W，適用於Edge和Device上的AI影像辨識應用。
另外，LLM/GAI的多層DRAM-Cube WoW為晶圓級系統整合AI設計與製造服務平台，整合28奈米邏輯、21奈米DRAM和晶圓堆疊製程技術，具有增加頻寬、減少延遲、高性能、低功耗等優勢功耗，適合需要大頻寬的應用，如人工智慧、網路、影像處理等。
PSMC建構IP設計服務生態系統，開發邏輯晶片和DRAM垂直異構鍵合製程，並共同開發下一代AI應用所需的新型DRAM架構。邏輯與記憶體的融合，在晶圓級系統整合AI設計與製造服務中，將降低AI晶片開發的進入門檻。
