數位轉型需求大幅成長 AI帶動資料中心投資熱(2)

在企業投入轉型浪潮下, 雲端運算的應用更普及。同時疫情後的數位轉型持續推動資料中心產業的指數成長,超大規模和邊緣運算引領業者投資需求。資料中心市場正面臨耗費水資源、電力、生成式AI應用等七大趨勢,需要克服重重挑戰。 業者將租賃更少空間供資料中心使用 (承前文)資料中心的需求也會影響土地租賃市場,在經濟因素影響下,超大規模運營商可能會在2023年租用更少的空間。這些公司在2022年上半年削減數據中心的租賃量。這些租賃交易中有許多是預租,許多業者在建築物仍處於規劃和建設階段時就購買了整棟建築物。不可避免的是,隨著這些公司已經開始使用過去預租的空間時,租賃市場就會開始放緩。 舉例而言,Meta就決定暫緩其多個資料中心專案的建設,這樣公司就能夠「重新劃分」新設施的範圍,並以AI為公司發展重點進行資料中心的規劃。除了Meta外,Google也調整資料中心擴張計畫,放棄了明尼阿波利斯市場的一個資料中心項目。Twitter也在作出變動,直到2021年,它還是資料中心空間的大消費者。新任執行長馬斯克在上任後正積極削減成本,公司最近關閉了該公司在沙加緬度的一個資料中心來降低成本。 資料中心發電面臨挑戰 除了上述水資源使用外,電力是資料中心一個相當重要的領域,未來更多數據中心項目都會需要現場發電設施。其中包括現場能源發電,以達到在電網受限市場的擴張。這種趨勢的一個早期例子是在愛爾蘭,除了21台小型柴油發電機外,微軟計劃在該處建造一座170兆瓦的大型燃氣發電廠,該決定是在愛爾蘭電網營運商EirGrid有限制都柏林市場新數據中心建設的電力連接之後執行的,隨著全球各地的機構和市政當局製定到本十年末的碳排放目標,資料中心是現有能源最密集的結構之一,正受到更嚴格的審查。在愛爾蘭,資料中心消耗了全國10%以上的電力供應,事實上的禁令正在禁止業者建設新的數據中心,這些業者必須想辦法克服當地用電限制問題,包含電力的儲存與輸出等挑戰。 類似的策略可能會出現在北弗吉尼亞州,由於當地大容量輸電網路的限制,到2026年,Dominion...
2023 年 06 月 12 日

數位轉型需求大幅成長 AI帶動資料中心投資熱(1)

在企業投入轉型浪潮下, 雲端運算的應用更普及。同時疫情後的數位轉型持續推動資料中心產業的指數成長,超大規模和邊緣運算引領業者投資需求。資料中心市場正面臨耗費水資源、電力、生成式AI應用等七大趨勢,需要克服重重挑戰。 從市場面來看,根據Research...
2023 年 06 月 12 日

生成式AI算力需求無極限 HPC硬體彈性擴充應援

ChatGPT的橫空出世,再度帶動市場對於生成式AI與高效能運算(HPC)的關注。生成式AI運算大型語言模型的效能需求高,因此HPC成為助力生成式AI應用開枝散葉的關鍵之一,生成式AI也為HPC硬體帶來新一波市場動能。市場對於硬體的運算效能需求大幅成長,晶片與伺服器廠商便針對AI的運算需求推出高效能的硬體解決方案,以滿足市場對於加速AI運算與大量的平行運算需求。 技術進展促使生成式AI普及 促使生成式AI普及的原因,來自技術進展與市場需求。美超微(Supermicro)資深產品協理林振瑋(圖1)認為,HPC的技術進展,協助開發人員更有效率地訓練龐大且複雜的模型。同時,現有的大量、多樣的數據集,有助於開發人員訓練功能完善的大型模型,包含聊天機器人及其他對話式AI應用,並讓機器人的回覆內容更貼近真人回覆。從市場需求觀察,使用者對於個人化且互動自然的人機互動需求提升。加上現有的生成式AI服務在技術與平台的整合完善,有效降低使用者的使用門檻。 圖1 美超微資深產品協理林振瑋 運算效能需求爆發 從運算的角度分析,生成式AI帶起了新一波的HPC需求。英特爾(Intel)業務暨行銷事業群商用業務總監鄭智成(圖2)指出,目前的大型語言模型運算需求,無法只依賴一台伺服器,而需要伺服器群集,也就是HPC的形式才能滿足。HPC的節點從100逐漸成長到200個節點,未來仍會持續增加。過去的語言模型,僅具備語言辨識功能,規模較小,運算需求不會超過200個HPC節點的範圍。但是隨著語言模型發展至第二階段的語意理解,以及第三階段的文本生成,語言模型的規模大幅成長,大型語言模型便成為需要國家級,由大約一萬個節點組成的伺服器群集才能訓練的模型。 圖2 英特爾業務暨行銷事業群商用業務總監鄭智成 強化解方擴充性以提升效能彈性 即便多數的應用場景沒有國家級的運算資源,數千節點的HPC,仍可以滿足垂直領域應用所需的專用模型訓練。因此產業內整體的HPC運算需求不只上升,需要的運算效能也持續成長,供應商便需要盡可能提供彈性的租用或運算方案,以滿足市場需求。 廠商如Arm透過可擴充的HPC產品設計,來解決AI不斷成長的運算能力需求。Arm資深技術總監陳胎裕(圖3)提及,架構方面,透過高度可配置的設計,協助HPC產品根據工作負載的特定需求進行客製化設計。例如Arm可擴充向量延伸指令集(SVE)可根據廣泛應用,定製的向量處理功能。此外,確保HPC產品的效能擴充性,加上節能的設計架構,便能在降低產品功耗的同時,實現效能擴充的彈性。最後,面對單一系統中同時使用不同類型的處理器,包含CPU、GPU和專用加速器,採用異質運算可將每個任務分配給最合適的處理器,最大化運算效率。 圖3 Arm資深技術總監陳胎裕 從處理器廠商的角度,英特爾同時布局CPU、GPU與AI訓練加速器。鄭智成說明,目前的P-Core系列的CPU產品內建延伸指令集AMX,AI相關運算的效能可有效提升約十倍,也就是CPU除了可以執行AI推論,效能也足以訓練AI模型。同時,高效能CPU伺服器的功耗,大約是GPU伺服器的十分之一,因此若是AI運算選擇採用數個CPU伺服器,可以大幅降低電力消耗。 更高效的數據處理挑戰 陳胎裕分析,預期HPC和生成式AI將在醫療、金融、汽車和製造等眾多產業中,展現新的應用場景。例如,生成式AI可用於設計和優化新產品,而HPC可用於在虛擬環境中模擬和測試這些產品。技術方面,隨著生成式AI需要的數據量持續成長,需要快速、準確地處理和分析大量數據,因此市場對於高效能數據分析解決方案的需求將不斷增加。高效能方案也需要輔以新的硬體和軟體解決方案,以提供必要的效能和可擴充性。 而未來HPC社群最關心的挑戰之一,是HPC和AI硬體的發展將整合還是分流運行。陳胎裕認為,雖然HPC與AI的技術領域部分重疊,但也有差異之處,因此HPC...
2023 年 06 月 05 日

雲端運算助力工程模擬(1)

不斷成長的工程模擬工具使用和高效能運算(HPC)的需求,正在推動人們對雲端運算的興趣。使用雲端運算進行模擬帶來了獨特的挑戰,需要針對特定的案例使用不同的解決方案類型。 不斷成長的工程模擬工具使用和高效能運算(HPC)的需求,正在推動人們對雲端運算的興趣。使用雲端運算進行模擬帶來了獨特的挑戰,需要針對特定的案例使用不同的解決方案類型。本文將介紹部署雲端運算的8個最佳實踐,這些實踐從根本上與模擬資料、終端使用者存取、憑證、HPC工作負載以及業務支援相關。 不需額外移動數據 部署雲端運算的第一個最佳實踐與資料儲存有關,其目的在於減少雲端後端和終端使用者之間的資料傳輸次數。當然,某些資料必須傳輸,例如在桌上型電腦上使用電腦輔助設計(CAD)的終端使用者,需要將其CAD檔案移至雲端模擬中心。這些輸入檔案相對較小,以MB為單位,通常只需不到一分鐘的時間傳輸即可。然而,模擬結果的檔案通常非常巨大,可能達到GB甚至TB級別,需要數小時或數天的下載時間。 最佳解決長時間下載檔案的作法,是避免過於頻繁地下載資料,只下載必要的資料。相反地,使用者也應該確保雲端不僅是運算解決方案,也是儲存解決方案,至少對於工作進行中的資料。理想情況下,將所有的CAD和模擬結果檔案放在雲端儲存中,並在虛擬桌面基礎架構(VDI)和群集中共用這些儲存,以最小化雲端中的資料傳輸。這樣可以讓使用者在雲端進行模擬,幾乎不需要下載。為此,供應商便需要確保雲端資料的安全性和備份/災難恢復功能。 圖形化使用者介面進行端到端模擬 終端使用者需要在雲端上進行完整的端到端模擬,這意謂著使用者需要的不僅僅是批量求解,還包括交互式圖形用戶界面(GUI)處理和圖形後處理。大多數模擬工作負載涉及到3D圖形,因此需要具有伺服器端加速功能、網路效能良好,且網路延遲合理的遠端圖形軟體工具。同時,使用者還需要完全的遠端桌面存取權限,這樣才能夠編輯和管理檔案、編譯外掛程式等等,而不僅僅是在應用程式的視窗中使用。 為了支援這些功能,雲端上的圖形伺服器需要足夠的記憶體來載入和顯示大型模擬模型。許多標準的雲端後端可能無法支援這些需求。廠商如Ansys提供的雲端解決方案支援VDI技術,使得用戶可以在任何具有網頁瀏覽器的電腦上執行端到端的雲端模擬工作流程。協助用戶在不需要投資多個高頻寬記憶體及影像處理伺服器的情況下,就能在雲端上使用大型影像模型。 網路通訊/數據儲存安全 對於大多數考慮採用外部雲端解決方案進行模擬的公司來說,最重要的問題是保護產品數據。模擬模型包含產品數據和智慧財產權(Intellectual...
2023 年 05 月 09 日

雲端運算助力工程模擬(2)

不斷成長的工程模擬工具使用和高效能運算(HPC)的需求,正在推動人們對雲端運算的興趣。使用雲端運算進行模擬帶來了獨特的挑戰,需要針對特定的案例使用不同的解決方案類型。 企業內部憑證 緊隨數據的安全,第二個最常見的問題與雲端上的軟體許可有關。能夠使用企業內部已有的憑證是一個關鍵。這幫助使用者有能力將他們的基礎設施轉移到雲端,不必決定如何在內部和雲端之間分配使用者的憑證。藉由正確的網路設置(網站到網站的VPN或點到點的防火牆配置),企業內部既有的憑證可以在雲端和企業內部之間互換使用。有一個替代方案是,只需將憑證轉移到基於雲端的憑證伺服器和/或購買更多的憑證,並將其放在雲端憑證伺服器上。在眾多的方法中,這個比較簡單,也可能是一個很好的開始,如果憑證需要在客戶內部和雲端之間提供,這個方案就不能提供靈活性(圖1)。 圖1 產品如Ansys...
2023 年 05 月 09 日

英飛凌/大陸集團打造高效能汽車架構

英飛凌科技(Infineon)宣布將與大陸集團(Continental)攜手合作開發基於伺服器的汽車架構。此次合作目標在於打造一款系統的、高效率的電子/電氣(E/E)架構,該架構與以往動輒包含上百甚至更多獨立控制單元的電子/電氣架構不同,將由中央高性能電腦(HPC)和幾個強大的域控制單元(ZCU)組成。目前,大陸集團在ZCU平台中採用了英飛凌的AURIX...
2023 年 04 月 21 日

彈性應對地緣政治挑戰 資安實力強化供應鏈韌性

美中衝突正在持續,拜登政府的有別於過去川普政府的「覆蓋式攻擊」,川普著重在實體貨物的關稅制裁,但這種做法由於範圍太大而不好使力,導致美國對中國仍然產生大量貿易逆差,企業用各種方式持續對中國提供科技產品與零組件。相較之下,拜登政府則採用「科技鎖喉」的精準攻擊,從晶片、關鍵設備、人工智慧、軟體等四大面向進行封鎖。例如美國自2020年初便開始阻止荷蘭艾司摩爾(ASML)向中國出口EUV曝光機設備,而2022年中開始則禁止美國公司向中國出售高階晶片和晶片製造軟體。另外,美國近期也禁止美國人為中國晶片公司工作,迫使晶片從業人員放棄美國護照,或放棄在中國的職業生涯,半導體大廠如科磊(KLA...
2022 年 12 月 26 日

NVIDIA強化GPU/雲端算力 雙向布局HPC

高效能運算(HPC)及雲端服務是支援人工智慧(AI)發展的重要技術,對此,NVIDIA透過採用Transformer引擎及Hopper架構,強化A100 GPU效能,用以運算大型AI模型。同時NVIDIA為Rescale雲端平台提供AI軟體,為其高效能運算即服務(HPC-as-a-service)產品帶來新功能,同時加速Rescale運算推薦引擎(Rescale...
2022 年 11 月 10 日

Arm新推Neoverse平台 高算力/節能一把罩

次世代的IT基礎建設重點在於滿足5G、高速網路、資料中心、高效能運算(HPC)的需求。Arm台灣總裁曾志光表示,上述四個應用場域對於運算/特殊運算、效能的需求巨大,需要採用可客製化算力的產品,彈性滿足多元的應用需求。新一代的產品除了要能提升算力,因為ESG議題受到市場高度關注,因此盡可能降低高算力所消耗的電能,也是產品開發的重要目標。 開發次世代基礎建設需要克服三大挑戰,Arm應用工程總監徐達勇分析,第一個挑戰來自於擴充彈性,伺服器與資料中心應用場景多元,不同的處理器與記憶體組合及工作負載,都需要相應的算力和價格,以符合應用場景需求,因此過往General...
2022 年 09 月 16 日

高效能運算搧風點火 次世代記憶體蓄勢待發

人工智慧(AI)應用的興起,帶動了高效能運算的發展。為了應付極為繁重的運算任務,處理器、微控制器(MCU)業者,不是推出運算效能更高的新產品,就是推出了內建專用加速單元的解決方案,來提升運算單元處理AI運算的效率。 但運算單元的效能提升,只解決了部分問題。在運算效能大幅提升的情況下,記憶體成為運算效能的瓶頸所在。如何用更低的成本來儲存大量資料,並將這些資料即時傳輸到運算單元進行處理,成為記憶體必須克服的挑戰。 四大次世代記憶體各有挑戰 成功大學電機系副教授盧達生指出,在高速運算領域,記憶體面臨這三個主要的挑戰,分別是如何提高儲存密度、如何提高資料傳輸效能,以及降低功耗。在提高儲存密度方面,記憶體業界已普遍導入3D堆疊架構,來提升資料儲存的密度;在性能方面,則發展出高頻寬記憶體,來解決馮紐曼運算架構的瓶頸。嵌入式記憶體則是頻寬與功耗問題的解答,藉由縮短處理器與記憶體之間的實體距離,記憶體與處理器之間的通訊頻寬得以提高,資料傳輸的功耗也大幅改善。 然而,現有的記憶體技術存在許多限制。例如SRAM雖然有極低的延遲,而且理論上沒有讀寫次數的限制,但其占用的面積相當大,而且斷電後儲存在上面的資料也會遺失;快閃記憶體可以實現相當高的儲存密度,但讀寫次數有限,而且寫入資料的速度慢,功耗也高。 為突破現有記憶體技術的限制,產業界與學術界一直在研究新的記憶體技術。目前最具潛力的次世代記憶體技術有四種,分別是相變記憶體(PCM)、磁性記憶體(MRAM)、電阻記憶體(RRAM),以及鐵電記憶體(FeRAM)。這些記憶體技術都具有比快閃記憶體更高的寫入速度與更低的功耗,密度也比SRAM更高,同時都具有非易失性,斷電後資料也不會遺失。 但這些新興記憶體技術本身也有許多需要克服的問題。以相變記憶體來說,因為其需要相當大的電流來重置記憶單元,因此其功耗跟讀寫速度,僅略優或相當於快閃記憶體。磁性記憶體的問題則是在量產方面,特別是基於自旋電子的Spin...
2022 年 08 月 15 日

三星24Gbps GDDR6 DRAM亮相 顯卡效能躍升可期

三星(Samsung)宣布推出GDDR6 DRAM,其處理速度可達24 Gbps。此款記憶體採用三星第三代10nm(1z)製程,以及極紫外光(EUV)技術,有助於提升下一代顯卡、筆電/遊戲主機、人工智慧(AI)應用,以及高速運算(HPC)系統的效能。隨著客戶在2022年7月開始驗證產品,三星預計配合GPU平台推出,將24Gbps...
2022 年 07 月 18 日

新思科技Fusion Compiler方案實現超過500次投片

新思科技(Synopsys)近日推出其旗艦產品Fusion Compiler RTL至GDSII解決方案自2019推出以來,已協助用戶累積超過500次投片,此項成就擴展了新思科技在數位設計實作領域的業界領先地位。使用...
2021 年 12 月 15 日
1 2 3 ... 8