Chiplet崛起 AI運算高成本有解

隨著摩爾定律的放緩與先進製程成本的不斷攀升,生成式人工智慧(AI)等應用的效能需求在短時間內快速成長,資料中心的耗能隨之攀升,小晶片(Chiplet)技術因此崛起。Arm基礎設施事業部硬體生態系總監Imran...
2024 年 11 月 04 日

宜鼎DDR5 6400記憶體助力生成式AI應用穩定扎根

宜鼎國際(Innodisk)推出DDR5 6400記憶體模組,具備單條64GB的業界最大容量。產品採用全新的CUDIMM與CSODIMM規格,增設CKD晶片(用戶端時脈驅動器)以提升傳輸訊號穩定性,並透過TVS(瞬態電壓抑制器)防止因電壓不穩造成元件毀損,為邊緣應用提供至關重要的高穩定度。...
2024 年 11 月 04 日

Arm整合PyTorch/ExecuTorch 加速雲端及邊緣AI開發

Arm近期宣布透過將Arm Kleidi技術整合到PyTorch和ExecuTorch,促使新一代的應用在Arm CPU上運行大語言模型(LLM)。Kleidi彙集了最新的開發人員賦能技術和關鍵資源,目標在於推動機器學習(ML)技術堆疊中的技術協作和創新。透過這些重要進展,Arm期望為每一位ML技術堆疊的開發人員提供更為順暢的體驗。...
2024 年 09 月 23 日

數位大腦結合大型語言模型  知識管理系統AI進化

在快速變化的商業環境中,知識管理已成為企業競爭力發揮的關鍵,若知識管理不當,企業極有可能面臨內部重要經驗流失、員工重複作業、誤用過時資料等情況,甚至影響到整體工作效率。叡揚資訊解決方案業務群資深顧問師方小欣指出,企業需要一個知識大腦來解決這些問題,Vitals...
2024 年 09 月 02 日

AI應用帶動市場需求 軟板產值重回成長軌道

根據台灣電路板協會與工研院產科所最新發布《2024全球軟板產業掃描與發展動態》,2024年全球軟板市場將從2023年的低迷中逐步復甦,市場規模(含軟硬結合板,以下同)有望達到197億美元,年增長7.3%。隨著AI應用在手機與電腦市場的逐漸普及,軟板需求有望持續升溫,預計2025年軟板市場將成長5.2%,達到207.2億美元,回復至2021年的水準。...
2024 年 08 月 19 日

TrendForce: 2024年AI SSD採購容量估破45EB

根據TrendForce最新的企業級SSD研究報告,由於AI需求大幅升溫,最近兩季AI伺服器相關客戶向供應商進一步追加企業級SSD訂單。上游供應商為了滿足SSD在AI應用上的供給,加速製程升級,開始規劃2YY產品,預期於2025年量產。...
2024 年 08 月 15 日

產業全力克服AI幻覺 精準LLM近在眼前(1)

儘管人工智慧產生的幻覺可能令人擔憂,但該技術仍然是塑造產業以及開創未來的重要一環。AI服務供應商透過人機協作把關資料品質,盡可能提高生成式AI回覆的準確率。 人工智慧(AI)通常被視為有助於解決,目前許多迫切的社會問題的良策,其強大的功能包括:快如閃電的資料整理速度、準確的預測功能、無人可及的分類效率,上述應用案例不勝枚舉。但AI仍然是一項不斷發展、存在缺陷的技術,最近,「幻覺」成為了關於人工智慧的焦點議題。...
2024 年 07 月 18 日

產業全力克服AI幻覺 精準LLM近在眼前(2)

儘管人工智慧產生的幻覺可能令人擔憂,但該技術仍然是塑造產業以及開創未來的重要一環。AI服務供應商透過人機協作把關資料品質,盡可能提高生成式AI回覆的準確率。 (承前文)專用AI模型這對於擁有重要專有資訊,或使用高度特定內部語言的企業而言尤其重要。部署經過公共資料訓練的AI工具將無法勝任這項工作,只有熟悉企業術語、首字母縮寫、流程等的獨特工具,才能實現其所需要的目標。...
2024 年 07 月 18 日

生成式AI落地不再難 達梭攜手Mistral AI推出LLMaaS

進入生成式經濟(Generative Economy)時代,各產業拓展業務的重心,必須從產品研發轉向注重體驗和永續發展,透過數位工具結合模擬技術改善現實世界。 人工智慧技術快速更迭,特別是以Mistral...
2024 年 07 月 18 日

Arm終端產品運算子系統全面啟動 高速運算擁抱行動AI世代

Arm終端產品運算子系統(Arm CSS for Client),在提高整體運算效能、強化人工智慧運算能力與優化省電續航三大主軸下,帶領智慧終端實現下一波運算性能需求。Arm並舉辦Tech Day深入解析相關技術架構與設計理念。...
2024 年 07 月 04 日

GAI/LLM催生即時翻譯應用藍海

大型語言模型(LLM)與生成式人工智慧(AI),是目前市場上最受矚目的技術。其中,即時翻譯服務快速發展,市場上可以看到即時翻譯軟體與錄音筆等產品陸續問世。例如台灣新創廠商聲麥無線即提供即時翻譯的軟/硬體整合方案,該裝置可以將發言者的說話內容,以文字即時翻譯成多種語言,並顯示在透明面板中,提供其他語言的使用者閱讀。...
2024 年 06 月 28 日

Arm Kleidi開發平台助終端AI體驗再升級

市場上有數千種Android設備正在運作,每一種都有不同的硬體規格,比起單一雲平台統一的硬體規格,開發者為千百種行動裝置進行優化需要付出更多努力。而框架就是一個快速發展的生態,Arm已經注意到終端推理運行時(Runtime)的碎片化趨勢,而且其在性能方面的特徵各不相同,在這些框架間移植網路非常複雜。...
2024 年 06 月 25 日