有AI創意但缺算力?TAIWAN AI RAP幫忙加把勁!

進展迅速的生成式AI 正在為各行各業的日常營運帶來變革,讓不少開發者與新創團隊躍躍欲試,希望能從中挖掘新商機、展現實力與創意。然而,要投入這些新興AI應用的開發,首先就得跨越諸多障礙,包括建置硬體與高性能算力的高昂成本、資料處理、模型最佳化等新技術整合等挑戰。為此,國科會旗下國家實驗研究院國家高速網路與計算中心(以下簡稱「國網中心」)推出了名為「TAIWAN...
2025 年 04 月 28 日

虛擬助理受訓練資料影響 LLM助對話式AI審查偏見

想像一下,若是讓一個虛擬助理描述理想中的執行長、醫生或工程師是什麼模樣,它的回應是否會因性別而有所不同?這是應該的嗎?負責任使用人工智慧(AI)的主要挑戰之一,是解決對話式AI系統中的社會偏見和公平性議題。這種模型偏見來自於網路規模的訓練資料可能反映社會對於性別、種族、民族與意識形態的偏見,導致模型輸出強化刻板印象,並且讓特定族群處於劣勢。 即使性別資料集擁有平等代表,性別被提及的情境也會有很大的差異。例如使男性與領導者角色相關聯,女性則是支援性角色,訓練這些資料集時會讓模型內化這類關聯性,導致偏見的語言生成。這種來自大型語言模型(LLM)具偏見的回應可能會影響決策者,進而直接或間接地在人才招募、法律執行以及各種評分與排名系統中延續偏見。在大型語言模型中檢測性別偏見具有挑戰性,因為現有的偏見評估指標缺乏標準化。此外,來自不同文化的人類評估者,在詮釋語言、感知社會偏見方面的細微差異,將進一步讓評估過程複雜化。 為了改善AI模型的公平性與包容性,英特爾實驗室正在探索社會技術系統(Socio-technical...
2025 年 02 月 14 日

Kneron AI借鏡DeepSeek-R1訓練框架實現輕量級大語言模型

在人工智慧的快速發展浪潮中,Kneron始終緊跟最前瞻的技術,並不斷最佳化自身的AI方案,以更強大的能力和更高的性價比賦能各行各業。如今,Kneron取得了一個突破-借助DeepSeek-R1論文中提到的前瞻訓練技巧,Kneron成功讓自研的LLM模型掌握了「思維鏈推理(Chain-of-Thought...
2025 年 02 月 13 日

Meta首席AI科學家Yann LeCun:AI架構新典範5年內到來

Meta首席AI科學家Yann LeCun在近日舉行的世界經濟論壇(WEF)中發表演說,預言在未來三到五年內,全新的AI架構典範將會出現,其能力將遠遠超越現有的AI系統。同時,未來十年將是「機器人的十年」,AI和機器人技術的進步將結合起來,創造出全新的智慧應用。 LeCun表示,我們當前所使用的AI,即生成式AI和大型語言模型(LLM),其實並沒有太多令人驚豔之處。這些技術固然在某些應用情境中能派上用場,但在許多方面仍有不足之處。當前的LLM典範壽命相當短,大概只有三到五年的時間。在五年內,人們將不會再使用這些技術,至少不會作為AI應用系統裡面的核心組件。我們將見證全新AI架構典範的誕生,並且讓AI系統能夠突破當前面臨的局限。 LeCun認為,當前的AI具有以下四個缺陷,因此其發展受到極大限制,分別是「缺乏對物理世界的理解」、「缺乏持久記憶」、「缺乏推理能力」,以及「缺乏進行複雜計劃的能力」。大語言模型做不到這些事,所以,在接下來的幾年內,AI將迎來另一場革命。我們可能需要為AI另外取一個新的名字,因為它將不再是我們今天理解的「生成式」技術。LLM擅長操控語言,但並不擅長思考。因此,我們正在努力讓系統能夠建立世界的心靈模型(Mental...
2025 年 01 月 24 日

生成式AI全面滲透 以軟帶硬2.0來勢洶洶

軟體是硬體的靈魂,往往也是科技應用中不可或缺的一部分。為打造完整解決方案,許多硬體公司都有相當龐大的軟體團隊。隨著生成式AI大行其道,硬體業者在軟體領域的布局變得更加關鍵,部分業者不僅祭出以軟體帶動硬體銷售的策略,甚至發展出類似軟體業的新商業模式。 為提供客戶完整解決方案,增加採購意願,許多硬體業者不只提供硬體產品,同時也在配套軟體的開發上投入可觀資源。因此,以軟體帶動硬體銷售的商業策略,對硬體業者而言並不新鮮。舉例來說,許多微控制器(MCU)供應商除了提供MCU晶片之外,還有自己的開發環境,甚至會針對某些主打應用提供包含軟硬體在內的參考設計,減輕客戶的開發負擔。 然而,在生成式AI崛起的今天,硬體業者的軟體布局方向跟過去有明顯的不同。為了讓AI能更快導入到客戶的真實應用場景,從而讓客戶買單,硬體業者提供的軟體方案已非常接近完成品,甚至已到開箱即用的地步。同時,也有一部分硬體廠跟雲端服務業者結盟,測試客戶對訂閱制商業模式的接受度。在以軟帶硬2.0的時代,硬體公司的軟體業務到底有多大的發展空間,值得深入探討。 大廠競相強化軟體布局 購併活動頻頻發生 以往硬體業者在軟體領域的投資,多半是以打造配套方案為主要目標。硬體公司的軟體團隊除了負責撰寫驅動跟韌體這類一定要由硬體供應商提供的程式外,最常見的工作就是研發提供給客戶的開發工具、選型工具,以及包含軟硬體的參考設計。 但在生成式AI興起後,硬體大廠出手購併新創軟體團隊的情況,變得更加常見。超微(AMD)繼...
2024 年 12 月 27 日

大聯大友尚集團舉辦GenAI生態夥伴論壇

有鑒於生成式AI(GenAI)已成為驅動創新與轉型的關鍵力量,大聯大友尚集團以「邁向GenAI Supercycle,共創未來」為主題,舉辦「GenAI生態夥伴論壇」,匯集群聯電子、滿拓科技、創鑫智慧、研華科技、數位無限科技等產業領袖,共同就不同AI議題進行深入探討,勾勒出AI技術的發展藍圖,展現AI生態系夥伴在AI領域的深厚實力,及在全球AI供應鏈中的重要地位。 友尚執行長何澎雄致詞表示,在AI快速發展的時代,生成式AI已成為產業創新的重要推手。友尚將持續扮演AI生態系統中的關鍵角色,協助夥伴加速AI技術的導入與落地,攜手迎向AI的黃金十年,共創智慧未來。 友尚執行長特別助理陳威光強調,友尚從半導體通路商出發在AI產業中扮演價值與資訊串接的關鍵角色,致力於讓各方的價值和服務能夠緊密整合,最終實現AI的落地應用。透過完整的組織架構與清晰的分工體系,友尚設立AI...
2024 年 12 月 27 日

從零信任到可信賴AI 掌握物聯網數位經濟新商機

在數位經濟浪潮中,台灣的產業必須在安全與成長之間找到平衡,以贏得國際市場的信任與競爭力。數位發展部不僅持續推動台灣數位經濟的成長,更以資安為核心,確保數位轉型的安全性,致力打造可信賴的產業形象。 數位產業署新興跨域組簡任技正杜欣怡指出,資安政策從蔡英文政府時期的「資安即國安」,接續演進到現任總統賴清德提出的「五大信賴產業」,凸顯國家對資安議題的高度重視。在此政策下,數位產業署積極致力提升台灣產業的資安能力,全面保護個人資料與企業的機敏資料安全。 數位發展部數位產業署新興跨域組簡任技正杜欣怡表示,資料與資產獲得保障,不僅能強化產業的防護力,亦有助於提高國家整體資安韌性 由數位發展部監督的國家資通安全研究院,推動政府機關導入零信任架構,著重於身分鑑別、設備鑑別與信任推斷三大核心技術,以全面加強資安防護能力。數產署更透過補助資安廠商與應用場域業者的合作,推動雙因素認證技術的普及,提升企業在身分與設備認證上的能力。此外,《產業創新條例》第10條之1提供租稅優惠,鼓勵企業採購資安產品或服務,每年可抵稅最高5%,連續申請則為3%,藉此誘導企業加強資安建設,保護營業秘密與機敏資料。 供應鏈資安也是近年來的焦點之一。美國國防部制定的資通安全成熟度模型驗證(CMMC),已成為台灣國防產業的重要參考標準。杜欣怡提到,台灣不少企業已主動尋求CMMC輔導服務,例如漢翔公司在數產署協助下,不僅完成自身合規,還幫助6家下游供應鏈廠商達標,成為CMMC的標竿案例。隨著2024年10月CMMC法規正式生效,提早完成合規將助力台灣企業爭取更多國際商機。 後量子加密守護物聯網安全大未來 數位世界的安全基礎建立在密碼學之上,然而隨著量子電腦的快速發展,傳統加密技術終將能被輕易破解。工研院資通所副所長暨SEMI半導體資安委員會委員黃維中指出,量子電腦可能在10至20年內實現商業化,這將對現有的非對稱式加密技術構成挑戰。特別是對需長期保存機密性資料的領域,後量子密碼學(PQC)的研發勢在必行。 工研院資通所副所長暨SEMI半導體資安委員黃維中指出,生成式AI的開源模型的資安疑慮,可藉由政府推動的AI評測制度,奠定可信賴AI基礎 此外,AI快速發展也帶來了新的攻擊威脅。駭客與詐騙集團已經開始利用生成語言模型製作逼真的詐騙內容,甚至運用AI技術偽冒生物特徵,使身分偽冒變得更加容易。這些威脅強調了國際協作的重要性,例如FIDO聯盟、SEMI...
2024 年 12 月 20 日

Fortinet公布《2025全球資安威脅預測》

Fortinet旗下FortiGuard Labs威脅情資中心2024年12月12日公布《2025全球資安威脅預測》。報告指出,威脅者將採用更大規模、更大膽的手法,將其攻擊鏈專業化、強化特定攻擊環節,同時發展更具針對性、更複雜的結合虛實世界的攻擊劇本。此外,由於組織上雲趨勢,威脅者也將聚焦關注雲端環境、利用更多相關漏洞,自動化駭客工具也已進入暗網市場,預期將為其網路犯罪即服務(Cybercrime-as-a-Service,...
2024 年 12 月 18 日

RAG整合工作流程 GAI走入嵌入式系統

近年來,與人工智慧(AI)相關的週期性熱點,幾乎都圍繞著大語言模型(LLM)和生成式AI模型。這樣的趨勢反映出這些話題的影響力,日益增強和普及。與大語言模型和生成式AI模型相關的應用涵蓋廣泛的領域,從開放式聊天機器人到任務型助手。雖然LLM主要聚焦基於雲端和伺服器端的應用,但人們對在嵌入式系統和邊緣設備中部署生成式A模型的興趣也不斷增加。 嵌入式系統如家用電器、工業設備、汽車等設備中的微處理器,需要在成本和功耗受限的情況下,適應有限的運算能力和記憶體可用性。在裝置資源有限的前提下,邊緣設備上部署高精度和高性能的語言模型極具挑戰性。 在邊緣裝置部署LLM 在嵌入式解決方案中,常見應用LLM的一個關鍵領域是操作人員與機器之間,透過自然對話進行人跡協作,即人機介面(HMI)。嵌入式系統可以簡化各種輸入選項,如麥克風、攝影機或其他感測器。但大多數系統不會像個人電腦、筆記型電腦和手機那樣,配備完整的鍵盤與LLM模型,讓使用者與裝置進行人機互動。 因此,嵌入式系統在使用音檔和影像作為LLM輸入時,必須具備實用性。這需要一個自動語音辨識(ASR)或圖像識別和分類的預處理模組。同樣,人機互動的輸出選項也有限。嵌入式解決方案可能沒有螢幕,或者不方便使用者閱讀螢幕資訊。因此,在生成式AI模型之後,需要一個後處理步驟,使用文字到語音(TTS)演算法將模型輸出轉換為音檔。廠商如恩智浦正在建立eIQ...
2024 年 12 月 10 日

多模態將創殺手級應用 LLM/SLM並肩向前

生成式人工智慧(GAI )的應用方向在2024年成型,除了ChatGPT的用戶數量快速成長,適合企業應用的客製化模型,以及用於終端裝置的小型語言模型(SLM)也嶄露頭角。參數更多的模型、多模態與AI代理人(AI...
2024 年 12 月 10 日

AI PC銷量上看億台 小型語言模型蓄勢待發

AI PC在生成式人工智慧(GAI)與AI代理人(AI Agent)的熱潮下,受到市場高度關注。大型語言模型(LLM)開發商也在邊緣生成式AI的發展下,推出模型參數較小,適用於邊緣裝置的小型模型。另外開源LLM也帶動生成式AI以及延伸的AI...
2024 年 12 月 09 日

多模態/AI Agent多點開花 生成式AI生態系漸成型

2024年可說是AI技術快速進展的同時,全球企業都在探索如何應用生成式AI,以及持續克服基礎建設挑戰,包含伺服器散熱、高速資料傳輸技術與記憶體應用的一年。生成式AI協助使用者生成文字、圖片、影像與程式碼等內容,也能學習特定企業的內部資料,應用於線上客服或者內部資料查詢。多模態模型的應用,協助AI軟體判讀文字、圖片、影像與音訊的內容,優化各行各業的工作流程。除了大型語言模型(LLM)逐漸發展出客製化模型,也有小型化的模型導入到邊緣端,升級現有的終端智慧應用。 眺望2025年,期待完善的軟體生態系與AI...
2024 年 12 月 03 日
1 2 3 ... 7