Arduino Cloud Editor加入大語言模型幫手功能

眾所皆知,若期望目前的大語言模型(Large Language Model, LLM)有足夠程度的智慧,通常要使用高參數量的版本。然而,高參數量版本若要實現即時回應,則需要仰賴龐大的運算能力,反之,在有限運算力下,則必須接受漫長的等待回應。 圖1...
2025 年 05 月 27 日

AI語音助理百花齊放 高SNR麥克風革新人機互動

在這個充滿精彩創新的時代,AI徹底改變了日常生活型態,同時ChatGPT等工具透過直觀易操作的文字和語音互動,重新定義生產力標準。隨著採用AI技術的系統持續進步,傳統商業模式、信念與假設均面臨前所未有的挑戰。 語音在新興AI生態系統中扮演什麼角色?身為企業領導者,是否該重新思考經營信念?高品質音訊輸入是否會因為生成式AI興起,重要性日漸降低,或反之成為協助普及AI服務和個人助理的關鍵要素? AI從得力助手到最佳夥伴 根據問題的內容與形式來調整回答方式,是人類的自然本能。人聲中其實包含了各種提示,可用於判斷發問者的年齡、性別、社會文化背景以及情緒狀態。此外,辨識發問者所處的環境,例如是在機場、辦公室或交通運輸工具上,或是否在從事跑步等體能活動,也有助於判斷發問者的意圖,並據此調整答案或對話模式。 雖然AI的能力已有長足進步,但仍有一種觀點認為,AI輔助功能無法正確預測人類問題的目的,或精準解讀特定訊息。為了改善人機互動,AI在選擇回應措辭時應考慮三個關鍵因素:對聽者的瞭解、聽者的情緒狀態以及環境背景。 在多數情況下,憑藉接收到的音訊訊號,便足以擷取出有用資訊,並以此做出適當回應。與素未謀面的人進行電話或語音會議即是一例。更須考量的是,在無法進行面對面互動的情況下,經過反覆對話後,人們對彼此的觀感會如何變化。 近期研究顯示,即使僅是微調AI的語言回應風格,也會明顯影響人們對其社交能力和個性的看法。因此可合理假設,只要能取得充分且理想的語音輸入內容,未來AI系統將能有效發揮陪伴功能,充當類似人類朋友的角色,例如主動詢問並提供切實回應,或在適當時機單純聆聽而不做出評判。 人類如何接收音訊訊號? 如同口頭溝通,語音訊息也是採用語言和文字來傳達思想、感受和想法。此外,溝通過程中的其他元素,例如音調、速度、音量和背景噪音,都會影響聽者對訊息的整體感知。 圖1 人類聽力臨界值   圖2 人類聽力臨界值與年齡的關係 從科學角度來看,頻率和聲壓位準是人耳能感知到音訊訊號的兩大關鍵因素。聲壓位準(SPL)以分貝(dBSPL)為單位,表示周圍環境大氣壓力振盪的聲壓振幅。若SPL為100dBSPL,則相當於割草機或直升機所發出的巨大噪音。 S...
2025 年 04 月 25 日

多模態將創殺手級應用 LLM/SLM並肩向前

生成式人工智慧(GAI )的應用方向在2024年成型,除了ChatGPT的用戶數量快速成長,適合企業應用的客製化模型,以及用於終端裝置的小型語言模型(SLM)也嶄露頭角。參數更多的模型、多模態與AI代理人(AI...
2024 年 12 月 10 日

算力/記憶體容量/低功耗技術缺一不可 GAI導入邊緣開發大顯神通(1)

生成式AI啟動新一波的AI應用熱潮,將LLM導入邊緣端,需要足夠的記憶體容量,確保AI模型順利執行。將SSD用於AI運算,以及In-Memory Compute的技術進展,都讓邊緣端的算力更上層樓。 生成式人工智慧(AI)啟動新一波的AI應用熱潮,而邊緣AI高度安全、低延遲等優勢,也帶動大型語言模型(LLM)在終端裝置中的應用。將LLM導入邊緣端,需要足夠的記憶體容量,確保AI模型順利執行。將SSD用於AI運算,以及In-Memory...
2024 年 06 月 03 日

算力/記憶體容量/低功耗技術缺一不可 GAI導入邊緣開發大顯神通(2)

生成式AI啟動新一波的AI應用熱潮,將LLM導入邊緣端,需要足夠的記憶體容量,確保AI模型順利執行。將SSD用於AI運算,以及In-Memory Compute的技術進展,都讓邊緣端的算力更上層樓。 SSD支援AI運算空間 (承前文)生成式AI與LLM發展速度飛快,在推論、微調(Fine...
2024 年 06 月 03 日

算力/記憶體容量/低功耗技術缺一不可 GAI導入邊緣開發大顯神通(3)

生成式AI啟動新一波的AI應用熱潮,將LLM導入邊緣端,需要足夠的記憶體容量,確保AI模型順利執行。將SSD用於AI運算,以及In-Memory Compute的技術進展,都讓邊緣端的算力更上層樓。 CXL加快裝置資料傳輸 (承前文)生成式AI逐步導入邊緣,邊緣運算的核心優勢在於,讓資料更貼近終端裝置與使用者。世邁科技(Smart...
2024 年 06 月 03 日

生成式AI帶動半導體測試耗材市場復甦

根據Yole Group在《2024年第一季度半導體測試耗材市場監測報告》中發表的數據,ChatGPT等生成式AI服務的成功,正在推動AI運算基礎設施需求激增,這可能會重塑目前由Google主導的網路...
2024 年 05 月 23 日

國內外廠商積極布局 生成式AI商機/監管挑戰並陳(1)

生成式AI在2024年將會看到更廣泛的應用,在技術快速發展下,人工智慧技術需要強大且與時俱進的立法框架。在2023年,可以觀察到全球市場在人工智慧創新與責任的平衡上取得成果。 第一代生成式人工智慧(AI)工具專注於特定功能,例如編寫文字或生成圖片。在接下來的12個月中,市場上將出現多模式通用人工智慧系統,其特點是能夠處理和無縫整合文字、視覺和音訊等不同資料類型。這將促進更自然和直觀的用戶體驗,大幅增強跨領域的應用程式功能。 生成式AI系統未來可支援複雜的虛擬助理,準確地回應複雜的查詢。也能夠建立可解釋情緒和意圖的高階客戶服務機器人,同時產出創新的教育工具、身臨其境的娛樂體驗,以及為身障使用者提供更好的無障礙環境等等。整體而言,這些多模態系統代表人工智慧的進步,能夠以類似於人類感知和認知的方式與世界互動,進而拓展人工智慧應用和使用者體驗的可能性。同時,人工智慧將從根本上改變工作場所中的人機動態,成為各個領域的關鍵合作夥伴(圖1)。 圖1 企業與政府都需要建立自身的生成式人工智慧政策 (資料來源:AIHR) 2023年的焦點一直是生成式人工智慧如何提供內容創作,但2024年將會看到更廣泛的應用。包括關注人工智慧執行高階分析工作、透過預測性見解幫助專案管理、透過自動程式碼產生和調試徹底改變編碼、透過精確的診斷和病患照護增強醫療保健、透過先進的虛擬協助提升客戶服務等。 在技術快速發展下,人工智慧技術需要強大且與時俱進的立法框架。在2023年,可以觀察到全球在人工智慧創新與責任的平衡上取得成果。舉例而言,英國主辦的人工智慧安全高峰會達成了《布萊切利宣言》,這是第一個關於制定安全人工智慧框架的正式國際協議,由英國、歐盟、美國、印度和中國等28個國家簽署。 此外,美國制定《人工智慧權利法案》藍圖、歐盟制定《人工智慧法案》(圖2),而中國與加拿大也持續推動各自的人工智慧監管框架,其他國家正在制定各自的人工智慧治理策略。進入2024年,這種全面、協調的人工智慧監管趨勢應會持續下去,並且越來越重視道德人工智慧部署、風險緩解和透明度,這將在全球範圍內塑造一個更加負責任和安全的人工智慧格局。 圖2 歐盟的人工智慧法規被視為全球嚴格規範之一 (資料來源:Telefonica) 同時,生成式人工智慧的快速擴散加劇了複雜的法律挑戰,特別是在智慧財產權和版權問題方面。2024年,焦點將集中在人工智慧生成內容(包括藝術、音樂和文學作品)的法律複雜性。這些人工智慧創作的權利和所有權目前處於微妙的法律環境,需要製定新的法律框架和指南,來解決人工智慧在內容生成中的獨特作用。 美國版權局目前拒絕人工智慧生成圖像的版權申請,即使藝術家認為人工智慧系統是他們創作過程中不可或缺的一部分。同時,有關未經許可使用受版權保護的作品,來訓練生成人工智慧系統的訴訟正懸而未決,這突顯了人工智慧生成內容面對的複雜法律環境。人工智慧和版權的互動正不斷發展,新的框架也持續出現,以解決人工智慧在內容生成中的影響。這些機制對於平衡保護原創者的權利,和培養人工智慧在創意領域的創新潛力是必要的。 微軟/Google布局 微軟 在不斷發展的技術領域,微軟公司不斷適應變革的浪潮,紮根於軟體產業,已將其領域擴展到消費性電子、個人電腦、雲端運算。尤其在人工智慧,特別是生成式人工智慧和雲端服務,將重塑該公司的成長軌跡。從業務來看,微軟展現穩健的財務狀況,擁有強勁的資產負債表和各部門積極的收入成長。智慧雲端部門,尤其是Azure展現強勁成長,在單一企業的成長方面超越競爭對手。微軟Azure中的人工智慧功能是競爭激烈的雲端市場中關鍵的差異化因素,該公司的業務部門(包括Microsoft...
2024 年 01 月 01 日

國內外廠商積極布局 生成式AI商機/監管挑戰並陳(2)

生成式AI在2024年將會看到更廣泛的應用,在技術快速發展下,人工智慧技術需要強大且與時俱進的立法框架。在2023年,可以觀察到全球市場在人工智慧創新與責任的平衡上取得成果。 Google (承前文)除微軟外,Google應該是第二家積極布局生成式人工智慧的科技業者(圖3)。在2023年Google...
2024 年 01 月 01 日

軟硬體各提新解方 生成式AI突破運作成本挑戰

LLM或生成式AI需要極為龐大的運算能力支撐,並使得這類技術的開發跟使用成本異常高昂。因此,軟體業者正在追求更輕量化的LLM,硬體業者則試圖用架構創新來滿足LLM的效能需求。 大型語言模型(Large...
2023 年 12 月 11 日

Goolge Med-PaLM 2展開實測 生成式AI進入醫療場域(1)

2022年底以來,國內外醫院陸續試用ChatGPT協作病歷文件、加值醫療資訊系統。與此相對,Google在2023年7月公開其醫療專用大型語言模型Med-PaLM 2,在全球智慧醫院龍頭-美國梅奧診所(Mayo...
2023 年 10 月 27 日

Goolge Med-PaLM 2展開實測 生成式AI進入醫療場域(2)

2022年底以來,國內外醫院陸續試用ChatGPT協作病歷文件、加值醫療資訊系統。與此相對,Google在2023年7月公開其醫療專用大型語言模型Med-PaLM 2,在全球智慧醫院龍頭-美國梅奧診所(Mayo...
2023 年 10 月 27 日