NVIDIA推論效能升級 聊天機器人更智慧

作者: 廖專崇
2021 年 07 月 29 日

輝達(NVIDIA)推出第八代人工智慧(AI)軟體TensorRT 8,讓語言查詢的推論時間減半,並讓開發人員得以打造高效能搜尋引擎、廣告建議與聊天機器人,並能從雲端到邊緣提供相關服務。

TensorRT 8 為醫療照護、汽車與金融界等企業提供更好的人工智慧推論效能

TensorRT 8的優化只需要1.2毫秒就能在BERT-Large上達到破紀錄的語言應用速度,而BERT-Large是被廣泛使用的Transformer模型之一。企業以往只能縮小模型的大小,但也因此造成較低的精準度,如今有了TensorRT 8,企業可以把模型的大小擴增兩倍或三倍,並提升精準度。

除了Transformer的優化,TensorRT 8還透過另外兩個關鍵功能達成AI推論的突破。稀疏性(Sparsity)是NVIDIA Ampere架構GPU中用以提升效率的效能技術,可以讓開發人員藉由減少運算作業以加速神經網路。

量化感知訓練讓開發人員可以在不犧牲精準度的情況下,運用已訓練好的模型和INT8的精度運行推論,這讓他們在Tensor核心上進行高效率推論時,可以減少運算與儲存的時間。

各產業的廠商紛紛採用TensorRT打造對話式AI與各種領域的深度學習推論應用。Hugging Face是全球各產業的AI服務供應商所仰賴的開源AI企業,該公司與NVIDIA密切合作,以導入能大規模執行文字分析、神經搜尋與對話式應用的開創性AI服務。

而提供醫療技術、診斷學及數位解決方案的GE Healthcare亦使用TensorRT協助加速超音波的電腦視覺應用。超音波是疾病初期檢測的重要工具,此應用可以讓臨床醫師透過該公司的智慧醫療照護解決方案,提供高品質的照護服務。

標籤
相關文章

NVIDIA AI推論效能/能源效率均佳

2021 年 09 月 30 日

人工智慧技術陣營眾多 ARM專注後端控制技術

2016 年 11 月 22 日

Xilinx AI轉型拉攏資料中心 劍指Intel、NVIDIA

2018 年 10 月 19 日

NVIDIA發表A100 80GB GPU 建構下世代超級電腦

2020 年 11 月 20 日

NVIDIA人工智慧技術MLPerf測試大獲全勝

2021 年 07 月 05 日

強化資料中心AI能力 NVIDIA力推認證伺服器

2021 年 02 月 01 日
前一篇
五年推進四個世代 英特爾製程技術準備飆車
下一篇
LPDDR5標準更新 記憶體頻寬更上一層樓