熱門關鍵字:ADAS | 藍牙5 | NB-IoT | AI | 工業4.0

訂閱電子報

立刻輸入Email,獲取最新的資訊:

收藏功能:
分享報新知:
其他功能:

GPU模型推論效能升級 邊緣運算裝置AI更強大

文‧陳妤瑄 發布日期:2017/04/20 關鍵字:GPUAlphaGoNVIDIAJetson TX2

GPU模型推論效能不斷提升,各種邊緣運算裝置上所內建的人工智慧(AI)能力也變得更加強大。NVIDIA旗下軟體目前已可協助客戶做8位元與16位元的神經網路運算最佳化,不僅讓GPU模型的推論(Inference)更形完善,同時對硬體資源的需求也明顯降低,只需要一小塊電路板就能支援AI演算法。

針對邊緣運算日益漸增的需求,NVIDIA近期推出了新款開發版Jetson TX2,將整套人工智慧系統縮小在一塊電路板之上,為商用無人機、工業機械、智慧型攝影設備等領域,提供進階的導航、影像與語音識別功能。相較前一代產品Jetson TX1,Jetson TX2的效能提升了兩倍,耗電量則不到7.5瓦,能源效率提升了兩倍多。這讓Jetson TX2可在終端裝置上運行更大、更深的神經網路,進而開發出更高智慧化的裝置,並提升影像分類、導航以及語音辨識等作業的精準度與反應速度。

NVIDIA技術行銷經理蘇家興表示,對於訓練好的模型,NVIDIA也提供Tense RT軟體來協助客戶做模型優化、縮小化,其支援整數8位元與浮點數16位元的運算。目前的主流是以32位元的運算去做訓練,該16位元運算也就減少了一半,增加了一倍的效能,8位元則增加了四倍的效能,因此在模型推論上能運作的更好。

蘇家興進一步表示,無論是軟體還是硬體公司,都需要對訓練好的深度學習模型進行優化,除了邊緣設備會採用縮小化的模型,在伺服器與數據中心端,也會有某些情境需要採用這些優化過的模型去做推論。舉例而言,Facebook、百度在做語音辨識的推論時,若能透過優化的模型讓運作更快,勢必能讓消耗的功耗越少。

不過,也並不是所有的應用都適合做前端邊緣運算。以AlphaGo來看,其是以32台伺服器在做運算,因AlphaGo運算量非常大,所以就不太可能進行邊緣運算,因1台伺服器與32台伺服器運算的精準度,絕對是有差異的。若以語音辨識來看,即便可以同時採用在線與離線的方式進行,但精準度也勢必會有落差。

蘇家興指出,應用開發商必須盡快分辨出哪些運算任務適合採用邊緣運算,哪些部分還是得留在伺服器端執行。舉例來說,當無人機飛到有些沒有網路的地方,便必須運用邊緣運算,設計出可承載範圍內的推論。NVIDIA相信,未來數據中心與邊緣運算將會並存,但在瞄準的應用上必定會有所不同。

研討會專區
熱門文章