隨著人工智慧(AI)技術逐漸成熟,相關企業積極布局AI邊緣運算。因應此潮流,NVIDIA發表了EGX加速運算平台,讓企業能在邊緣執行低延遲的即時(Real-time)AI作業,能針對5G基地台、倉儲、零售商店、工廠與其他作業站間龐大且不間斷的資料串流進行接收、分析並即時採取行動。
NVIDIA產品行銷經理Paresh Kharya表示,為了實現不同的工業應用,如智慧影像辨識分析系統(IVA)、資料中心(Data Center)、嵌入式系統(Embedded)和汽車等等,NVIDIA推出了EGX加速運算平台。現在的資料量越來越大,所有的分析必須是立即的,才能即時做出決策,因此即時邊緣AI的重要性也顯得更加重要。
Kharya舉例說明,在醫院,可以利用即時邊緣AI協助醫生做出醫療診斷;在智慧城市(Smart City)的應用,也可以用來辨別車輛,進行分析決策,藉此控制車流,達到疏通壅塞的目標。NVIDIA EGX平台將加速AI運算的力量帶到了邊緣,讓智慧零售、醫療保健、製造業、運輸和城市都能具備更即時的AI運算能力。
另外,EGX擁有強大的擴充性,小至體積極小的NVIDIA Jetson Nano,以僅僅幾瓦的耗能就能提供如影像辨識等任務所需每秒五萬億兆次浮點的運算(TOPS);規模亦可大至一整櫃的NVIDIA T4伺服器,為即時與因辨識和其他即時AI任務提供超過10,000兆次浮點運算的效能。
同時NVIDIA EGX在架構上支援雲端提供的NVIDIA AI運算。在雲端開發的AI應用程式可以在NVIDIA EGX上運作,反之亦然。內含EGX的NVIDIA Edge Stack可以連接到雲端IoT服務,使客戶能從AWS IoT Greengrass和Microsoft Azure IoT Edge遠端管理他們的服務。
NVIDIA EGX也具備了企業級的安全保障,NVIDIA的AI和運算技術結合了Mellanox、Cisco等大廠的網路、儲存和安全技術,進而實現更高階的隔離和安全性,同時又不會影響CPU的效能。