意法半導體與Leopard Imaging推出一款一體化多模態視覺模組,適用於人形機器人及其他先進機器人系統。該模組結合ST的影像技術、3D場景建模與動作感測技術,利用NVIDIA Holoscan Sensor Bridge技術,該模組與NVIDIA Jetson和NVIDIA Isaac開放式機器人開發平台可以原生整合,在滿足人形機器人尺寸、重量與功耗(SWaP)限制的前提下,簡化並加快視覺系統設計流程。
意法半導體類比、電源與MEMS感測器事業部行銷與應用副總裁Marco Angelici表示,「人形機器人正逐步從研究專案與展示階段邁向實際應用,並可在製造與汽車工廠、物流與倉儲,以及零售與顧客服務等多元領域中發揮價值。我們與Leopard Imaging的合作,將ST的感測器與致動器導入NVIDIA機器人生態系,透過緊密整合,加速具備類人感知能力的實體AI應用部署。」
Leopard Imaging執行長Bill Pu指出,「在NVIDIA機器人生態系中可直接使用ST的感測器與致動器,使資料擷取與記錄流程得以透過HSB(Holoscan Sensor Bridge,高速感測資料傳輸介面)進行標準化並加以簡化,支援人形機器人視覺應用。機器人開發者可運用該多感測視覺模組搭配NVIDIA Isaac工具,加快學習速度,並迅速縮短從模擬到實際應用(sim-to-real)的落差。」
該模組採用NVIDIA Holoscan Sensor Bridge,透過乙太網路與NVIDIA Jetson平台無縫串接,可即時接收感測器資料,並支援NVIDIA Isaac開放式機器人開發平台,提供開發者開放的AI模型、模擬框架及開發函式庫。此模組亦包含建置系統與應用程式介面(API)、適用於行動機器人的人工智慧(AI)演算法、範例應用程式、領域隨機化技術,以及內含感測器模型的模擬環境。
ST持續將其感測器、驅動器、致動器、控制器及開發工具納入NVIDIA機器人生態系,並作為NVIDIA在機器人與邊緣AI領域的重要合作夥伴,同步提供高擬真模型與概念驗證模組。
Leopard Imaging Systems視覺模組整合以下元件:
視覺感測採用ST VB1940車規等級RGB-IR 510萬畫素影像感測器,支援滾動式快門與全域快門模式。ST亦推出適用於大眾市場與工業應用的V**943,同屬ST BrightSense產品系列,提供單色或RGB-IR選項,並可採裸晶或封裝形式出貨。
動作感測搭載LSM6DSV16X六軸慣性量測單元(IMU),內建ST機器學習核心(MLC),支援邊緣AI、感測器融合低功耗(SFLP),以及Qvar靜電感測技術,可用於使用者介面偵測。
3D深度感測採用VL53L9CX直接飛時測距(dToF)一體式光達(LiDAR)模組,屬於ST FlightSense產品系列,可提供最遠達9公尺的精準測距能力。該模組具備54 x 42區域(約2,300區)解析度,搭配54° x 42° 廣角視野(FoV)與1° 角解析度,可支援短距與長距測量,以及小型物體偵測,最高更新率可達100 fps(每秒影格數)。