探索機器人技術如何與實體AI交錯(嵌入於實體世界中的人工智慧系統)，並透過DigiKey技術行銷工程師Shawn Luk(下稱Luke)、onsemi行銷經理Bob Card以及onsemi工業業務開發與解決方案主管Theo...

智慧邊緣裝置的訊號處理，和人工智慧(AI)推論會互相影響。感測可能需要密集運算，為推論篩選最重要的資料。同步定位與地圖構建(SLAM)的演算法是一種導航類型，在感測階段執行複雜影像處理以偵測特徵。這些演算法即時執行，必須快速執行特徵偵測。業界於2011年提出定向FAST和旋轉BRIEF，是其中能快速偵測特徵的演算法。不過，受到成本與功耗限制，基礎硬體必須具備高效率，軟體也須經過最佳化，讓軟/硬體應易於使用，以提升開發人員的工作效率。 SLAM評估移動主體所在位置時，也同時在繪製環境地圖。自駕車和其他裝置皆會部署此技術，如自主移動機器人(AMR)，此為負責移動貨物的倉庫車輛。自動導航搬運車(AGV)AMR的先驅，這款舊型技術會遵照繪製好的線條等固定路徑移動。AMR如同自駕車，可以部署攝影機和其他感測器，向SLAM系統提供資訊。 SLAM實現移動式機器人導航 如圖1所示，SLAM通常包括前端階段，處理感測器輸入並向後端階段傳遞資訊。後端階段便負責繪製地圖、預估主體姿態(位置和方向)，並追蹤裝置去過的地方。視覺SLAM僅使用攝影機，而其他類型的SLAM可結合光學雷達、GPS或慣性感測器等不同感測器的輸入內容。 圖1　SLAM管線 前端的影像處理，可辨識攝影機所捕捉畫面中的特徵或興趣點。演算法或神經網路人臉或物件偵測技術會試圖找到屬於既定項目的事物，視覺SLAM則不同，該技術並無此類既定項目。此外，SLAM會在幀與幀之間追蹤物件。主體或物件可能是移動狀態，而且物件的外觀在每一幀中都會發生變化，例如變得模糊、照明改變或出現縮放、平移或旋轉，因此追蹤過程較為複雜。同時，前端處理必須跟上幀率。 特徵偵測是視覺SLAM的關鍵 視覺SLAM前端核心的三步驟挑戰，是找到兩個幀之間的對應關係。第一步是特徵偵測，特徵也稱為關鍵點或興趣點，是影像中的一部分，獨特性足以從眾多備選影像中識別特定物件。特徵偵測的方法包括使用高斯差，識別影像位置的最大/最小值、使用邊角偵測和運用區域偵測。 為了效率，特徵偵測必須在不同影像中找到相同的興趣點。第二步是取得代表相關特徵的特徵向量，過程中必須產生獨特的描述子，對幀與幀之間的外觀變化具有穩健性。第三步是從第二張影像中選擇與第一幅影像，每個描述向量擁有最小數學差異的描述向量，以符合影像之間的描述子。 開創性的尺度不變特徵轉換(SIFT)方法，實際上是將特徵偵測和描述子向量建立合併為單一SIFT金鑰的衍生步驟。為了建立金鑰，SIFT採用高斯差，對影像進行多次卷積運算，此過程需要對每個像素執行浮點乘法和加法運算。更進一步操作需計算梯度和旋轉，提供對照明和方向變化的穩健性。為了達到尺度不變，SIFT數次複製影像和調整影像尺寸，建立金字塔以在每個金字塔層級重複處理影像。 在配對步驟中，SIFT比較每個關鍵點與第二張影像中數百個鄰近點，依照具有相似位置、方向和比例預測的比較結果分群。即使第二個影像中的物體有明顯旋轉、縮放或延伸，SIFT接著使用線性代數(更多浮點運算)，處理每個至少包含三個輸入項目的分群，驗證分群中的關鍵點是否確實相符。 加速穩健特徵(SURF)方法試圖以快於SIFT的速度達成相同目的，且同樣具有可重複性和穩健性。在特徵偵測上，加速穩健特徵方法透過更簡單的方框濾波器取代高斯差技巧。此方法也不需建立影像金字塔，套用不同大小的濾波器，就無需複製和調整影像尺寸，降低運算複雜度。為了產生特徵向量，SURF為影像劃分區域，以每個興趣點為中心，並計算每個區域的四個差值總和，再將具有相似總和的區域分類在一起。SURF藉由檢查以最初興趣點為半徑的像素來解決旋轉問題，進而降低配對步驟的複雜性。   特徵偵測加快SLAM...

定向FAST/旋轉BRIEF提升特徵偵測速度 (承前文)整體而言，SURF的運算要求低於SIFT。更有效率的方法則是定向FAST和旋轉BRIEF(ORB)。根據定向FAST和旋轉BRIEF的提出者，此新演算法速度比SURF快14倍，即比SIFT快24倍；而且效能也很不錯，有時甚至表現更好。在特徵偵測上，ORB採用邊角偵測演算法與FAST(加速分割測試的特徵)。 FAST簡單又快速，將像素與其周圍的布雷森漢姆圓上的像素進行比較，先檢查該像素與圓上的N個連續像素相比較亮或較暗。如果較亮或較暗，則可能為邊角。為了改善關鍵點選擇品質，演算法採用非極大值抑制(NMS)來識別和保留最獨特的關鍵點。與計算高斯和或套用方框濾波器相比，執行強度比較所需的操作較少。NMS的第二步只需要處理特徵清單，而非影像中的所有像素，因而降低運算量。為了達到尺度不變，ORB建構了影像金字塔，並對每一層級應用FAST。為了考量到方向，ORB將像素上下的強度與像素左右的強度相加，然後比較這兩個值。 ORB使用旋轉BRIEF計算特徵描述子。在ORB中，BRIEF描述子是256位元的向量。每個位元代表同一31×31像素區塊中兩個5×5像素視窗平均強度的比較結果。一個區塊中會有676個這樣的視窗，因此可能執行的成對比較超過20萬次。為了盡可能提升描述子的判別能力，ORB從這200,000次比較中選出離平均值最遠，且相互關聯性最小的256個比較結果。如同FAST，ORB會修改原有的BRIEF方法，使之方向不變。為了簡化這項工作，在確定屬於每個描述子的特徵方向後，ORB使用這些值對描述子的方向進行歸一化。 在配對時，ORB採用基於描述子位元子集的簡單雜湊函式。該演算法分配影像中的每個描述子到多個雜湊桶。在配對新幀中的描述子時，ORB會計算描述子要對應的雜湊桶，並比較該描述子與每個雜湊桶中的描述子。 執行ORB特徵偵測 雖然聽起來很複雜，但ORB需要用整數和邏輯運算來取代浮點運算，所以速度很快。許多運算都可以向量化，例如5×5像素視窗和256位元描述子的比較。如果開發人員希望在電腦或類似系統上執行的軟體中加入ORB，會發現OpenCV中即包含該演算法，且在Python中也能使用。 不過，與電腦相比，AMR或其他車輛等生產系統會使用客製化晶片，藉此降低功耗和成本。以C語言編譯執行的ORB可以在晶片的CPU核心上運作，但並不實用。ORB可能需要具備與電腦相似的硬體能力，或無法滿足即時要求。另一種方法是使用向量DSP。向量DSP特別設計用於移動資料和執行ORB等運算密集型演算法，效率提升許多。要達到此優勢即需調整軟體，同時注意保持演算法的正確性。 而廠商如Ceva的Vision...

工業場域透過影像辨識實現智慧化技術，實現工廠系統對於各類物件的自動辨識，是機器視覺發展的方向。目前影像視覺技術越來越普及，未來各產業的電子設備，勢必會加入更多的機器視覺功能。 人工智慧(Artificial...

工業場域透過影像辨識實現智慧化技術，實現工廠系統對於各類物件的自動辨識，是機器視覺發展的方向。目前影像視覺技術越來越普及，未來各產業的電子設備，勢必會加入更多的機器視覺功能。 實例分割 (承前文)實例分割是對圖像中不同的物體分類，並且確定物體之間的邊界、關係與差異性。實例分割是物體辨識加上語義分析的結合體。典型的模組為Mask...

隨著汽車朝電氣化及智慧化的步伐積極發展，可望大幅提高汽車智慧化與自動化性能。電動車、自駕車產業發展勢不可擋，將建構一個全新產業生態鏈，同時也成為科技產業未來重要的發展方向。 先進駕駛輔助系統(ADAS)是實現自駕車的關鍵要素，其須配備感測能力優異的系統，以提升汽車偵測周遭環境、行人的能力，並獲得更精準的偵測數值，降低事故發生機率。根據產業研究機構預估，2030年全球自動駕駛市場規模將達8,000億美元。電動車、自駕車產業發展勢不可擋，將建構一個全新產業生態鏈，同時也成為科技產業未來重要的發展方向。 隨著汽車朝電氣化及智慧化的步伐積極發展，可望大幅提高汽車智慧化與自動化性能。然而，要滿足智慧汽車對於成本、效能與可靠度的要求，已使車用電子設計變得更複雜、更嚴苛，更有賴於半導體的技術創新才能實現。本活動探討車輛電氣化未來幾年的發展趨勢，L3~L5的技術挑戰與突破之道。 SLAM估測車輛慣性軌跡與位置 在自駕車的發展趨勢之下，感測系統是否完整是自駕程度提升的關鍵之一，車輛研究測試中心(ARTC)研究發展處經理張右龍(圖1)表示，以自駕等級來區隔，Level...

(承前文)隨著汽車朝電氣化及智慧化的步伐積極發展，可望大幅提高汽車智慧化與自動化性能。電動車、自駕車產業發展勢不可擋，將建構一個全新產業生態鏈，同時也成為科技產業未來重要的發展方向。 ROHM深化車電元件電源支援與管理 在車輛電氣化程度不斷提升的趨勢下，車用半導體近年成為持續成長的領域，羅姆半導體(ROHM)台灣技術中心資深工程師盧家豪指出(圖3)，該公司車用元件占營收比重從2004年的11%，成長到2022年的40%。產品類型以電源元件最主要，訴求為省電；安全類元件除了支援功能性安全(Functional...

近年來人力成本的大幅上漲及最近的COVID-19疫情的籠罩下，各個產業都已經開始著手推動工業4.0(Industry 4.0)及人工智慧(AI)做為企業評估的主要項目，例如搬運方面等技術門檻較低的作業，就會被列為改進項目的其中之一。就因單純搬運的業務工作，投入太多人力會變為過高的成本，如果減少產線人員就有可能出現需要兼顧搬運作業而導致影響到工作品質。而這部分可藉由自主移動機器人(Autonomous...

2021年8月小米發表CyberDog機器人，一款四足、實驗性、開源的機器人，搭載小米自研高性能伺服馬達，高效能運算與強勁動力，內建超感視覺探知系統和AI語音交互系統，支援多種仿生動作姿態。軟體系統搭載英商科能(Canonical)的Ubuntu開源技術平台，該專案致力於打造一個四足機器人開發平台，透過開放原始碼和開源社群維護的方式，希望可以改善機器人開發環境。 小米2021年8月發表 CyberDog四足機器人 小米自行開發的高性能伺服馬達提供...

機器手臂結合AGV與電腦視覺、控制系統，形成具有腦、眼、手、腳的智慧製造設備。自主移動機器人(AMR)既可共用人類走動的通道，利用無磁軌的SLAM技術、與艦隊管理系統更能自動派車、管控，是理想的智慧搬...

艾邁斯半導體(ams)日前和機器視覺成像軟體廠商ArcSoft展示了一款3D直接飛時測距(dToF)感測解決方案，是Android行動設備在3D感測系統領域的選擇。 整合ams的3D光學感測解決方案和ArcSoft的中介軟體和軟體來實現即時定位與地圖構建(SLAM)和3D影像處理，這讓製造商能夠輕鬆快速地在行動設備中實現擴增實境(AR)功能。高效能、低功耗的dToF感測系統還支援高附加價值的應用，包括3D環境和物件掃描、相機影像強化，以及在黑暗條件下提供相機自動對焦輔助等。 ArcSoft資深副總裁暨行銷長Frison...

自主移動機器人AMR應用範圍廣泛，在各個製造現場應用與導入日漸普及；也因擁有自主導航能力與機器視覺，智慧化程度不斷提升，在低速、運行環境單純的狀況下，可以完成各種移動任務。