在過去十年間，AI人工智慧的發展主軸基本上都是圍繞著「更大、更深、更強」，我們習慣了在雲端使用擁有數億或甚至於數十億參數的巨型模型來處理自然語言或複雜影像應用。 然而，隨著人工智慧物聯網的爆發性成長，目前的戰場已經逐步的轉移。現在的技術焦點，已經不再是誰能在雲端跑出更高的基準測試分數，而是誰能將AI成功植入到資源極度受限(記憶體跟效能較低)的MCU，也就是所謂的邊緣AI。 從工業4.0的預測性維護、智慧家庭的語音辨識甚至到穿戴式裝置的即時健康監測，這些應用場景對即時性、應用成本以及資料隱私的要求，變得更加嚴格。將所有感測器資料上傳雲端分析已不再是唯一解方，在感測器的周邊直接進行運算，成為未來的趨勢。 資料量限制與硬體算力的囚籠 然而，當資料科學家試圖將實驗室中的AI模型移植到嵌入式系統時，往往會撞上一堵厚實的牆，這堵牆就是物理資源上的上限。 典型的深度學習模型如同吞噬算力的巨獸，它們需要大量RAM來儲存中間運算結果，以及龐大的Flash來存放各個模型的權重。但現實世界中，廣泛應用於馬達控制或家電的微控制器(MCU)晶片，其所搭載的記憶體往往都是以KB或MB為計算單位，如果開發者試圖將未經最佳化的神經網路硬塞進MCU，就像是試圖將跑車引擎裝進小型的自行車裡，不僅應用上不可行，更會對團隊的工程資源造成額外的浪費。 這是業界目前正遭遇的矛盾：開發者渴望利用AI來改善應用的本質，增加產能或效率，但是卻無法承擔其的建置及運算成本。 資料分析以及模型的減法 要解決上述矛盾，我們不能依賴硬體的無限制升級，而必須要回歸到資料分析的本質，這就像是一場關於減法的魔術一樣。 在嵌入式AI的開發中，模型裁剪以及特徵萃取的重要性，會遠高於模型架構的堆疊。 首先，我們先針對資料分析的篩選以及模型的瘦身概念進行說明： 資料分析的篩選 Raw...

深度學習可指導電腦以受人腦啟發的方式來處理資料，可以彈性滿足不同應用的需求。企業使用深度學習模型來分析資料，並在各種應用程式中進行預測，廣泛導入嵌入式AI系統中。 深度學習是人工智慧(AI)中的一種方法，可指導電腦以受人腦啟發的方式來處理資料。深度學習模型可識別圖片、文字、聲音和其他資料的複雜模式，藉此產生更準確的洞察和預測。使用者可以透過深度學習方法將通常需要人類智慧的任務自動化，例如描述影像或將聲音檔案轉錄為文字。  AI技術指的是開發人員試圖將電腦，訓練成能夠像人類一樣思考和學習的系統。深度學習技術驅動了許多日常產品中使用的AI應用程式，例如：數位助理、聲控電視遙控器、詐騙偵測、自動臉部辨識(圖1)。AI也是新興技術的關鍵組成部分，例如自動駕駛、虛擬實境等。  圖1　臉部辨識應用範例 深度學習模型是資料科學家經訓練後使用演算法，或一組預先定義步驟執行任務的電腦檔案。企業使用深度學習模型來分析資料，並在各種應用程式中進行預測。 深度學習在汽車、航太、製造、電子、醫學研究和其他領域中具有若干使用案例。深度學習應用包含自動駕駛汽車使用深度學習模型，自動偵測道路標示和行人。國防系統也使用深度學習，來自動標示衛星影像中感興趣的區域。而醫學影像分析使用深度學習來自動偵測癌細胞，以進行醫學診斷。工廠則使用深度學習應用程式，自動偵測人員或物件是否位於機器的不安全距離內。 深度學習五大應用 深度學習的應用主要可分為電腦視覺、語音辨識、自然語言處理(NLP)，以及建議引擎五大類。 電腦視覺 電腦視覺是電腦從影像和影片中，擷取資訊和洞察的功能。電腦可以使用深度學習技術，進而以與人類相同的方式理解圖像。電腦視覺有多種應用，例如內容審核可自動從影像和影片封存中，移除不安全或不當的內容。臉部辨識可識別面部，並識別睜眼、眼鏡和面部毛髮等屬性。影像分類可以識別品牌標誌、服裝、安全裝備，和其他影像詳細資訊。 語音識別 儘管語音模式、音調、語氣、語言和口音不同，深度學習模型仍然可以分析人類語音。例如Amazon...

深度學習可指導電腦以受人腦啟發的方式來處理資料，可以彈性滿足不同應用的需求。企業使用深度學習模型來分析資料，並在各種應用程式中進行預測，廣泛導入嵌入式AI系統中。 機器學習背景下的深度學習 (承前文)深度學習是一種機器學習，深度學習演算法的出現是為了提高傳統的機器學習技術的效率。傳統的機器學習方法需要大量的人力來訓練軟體。例如，在動物影像識別中，使用者需要手動標記成千上萬的動物影像、讓機器學習演算法處理這些影像、在一組未知的影像上測試這些算法，接著確定某些結果不準確的原因，最後透過標記新影像來改善資料集，進而提高結果的準確性。 這個過程稱為監督學習。在監督學習中，只有當使用者擁有廣泛且多樣化的資料集時，結果準確性才會提高。例如，演算法可能會準確識別黑貓，而不是白貓，因為訓練資料集中的黑貓影像更多。在這種情況下，使用者將需要標記更多的白貓影像，然後再次訓練機器學習模型。 機器學習/深度學習各有優勢 有效處理非結構化資料  機器學習方法發現非結構化資料...

深度學習可指導電腦以受人腦啟發的方式來處理資料，可以彈性滿足不同應用的需求。企業使用深度學習模型來分析資料，並在各種應用程式中進行預測，廣泛導入嵌入式AI系統中。 深度學習的訓練 (承前文)深度學習的訓練(Training)可以分為三個步驟：定義網路架構(Define...