AI人工智慧運算技術未來幾年將逐漸從雲端往邊緣發展，應用領域更是無所不包，各式可攜式設備與終端裝置對智慧化功能的需求高漲，不過巨量物聯網將導致數據壅塞，無法全部都透過雲端處理，因而必須仰賴邊緣運算，賦予終端更多運算能力。
邊緣運算可概分為行動邊緣運算(Mobile Edge Computing)及霧運算(Fog Computing)。AI專用硬體/加速器近期如雨後春筍出現，專門用來進行神經網路演算法運算之晶片應運而生，包括AI-Optimized Processor、Deep Learning Processor、AI Accelerator、Neural Processing Unit(NPU)等，AI邊緣運算需要將神經網路模型進行精簡，同時強化運算效率，讓一般企業所訓練出來的模型壓縮至可於行動裝置上使用。
分散式架構概念 邊緣運算興起
邊緣運算(Edge Computing)概念興起於人工智慧(Artificial Intelligence, AI)熱潮之下，在昔日雲端運算成熟之後，大規模、廣泛的運算會留在雲端，小規模、具在地化特性與要求精準的運算將移到邊緣或霧端。根據開放霧聯盟(Open Fog Consortium)研究顯示，2019年全球霧運算市場規模約37億美元，2022年則將進一步成長到182億美元左右，主要應用領域在基礎設施(Utilities)、運輸(Transportation)、健康照護(Healthcare)、工業(Industrial)、農業(Agriculture)等。
另外，因為物聯網的發展，連網型的終端結點數量在未來幾年將呈現爆炸性的成長，巨量物聯網即將成型，資策會物聯應用系統中心副主任王秉豐(圖1)認為，因為數據資料將大量產生，既有傳輸架構無法因應，而必須面對壅塞、頻寬不足問題；為了處理大量的數據，營運商必須建置更多雲端設備，使得企業營運成本持續墊高。因此，分散式架構概念興起，邊緣運算成為未來幾年發展重點。
而雲端運算與邊緣運算在技術架構與多項特性上都有顯著差異，如表1所示，王秉豐解釋，邊緣運算將使用分散式架構，藉由眾多的霧節點(Fog Node)進行運算，邊緣運算三大技術特徵包括：將運算的位置，從中心下放到邊緣；也由於將運算的位置放在終端，因此網路延遲率較低，可以支援10毫秒的應用；對於網路頻寬、基礎設施的要求小，可在缺乏雲端網路的連結時，提供部分服務。
邊緣運算在運作時會採取更彈性化的部署，物聯網邊緣節點的成本、體積相對較小，可以進行大量多點的配置；形成的邊緣節點、系統並不需要太複雜的部署規畫，架構相對有彈性可視情境進行調整。在應用情境分，王秉豐說明，物聯網的發展促進了大量應用程序的進階查詢和對大量感測器數據流的分析；第二項為即時事件檢測；第三項為工業自動化的聯網控制系統(Networked Control System, NCS)；第四項為即時行動群眾感知(Mobile Crowdsensing, MCS)。
邊緣與雲端運算 發展互補不衝突
AI與IoT結合將帶動更多智慧系統的發展，目前既有的雲端架構無法滿足物聯網的離線處理、資料隱私、即時回應等需求，導入邊緣運算架構，解決雲端架構面臨的問題增加使用彈性，解決不同系統間資源共享與再利用的需求。王秉豐解釋，邊緣情境智慧(Edge Intelligence via Ambient Computing)，定義上就是遠離雲端而靠近面對消費者的裝置那一端，須具備一定的運算與智慧產生能力，能就近處理感測所產生的資料。
邊緣運算的發展面臨挑戰包括：可擴展性(Scalability)、複雜的網路結構(Complex Inter-networking)、動態和適應性(Dynamics and Adaptation)、多樣性和異構性(Diverisity and Heterogeneity)等。未來物聯網的規模將不斷擴大，終端節點將以不同條件、多種型態進行實體連接；而具有無線連接和移動性的裝置，需要即時分配邊緣資源並重新嵌入物聯網應用；同時邊緣裝置也需要無縫的介面與互通操作性。
邊緣運算的出現並不會取代雲端運算，而將朝向互補的方向發展，藉由終端的立即反應，可以減少雲端運算的負擔，但就整體物聯網的需求情境來看，邊緣運算出現的意義在於回應更雜異化的需求情境，尤其是隨著物聯網裝置類型的增加，將衍生更多次系統，而這些次系統能否有效進行協同作業，將影響智慧化服務的品質。
深度學習帶動AI成長
人工智慧AI這一波發展浪潮植基於過去的發展基礎，而且以深度學習(Deep Learning)最具代表性，DeepBelief.ai首席人工智能科學家尹相志(圖2)表示，深度學習的成功來自於更深入理解人類大腦的運作機制，其核心為表徵學習，其中機器視覺就是希望建立起人類視覺與機器可讀像素間的映射關係。人類可以很輕易的瞭解事物表像的深層規則，所以一般人都可以在數據高度缺失的狀況下，做出正確的判斷，辨認許多電腦需要長期訓練的事物。
所以深度學習就是我們開始教機器用複雜的方法面對這個世界，透過建立複雜的模型，並且建立互相備援的規則，因為世界是複雜的，如果企圖使用簡化的方法與模型，就註定會失敗。尹相志說明，卷積神經網路(Convolutional Neural Network, CNN)、遞迴神經網路(Recursive Neural Network, RNN)、強化學習(Reinforcement Learning)是近來最常被應用的三種深度學習技術。
卷積神經網路用來辨認圖像，著名的Imagenet電腦視覺大賽，後期已經成為卷積神經網路模型設計大賽，幾乎所有的參賽團隊都用卷積神經網路設計其引擎，而在邊緣運算的應用上，人臉識別預計會是邊緣運算的主流，可以使用更多方式來理解客戶，大陸已經有越來越多應用導入人臉識別，包括火車站刷臉進站、行動支付也使用刷臉認證、大學宿舍的門禁系統也是採用人臉識別，「刷臉」將成為最普遍的影像識別應用之一。
中文的辨識也適合採用卷積神經網路，事實上，中文是一種圖像，與其他語言最大的不同是中文很難拆解成簡單的符號。在語言的識別上，目前以遞迴神經網路最適合，2016年Google翻譯全面更換為RNN模型，並有效提升翻譯正確性，微軟語音辨識技術正確率，也正式超過人類專業速計員，除了中文之外，全世界其他語言電腦的辨識率都已經超過人類。
而強化學習中，生成式對抗網路(Generative Adversarial Networks, GAN)是近期相當流行的技術，如何確定電腦學會了事物所有的特徵，GAN利用兩組深度學習一個負責判斷真圖還是假圖，另一個則是負責生出更難判斷真假的假圖，當識別模型分不出真假，就表示已經完全掌握該事物的深層特徵，利用這個特性就可以製作出以假亂真的影像，利用GAN引擎將任何影像代換成另外一個主角。
透過自然語言來整理知識圖譜，而知識圖譜再透過自然語言進行推理，預計將會是人工智慧的下一波成長動力。尹相志表示，美國白宮年度經濟展望預測報告，時薪20美元以下的工作將有83%機率被AI取代，初級資料分析人員，也將很快成為被取代的行列，不過，這波AI的發展不在工作的消失，而在腦力的解放，我們不用再花時間精力去執行重複且低價值的工作，而可以做更多高階具創造力的工作。
優化架構強化邊緣運算效能
從現在的科技應用與發展來觀察，AI不全然應用在完全新興的裝置上，而是先導入現有的設備，包括：VR/MR、機器人、無人機、自駕車、IoT節點、智慧家庭、醫療、行動終端、伺服器、運輸與物流等。Arm資深區域市場經理蔡武男(圖3)說，最普遍常見的AI與邊緣運算終端就是智慧型手機，應用如語音辨識(Speech)、文字預測(Predictive Text)、人臉辨識(Face Tracking Camera)、數位助理(Digital Assistant)、擴增實境(Augmented Reality)、指紋辨識(Fingerprint Identity)等。
Arm身為嵌入式CPU架構的主導廠商，幾年前並未積極投入AI的發展，不過在AI展現全面性的發展趨勢後，該公司也針對AI的應用進行軟硬體的優化工作，包括機器學習處理器(Machine Learning Processor)、目標檢測處理器(Object Detection Processor)、神經網路軟體程式庫等。
基於網路頻寬、電力消耗、成本、即時反應、可靠度、安全與隱私性等需求，邊緣運算將進入高速發展階段，蔡武男指出，在深度學習的應用上，使用優化過的神經網路程式庫運行類似的功能時，可提升五倍的效能；軟體運作速度則可較之前提升十五倍。
雲端與邊緣軟硬體架構整合
AI的技術架構大概可以分成三個部分：訓練(Training)、深度神經網路(Deep Neural Network)模型、推論(Inferencing)三個階段，NVIDIA技術行銷經理蘇家興(圖4)表示，這幾年AI的整體發展模型變得越來越複雜與龐大，在影像識別部分，2016年Google的Inception-v4比2012年的AlexNet複雜了350倍；百度2017年發表的DeepSpeech 3語音辨識引擎，較其2014年的第一代複雜了30倍；翻譯引擎2017年的MoE也較2015年的OpenNMT複雜10倍。
面對複雜的深度學習網路，要產生高準確率的AI代價越來越高，包括耗電、運算能力、網路頻寬等資源，蘇家興說明，NVIDIA新的推論加速器也試圖將架構簡化，透過合併重複的運算流程，減低不必要的運算，簡化硬體負擔，優化過的硬體，在影像辨識部分可從每秒140個圖像提升到5,700個圖像，提升40倍；翻譯句子也從每秒4句提升到550句，提升140倍。
另外，智慧城市也是一個雲端與邊緣結合應用的情境，許多終端資料透過攝影機、感測節點蒐集之後，很快在終端進行初步的處理，再送到雲端進行資料的整合，對於城市的安全、犯罪的防治、災難的救援都有很大的幫助；蘇家興認為，未來這種大規模的雲端與邊緣運算的整合應用，尤其是在雲端軟硬體與邊緣軟硬體的整合與AI運算上，需求會越來越高，也是充滿商機的新興市場。
AI專用加速器發展再加速
大部分科技的發展追求的目標不外乎低功耗、低成本、高效能，AI的發展也不例外，亦是邊緣運算興起的原因，以越來越普遍的影像辨識技術為例，逢甲大學電子工程系副教授陳冠宏(圖5)說明，卷積神經網路架構中，大約有九成運算量都集中在卷積層(Convolution Layer)，所以降低卷積層的運算複雜度，就可以有效降低推論硬體的運算負擔，除了前述離線運算、簡化結構之外，資料重複利用也是重要的原則之一。
另外，神經網路中激勵函數(Activation Functions)的作用是能夠給神經網路加入一些非線性因素，使得神經網路可以解決複雜的問題，讓結果更接近人類決策的習慣，其具備非線性、可微性、單調性與輸出值的範圍等特點，通常範圍從-1到+1之間，而結果則會接近中間，神經網路運算中疊代次數越高則結果會越準確。從網路加速與硬體效能的角度來看，未來應該會有越來越多專用的AI加速器或AI晶片問世。
麻省理工學院(MIT)的研究團隊發表了一款專門執行深度學習的晶片「Eyeriss」，可直接在行動裝置上執行如人臉辨識等演算法，且可以在網路離線狀態下處理資料。陳冠宏解釋，Eyeriss晶片內建168個核心，專門用來部署神經網路，效能為一般行動GPU的10倍，也因其效能高，不需透過網路處理資料，就能在行動裝置上直接執行人工智慧演算法。具有辨識人臉、語言的能力，可應用在智慧型手機、穿戴式裝置、機器人、自動駕駛車與其他物聯網應用裝置上。
