AIoT浪潮席捲全球 Edge AI晶片設計思維大不同

交通大學資訊工程系教授暨人工智慧系統檢測中心主任陳添福。

全球知名商情分析刊物「哈佛商業評論」在今年7月號的主題是「你的公司夠AI嗎？」由此一報導中可看出AI已被視為企業未來的核心競爭力。觀察AI近年來的發展軌跡，交通大學資訊工程系教授暨人工智慧系統檢測中心主任陳添福表示，在AI與物聯網結合的AIoT架構中，邊緣運算將成為重要設計，而由於終端設備與上層雲端平台的功能需求大不相同，要能讓邊緣運算的性能與成本最佳化，其系統晶片就必須針對其環境與架構進行優化，而目前各大晶片廠商也都已提出對應產品。

陳添福指出，現在企業的AIoT架構是先在底層佈建感測器，用以偵測設備或環境狀態，再將資料傳送到上層平台累積為大數據，並透過AI運算分析，達到智慧化願景。不過此一運作機制仍需克服重重困難，在底層部分，系統團隊必須解決現場端數據的取得、感測器的佈建、數據取樣的類型與數量等問題；上層雲端則要思考如何從資料擷取特徵？AI的推論如何在現場落地？對以ROI為首要考量的企業來說，這些曠日廢時的工作將有可能在未建置前就先拖垮企業效益與獲利，因此陳添福指出，要讓AIoT的效益快速而有效的浮現，Edge AI將是必要設計。

從架構面來看，AIoT與Edge AI系統目前會面臨幾個挑戰：在終端節點部分，國內仍缺少關鍵技術，而且AI系統軟體未臻健全，無法因應IC設計所需；終端伺服方面則是AI系統人才極度缺乏，難以組成即戰力團隊，另外廠商在系統整合與垂直分工的能力也有待提升；至於最上層的雲端伺服，廠商的資料掌握量不夠，同時也缺乏大型成功範例，難以搶到應用主導權。陳添福進一步舉例說，就如政府面臨5缺問題(缺水、缺電、缺工、缺地、缺人才)，台灣要發展AIoT，企業本身也要克服5缺問題(缺人才、缺資料、缺關鍵AI模式、缺有價值的資料特徵、缺終端系統整合等)，這些問題都是多面向且麻煩但需要同時解決，方能有效建構各公司自己的產業智慧。

除了政府與企業外，晶片廠商則需要克服的難題則有3大面向，陳添福指出，現在市場的AI晶片有3大趨勢，首先是必須具備超高運算能力，其次是因應多應用面向所需的多樣化運算架構搭配，最後為持續運作所需的低功耗設計，而這3大需求都必須彙整在單一晶片上，以提高整合度並降低成本。

應用面向不同，Edge AI架構多元

再就AI的神經網路架構來看，在各學術機構與企業的大力投入下，現在各種AI模型快速浮現，以更小的運算量達到更高精度的結果，此一發展讓AI模型更容易應用於嵌入式系統與邊緣運算架構中。而運算晶片架構方面，陳添福指出，因應市場需求，目前各晶片廠商的主要架構共分4種，包括CPU+GPU、CPU+AI加速器、CPU+DSP+GPU、CPU+GPU+AI加速器。

這4種架構都以CPU為主，再透過不同的通訊標準如PCI-E、USB等鏈結，而不同架構也有各自的優劣勢，CPU+GPU可滿足系統的效能與彈性需求，只是耗電高，且處理前必須將數據傳送至VRAM，運作架構較為複雜。CPU+AI加速器適於機器學習，但是其應用領域有一定限制，且需要編譯器處理數據。CPU+DSP+GPU組合的優勢，是每一元件都可在多個應用程序中使用，不過須以DSP做為控制。至於CPU+GPU+AI加速器則在機器學習應用的效益極佳，但NPU也僅侷限於機器學習應用，且GPU與NPU必須先行規劃，才可同時使用。

除了硬體產品外，各晶片廠商為使AI演算法可從訓練模式順利在推論端使用，也推出了各種軟體工具，像是NVIDIA的TensorRT、Intel的OpenVino、Qualcomm的Neural Processing Engine與Android陣營的Neural Networks API，對於這些軟體工具，陳添福指出，各種AI模型的架構與目標不同，因此設計者必須慎選合適工具，為此交大也在近期成立了AI系統檢測中心，協助企業優化AI系統，使其可落地實現。

交大的AI系統檢測中心共提供了4項服務，包括AI量測與調校服務、系統軟硬體產品的測試評比與分析技術報告、自動參數調校與遠端超參數建議、AI模型優化與系統實現方案，透過這些服務，企業將可縮短開發時程，並讓研發成果更貼近實際應用，以有限資源打造出最佳化AI系統。