【高速運算應用-學研之星】神經網路結構搜尋技術助長MLaaS的高速發展

清華大學副教授暨Appier首席人工智慧科學家孫民，運用國網中心的雲端服務推動MLaaS技術的高速發展。

隨著資料規模愈來愈大，人工智慧(AI)解決問題所需採用的神經網路模型也愈來愈複雜，而模型的核心價值往往來自機器學習(ML)效益。機器學習需要透過收集相關資料並進行資料清理後，才能將其放入類神經網路模型並訓練模型來做精確度的最佳化，以達到預期的目標。由於整體作業極為複雜，需要大量的人力參與，而為了讓機器學習有效，需要一群訓練有素的專家團隊來協助創建、應用和優化模型，並且參與在整個作業流程當中。

由於資料收集與分析工具的技術不斷推陳出新，在網路資料量愈來愈多的情況下，神經網路架構的持續修正，讓AI模型能夠再演化，就成為一個重要的研究重點。其中「神經網路結構搜尋(Neural Architecture Search；NAS)」的技術備受矚目，意即藉由編寫出一套人工智慧程式或演算法，自動找出最能解決特定問題的神經網路結構的研究，並達到最佳辨識準確性的結果，這對於AI產業中新興的MLaaS (Machine Learning as a Service)商業模式有著重大的貢獻。

清華大學電機系副教授孫民博士，同時也是沛星互動科技(Appier)首席人工智慧科學家，他的研究團隊向科技部申請的專案就是有關於「神經網路結構搜尋(NAS)」，他嘗試利用一個有效的演算法來發掘AI模型如何自動修正與調校，讓模型變得更適合應用、結果更加精準，因為使用自動嘗試與錯誤(Try & Error)程序，每一次架構改動就需要再做訓練模型，為了從數百次的AI訓練中找到最好的一個，所以需要很多GPU平行運算的龐大能量，才能執行數以百計的規模化神經網路模型的訓練。

平時只用一顆GPU訓練100次，因此要找出最好的AI模型需要耗費一周的時間，但是向國網中心申請TWCC(Taiwan Computing Cloud)的雲端服務後，能利用大量GPU與平行運算來同步對大量的模型做AI學習，以落實最佳化模型的驗證工作。

從2019年開始，因為有了TWCC平台的支持，孫民的研究團隊得以專注於研究不同層神經網路在傳遞過程中造成的變異損害，透過分散式運算、交叉驗證，快速找到最佳模型架構。實驗結果證明，這個技術可以在不影響分類準確性的情況下，儘可能減少神經網路的層級數，最終仍可維持高效準確辨識物件，這個研究成果也讓孫民的研究團隊進入第二個延伸主題，也就是線上學習(Online Learning)。

Online Learning，當啟動MLaaS服務時，每次做模型訓練的時候還要再把大部分舊的資料拿來重複進行學習，這讓訓練變得很沒有效率；所以如何做適當的取捨，避免更新模型導致災難性遺忘(Catastrophic Forgetting)現象，就可以對新舊物件都維持高效準確辨識率。

事實上，Online Learning是很久以前就開發的技術，現在之所以再次紅起來，是因為神經網路的架構越變越大，使用的參數眾多，傳統的Online Learning技術無法避免災難性遺忘現象。Online Learning需要快速地將不斷蒐集的新資料餵進GPU做訓練，所以TWCC平台服務再次扮演重要的角色，若沒有國網中心對學術界的大力協助，這些計畫便無法順利完成。

目前這兩個研究已經進入第三年，透過使用TWCC的高速運算服務，在提高實驗速度與準確性上，節省了寶貴的時間，讓MLaaS模型演化可以用自動化的技術來完成，大量省去人類專家的負擔，其所發展的AI模型具備小巧但準確度高的效益，相關研究成果也將在2020年底之前正式發表論文在AI領域的頂會NeurIPS上，並且同步使用開源(Open Source)軟體放在公開網站上供給其他的AI研究與技術社群來使用。