從AI到LLM：建置有序的人工智慧模型作業流程

由 DIGITIMES所主辦的AI Expo展覽，InfuseAI於未來舞台分享如何導⼊MLOps技術於各⼤企業中。InfuseAI

在⼈⼯智慧持續蓬勃發展的時代，模型的開發與部署仍有許多挑戰需要克服。為了滿⾜客戶對於專案快速開發上的需求，InfuseAI過去協助許多企業打造MLOps平台開發環境，並透過團隊諮詢與規劃，幫助企業在打造⼈⼯智慧⼯作流程能夠更加順暢， 並且加速專案製作過程。

資料科學家和機器學習⼯程師在製作⼈⼯智慧模型的過程中，必須經歷數據收集與整理、模型訓練、模型評估到模型部署等作業，⽽MLOps技術能夠將機器學習與DevOps的技術結合起來，以建⽴⼀個完整的機器學習⼯作流程，並且能夠涵蓋從AI 模型的訓練到上線的整個過程。⽽MLOps強調這些作業的標準化、流程化和⾃動化，讓整個作業過程可以更加⾼效且可靠，也能夠加速專案服務的落地速度。

近年來，隨著ChatGPT⾵靡全球，愈來愈多⼈詢問是否有類似⼤型語⾔模型的MLOps作業模式。⽬前，國外專家們也陸續關注有關LLMOps（MLOps for Large Language Models）的可能性，來因應⽬前技術發展的趨勢。

LLMOps與MLOps最主要差異在於，MLOps強調模型訓練與建置訓練流程，⽽LLMOps更注重⼤型語⾔學習模型的管理和維護。由於⼤型語⾔模型需要耗費⾮常⼤量的運算資源，各⼤企業基本上是不會直接重新訓練此模型，只需要更新和優化⼤型語⾔模型來保證其性能 和效果，並隨著資料增加不斷進⾏各項維護與更新作業。

過去與客戶訪談需求的過程中，我們可以歸納客戶在開發機器學習模型的問題主要分成三⼤⽅向。⾸先，客戶想要了解如何將AI技術應⽤到實際場景中，讓AI服務能夠在安全可靠環境中上線；其次，客戶希望在上線之後，能夠有⾃動化的機制來維護和重新訓練模型等⼯作，讓模型能夠⻑時間被使⽤；最後，客戶希望透過⼀套機制或平台，打造客製化的LLM模型，以便根據企業的需求，快速開發出適合企業內部的⼤型語⾔模型，相信透過MLOps的技術持續發展下，可以協助企業客戶獲得相對應的解答。

企業在資料科學與機器學習相關團隊中，需持續且加速打造有序的⼈⼯智慧模型作業 流程，來幫助專案團隊在商業需求的快速作業，才不會因為後續模型的⼤量維運需求⽽影響到開發的速度。如果在導⼊MLOps過程中缺少⽅法來提升作業效率時，可以 評估導⼊相對成熟第三⽅相關⼯具，來幫助⼯程師開發⼈⼯智慧模型能夠更加穩定和快速輸出，相信在LLM時代的來臨下，可以幫助每位⼯程師在⼈⼯智慧開發模型上更 加順暢。