生成式AI浪潮席捲全球 滿拓科技DeepExpert 平台降低企業GAI落地應用門檻
- 林佩瑩／台北
-
2022年底問世的ChatGPT，讓全球見識到生成式AI無所不能的強大威力，也催生一波AI 2.0革命。生成式AI是以大語言模型為核心，針對AI模型進行大量資料訓練，如ChatGPT採用的GPT 3模型參數量為1,750億、GPT 3.5模型參數量為2,000億。目前市面上除了Open AI及台智雲的FFM等海內外業者推出的付費的商用模型外，也有不少開源大語言模型，如Hugging Face的BLOOM模型、Meta的llama 2等，都是具備70~1,760億個參數的大語言模型，且能合法運用在商業環境之中。
無論企業是使用商業授權、免費開源的大語言模型，搭配公司專屬資料進行訓練後，即可運用在AI智能客服、程式碼撰寫輔助、提升企業資訊使用效益等多個面向之中，有相當大的潛力能大幅提升企業生產力及產業競爭力。所以市面上有不少號稱可提供生成式AI專案導入協助的業者，不過真正已經投入相關專案的企業並不多，多數仍處於觀望態度。
滿拓科技行銷長楊育明指出，儘管企業對生成式AI需求殷切、急需及早布局提升產業競爭力，但仍然猶豫不決的三大原因，分別是機密資安考量、導入成本高昂、AI技術人才不足。在全球瘋搶AI人才的狀況下，即便企業有意推動生成式AI專案，泰半都處於不知道從何著手的狀態。
其次，多數業者都是在雲端平台提供生成式AI服務，企業擔心資料上傳後，可能發生機密資料外洩的狀況。最後，在雲端平台進行AI模型訓練的每次費用動輒數十甚至百萬以上，且多數模型訓練得進行3~5次才能獲得符合企業需求的專屬模型，價格不斐的AI專案費用也令企業卻步。
專為生成式AI量身設計 雲端版或落地於企業內部使用，大幅縮短專案成本與時間
綜合前述三大因素，目前僅有少數大型企業有足夠人才、資金，可一次投資千萬費用購買AI伺服器，在公司內部執行滿足AI模型訓練、推論等專案。多數中型企業往往只能望而興嘆，更遑論預算、人力有限的中小企業。
為協助更多企業、研究中心、學校等進入生成式AI領域，滿拓科技推出專為生成式AI專案設計的軟硬體整合方案-Mentor series（入門款到進階款）。客戶可選擇在Mentor Series硬體上進行不同等級的大語言模型（請見下圖）全參數訓練，滿拓會協助客戶確認訓練結果於實際應用需求。
以入門款的Mentor-100為例， Mentor-100是與工業電腦大廠艾訊科技合作，打造安靜省電、辦公室專用的軟硬體架構最優化的小型邊緣運算AI伺服器，搭配預載滿拓科技GAI應用套裝軟體DeepExpertTM中的FinetuneExpert訓練軟體及搭配顧問訓練輔導課程，讓各種不同領域的企業或各級單位容易地導入內部各種應用需求。
滿拓科技執行長吳昕益認為，以7B、13B參數的大語言模型進行推論，是推動AI專案的重要步驟。首先，即便中大型企業預算充足，若沒有任何數據佐證，也不容易爭取到千萬以上的專案預算。而Mentor-100解決方案高CP值的優惠價，非常適合企業在公司內部，執行小規模的前期概念驗證。對於學校、研究單位、中小企業來說，若運用情境較為簡單，又或者僅是想要進行概念驗證，7B、13B、33B參數的大語言模型也足敷使用，不一定需要使用176B參數的大語言模型。
值得一提，由於滿拓科技是少數專注提供生成式AI解決方案的業者，且有相當不錯的成績，所以當國科會公布以繁體中文為核心的台灣大語言模型-TAIDE計畫時，滿拓科技也為少數獲得邀請參與測試及推廣的公司之一。
6大應用情境 加速推動生成式AI
滿拓科技推出的GAI應用套裝軟體DeepExpertTM解決方案有兩大特色，首先可依照企業需求，選擇搭載Meta Lama2等不同類型及參數的開源模型，或者可選擇透過滿拓科技，取得合作夥伴台智雲授權，使用預先完成繁體中文語料訓練的台智雲福爾摩沙大語言模型。
其次，在硬體架構部分，獨家與群聯合作，使用群聯專為GAI訓練打造的NVME模組，可突破現行GPU卡的記憶體容量限制，無需使用昂貴的NVIDIA A100/H100晶片，僅需兩張NVIDIA RTX A4000-ada GPU卡，，即可進行AI模型的訓練。因此，整體費用可以大幅降低，所以即便是預算有限的中小企業或學術單位，也可以加速啟動生成式AI專案，大約兩週以內就可看到訓練成果。
楊育明指出，除提供DeepExpertTM解決方案之外，滿拓科技針對六種常見應用情境，推出預先完成優化的AI應用模組，如 DocumentExpert、Code Expert、 CustomerServiceExpert 、MeetingExpert、ImageExpert、FineTuneExpert等。搭配自行研發、易於使用的No Code工具，助企業快速與自有的資料進行結合，進行專屬領域的AI模型訓練與推論工作。因此，截至目前為止，已有政府單位、金融、上市櫃IC 設計公司、知名傳統產業、零售業者等，正與我們進行POB測試，驗證DeepExpertTM的一站式GAI落地解決方案的高超能力。
從2018年開始，滿拓科技即開始與TTA合作，參與多項媒合會、技術發表會等，對於拓展公司知名度、爭取VC投資等帶來很大幫助。未來，也希望能與TTA保持近密和合作關係，為進軍海外市場奠定穩健的基礎。
圖說2：滿拓科技企業級生成式AI落地解決方案。滿拓科技
