突破運算成本高門檻 群聯aiDAPTIV+加速生成式AI平民化

群聯電子執行長潘健成表示「aiDAPTIV+推動生成式AI走向平民化，讓AI應用就好像電腦一樣普及，是群聯電子的終極目標!」。群聯電子

生成式AI浪潮興起，帶動新一波企業AI應用需求，然而AI伺服器動輒要價新台幣上千萬元，卻不是每一家企業都能負擔得起的價格。為免昂貴的硬體成本延緩企業導入生成式AI應用的腳步，日前在台灣年度最大AI博覽會「AI EXPO Taiwan 2024」上，群聯電子執行長潘健成特別分享，如何應用自家最新AI解決方案aiDAPTIV+克服AI運算成本高的挑戰，實現生成式AI平民化、普及化的目標。

運算成本過高，延緩生成式AI發展速度

「2023年上半ChatGPT風潮初起時，群聯電子就在評估是否要導入生成式AI應用，但當時估算下來的硬體成本至少要200萬美元，」潘健成表示，龐大的投資金額讓群聯電子暫緩GenAI投資腳步，也意識到運算成本過高將成為企業導入生成式AI應用的門檻。

於是，群聯電子重新檢視AI伺服器架構，尋找可以降低成本的方法。在AI伺服器中，圖形處理器（GPU）和HBM是兩個重要關鍵，GPU決定伺服器的運算能力，HBM則決定這台伺服可以執行哪一種參數規模的AI模型，通常參數規模越大，對HBM的需求也就越大，價格也跟著越高，而這也是生成式AI運算成本居高不下的主要原因，因為大型語言模型（LLM）對GPU和HBM的需求大，成本自然相當高。

為此，群聯電子嘗試將SSD作為HBM使用的可能性，經過不斷研發與努力下，最終成功開發出aiDAPTIV+。aiDAPTIV+是一套整合硬體與軟體的AI解決方案，內含經過特殊專利設計的AI100 M.2固態硬碟（SSD）解決方案aiDAPTIVCache，具備群聯獨家技術以延長SSD壽命的特性，及群聯電子自行開發的中介軟體（MiddleWare）aiDAPTIVLink，可在AI伺服器或工作站（Workstation）中扮演高頻寬記憶體（HBM）的角色，有效降低硬體成本。

aiDAPTIV+兩大助益：降低成本、免除雲端訓練和微調的資安疑慮

潘健成進一步以陽明交大教授研發的台客語TAIDE大語言模型和研華AI工作站AIR-520為例，說明aiDAPTIV+對降低生成式AI運算成本的幫助。

台客語TAIDE大語言模型研究僅使用了8片輝達A6000的RTX顯示卡及2片群聯AI100，就能微調訓練Llama 2或Llama 3 70B模型，而且整體伺服器硬體成本僅約新台幣150萬元，但若不使用aiDAPTIV+解決方案，以傳統GPU和HBM架構來估算硬體成本的話則需約5,000~6,000萬台幣。這也就是說，企業使用aiDAPTIV+架構AI伺服器，只要傳統硬體架構40分之1的成本，就能在地端微調訓練（Fine-tuning）大型語言模型、省下數千萬元的運算成本。

此外，研華運用aiDAPTIV+打造的AI工作站AIR-520，只要一台設備就能滿足Llama 2 70B模型的微調運算算力需求，但若不使用aiDAPTIV+解決方案，每一台設備最高只能運算48億個（4.8B）參數的AI模型，且需要30台設備才能運算Llama 2 70B模型。由此可知，研華透過aiDAPTIV+提高設備算力，相對也能協助企業客戶降低導入AI應用的運算成本。

除了降低成本門檻外，群聯電子aiDAPTIV+解決方案也解決了企業將資料上傳至雲端進行AI模型訓練或微調（Fine-Tuning）的資安疑慮。

目前各大雲平台或科技大廠皆有開發大型語言模型，企業在導入生成式AI應用時，多半會使用現成LLM進行訓練或微調，使LLM推論出來的答案更貼近實際應用需求，但將資料上傳至雲端，免不了擔憂資料外洩風險，而企業如果自行建構地端AI伺服器進行模型訓練或微調又有硬體運算成本太高的門檻，群聯aiDAPTIV+解決方案恰好能同時解決這兩個問題，讓企業能夠負擔得起在地端進行訓練或微調的成本，而且不必擔心資料上傳雲端的風險。

放眼全球，以生態圈力量搶攻生成式AI商機

雖然aiDAPTIV+解決方案降低了成本、克服生成式AI應用的進入門檻，但在推動生成式AI應用上其實還有另外一個挑戰，許多企業不知道如何運用AI，因此，群聯電子進一步攜手系統整合商、資訊服務商、新創團隊等不同領域的合作夥伴組成生態圈，同時還舉辦開發者大會、與學界合作進行生成式AI應用研究等，透過各種方式來整合各界力量，共同推動生成式AI應用的發展。

在群聯電子積極推動下，於6月登場的COMPUTEX 2024，已有超過10家以上合作夥伴展示aiDAPTIV+相關解決方案。此外，群聯電子亦累積超過100個以上的POC成功案例，涵蓋律師、法官、會計師、工程師、建築師、政府機關、醫師、教師、分析師及科學家等不同領域，幾乎各行各業都可以透過AI協助減輕工作負擔。

舉例來說，某專利事務所原本希望透過生成式AI來協助摘要過往的專利資料、提高同仁閱讀歷史資料的效率，但卻面臨地端AI伺服器硬體設備成本過高的問題，而導入群聯aiDAPTIV+方案後才突破AI模型跑不動的窘境。另外，群聯電子也應用自家解決方案aiDAPTIV+，發展出文件生成機器人、智慧AI助理及高效程式幫手3個生成式AI應用，供群聯內部同仁使用。

「推動生成式AI走向平民化，讓AI應用就好像電腦一樣普及，是群聯電子的終極目標!」潘健成強調，群聯電子希望透過aiDAPTIV+技術方案讓擁有各種敏感資料的企業、學校、公部門等，也能具備AI模型的地端微調訓練能力，讓企業能各自打造自己的地端生成式AI應用，而且不只聚焦台灣市場，群聯已經積極走向國際，集結aiDAPTIV+生態圈夥伴的力量快速滲透到全球各個市場，創造更大商機。