「AI前瞻論壇：GenAI時代的應用與落地策略」 產學合作探索GenAI 9大應用

GenAI浪潮方興未艾，各行各業都在探索生成式AI可能的應用模式，為協助台灣產業加速GenAI發展腳步，群聯電子 (Phison; 8299TT) 與滿拓科技進行策略合作，在滿拓科技GenAI工作站及伺服器產品中導入群聯獨家專利的『aiDAPTIV+技術方案』，透過軟硬整合的一站式解決方案降低GenAI模型落地訓練及推論門檻，同時更攜手國立陽明交通大學（以下簡稱陽明交大）進行產學合作，邀請教授與學生運用此一站式解決方案研發GenAI應用，並於日前舉辦「AI前瞻論壇：GenAI時代的應用與落地策略」展示產學合作成果及探討未來發展趨勢，藉此為人才培育貢獻心力，從而激發更多應用創意，助更多企業運用GenAI提高營運效率與降低成本。

趨勢面：各界攜手合作，為台灣再造新的創業波段

論壇一開始，陽明交大校長林奇宏與副校長陳永富、陽明交大電機學院院長王蒞君、聯發科技協理葉家順、技嘉科技總經理林英宇、群聯電子執行長潘健成及DIGITIMES副總經理黃逸平等諸位學界與業界專家輪番分享，GenAI發展趨勢及台灣產業該如何把握商機。

林奇宏預估，AI將在未來3年內成為所有學生都要學習的必修課，學校必須迎合此發展趨勢及早做好準備，因此陽明交大近年來積極推動產學合作，與產業攜手共同為台灣培育兼具理論與實作技能的AI人才。

潘健成則觀察到企業目前在導入GenAI時可能會面臨的諸多難題，因此與滿拓科技合作降低硬體入門的資金門檻，未來希望與更多業者合作，一起克服企業在平台、軟體等面向的導入挑戰，進而打造出整體解決方案，向國際輸出台灣經驗，也為台灣迎來再一次的創業波段。

DIGITIMES副總經理黃逸平則分享ChatGPT後的科技產業新局。ChatGPT興起後，帶動資本投資往生成式AI領域移動，形成一個新興生態系，但因為此領域還在高速發展中且變動快速，所以目前還看不出來誰將會是產業主導者，未來，台灣一定要仔細觀察市場變化，緊緊跟隨主導者的腳步，透過內需市場串起軟體、應用與硬體供應鏈，打造一個正向循環並向海外輸出解決方案，讓台灣不只賺到硬體財，還能賺到更大的附加價值。

研究面：9大研究成果，探索GenAI落地可能性

在產學專家分享趨勢觀察後，來自陽明交大、成大與技嘉科技的9組團隊則上台分享GenAI應用在通訊、警政、醫療、製造、教育及客服等不同領域的研究成果。

GenAI應用研究1》語言生成模型的溯因推論能力

陽明交大智慧計算與科技研究所副教授馬清文聚焦於探究語言生成模型的溯因推論能力。馬清文認為，AI分成符號型與鏈結型兩種，符號型AI是基於已知規則進行推論，例如：由地面潮溼與否來推論有沒有下過雨，鏈結型AI則像人的大腦一樣，具有模擬溯因推論的能力，可以創造合理的新內容或新影像。

而語言生成模型便屬於鏈結型AI，所以才能與人正常對話。只可惜過往礙於運算資源有限，馬清文一直無法針對此觀點進行實證研究，如今藉由群聯電子與滿拓科技的解決方案，可以將AI模型縮小並進行驗證，運用瑕疵影像去訓練生成模型，並要求模型生成一些過去不存在的瑕疵影像，成功驗證語言生成模型具溯因推論能力。

GenAI應用研究2》以LLM預測3D空對地的通訊品質

由陽明交大ICCLab 4位研究生組成的團隊，指導教授為電機學院院長王蒞君，運用大型語言模型建立訊號品質預估架構，並以陽明交大光復校區作為應用場景，驗證此架構可行性。

團隊成員之一的邱佳詮指出，傳統的通訊品質預估模型主要是針對簡單環境進行設計，但在以無人機作為空中基地台、進行3D立體空間的空對地通訊模式中，受到無人機具移動性、容易遇到障礙物等因素影響，導致訊號品質的預估變得更複雜且充滿挑戰。

為理解空對地通訊系統中，用戶在不同區域的訊號品質，團隊以大型語言模型為基礎，建立訊號品質預估架構，並在陽明交大進行實際驗證，結果發現，此架構在訊號品質預估上可以達到80%準確度，而且使用者可以透過人性化的問答方式獲取各基地台資訊，進而評估特定地點3D空對地通訊中的訊號品質。

GenAI應用研究3》警局筆錄生成系統

來自陽明交大電子研究所的專題生李思澔團隊，在指導教授方偉騏指導下，則研究出基於LLaMa語言模型的警局筆錄生成系統。現今警局製作筆錄的流程其實存在許多痛點，除了過程冗長耗時，若負責警員經驗不足、遺漏重要筆錄資訊，還得召回案件相關人再進行一次筆錄，倘若案件相關人為外國人，則需安排通譯人員將筆錄轉成中文，再由三方一起簽證文件。

為提高筆錄製作效率，該團隊希望發展出可以自動生成筆錄的AI模型。首先與台灣警察專科學校合作，根據不同案件類型製作出模擬筆錄，經過文本清理及去識別化處理後，這些模擬筆錄便可成為訓練資料，再透過滿拓科技M200伺服器進行模型訓練，從而搭建出可以自動製作筆錄的AI模型，實現警員與AI人機協作的目標。

GenAI應用研究4》影像與LLM的結合測試

國立陽明交通大學智慧科學暨綠能學院教授謝君偉主要測試視覺影像與大型語言模型結合應用的可能性。當語言與影像結合在一起後，AI可以自動擷取影像中的屬性並用文字描述出來，而這經常遇到兩大挑戰，首先，語言與影像的結合讓AI模型變得更大，在訓練與微調時，需要更多的硬體資源，其次，語言模型可能會有答非所問的情況，生成不正確的描述文字，例如：將一張有手機的圖片描述成是一則訊息。

為了克服挑戰、提升模型的準確度與訓練速度，調高批次大小（Batch size），讓AI模型在每個訓練步驟中可以同時處理更多數據，是必然的過程。然而，謝君偉過往在訓練AI模型時，因為經費與硬體資源有限，無法使用過大的Batch size，但在使用群聯電子解決方案後，可以根據SSD用量去提高批次大小（Batch size），同時降低GPU Memory使用量、提升CPU Memory使用量和SSD吞吐量，不只提高訓練效率和模型性能，也大幅減少系統卡當的機會。

GenAI應用研究5》語音控制巡房機器人

陽明交大AI學院人工智慧普適研究實驗室代表成果發表人陳冠霖，表示他們觀察到醫護或長照機構中的巡房作業，需要耗費大量護理人力和時間，因此整合大型語言模型與機器人作業系統ROS，開發出一個可以用語音控制的自主巡房機器人，不僅節省了人力資源，同時也提高巡房的準確性和效率。

目前，自主巡房機器人已完成初步開發，藉由滿拓科技與群聯電子合作的解決方案，大幅降低模型訓練成本，之後計劃與新竹榮民之家合作進行實際場域驗證，同時也會開發更多功能，包括智慧醫療顧問、財務分析助理、結合感測器以量測更多生理數據等，希望讓巡房機器人可以執行更全面的任務，真正做到有效減輕醫護人員的負擔，成為醫護人員最優質、有效率且準確的得力助手。

GenAI應用研究6》自動光學暇疵檢測設備

由成大與聯合大學組成的跨校團隊運用大型語言模型來增強自動光學瑕疵檢測的能力。代表團隊分享成果的成大數據科學研究所副教授許志仲表示，現行AI AOI在實際應用上，仍面臨資料蒐集困難、通用性不佳、資料標註品質不一致、需要大量調校參數等問題，因此希望運用大型語言模型來解決這些問題。

許志仲團隊應用視覺語言模型可以自動生成與相關圖片描述文字的特性，縮減AI AOI瑕疵檢測模型所需要的訓練資料量，讓企業只要餵入少少資料就能訓練出AI模型。經過POC概念驗證，結合大型語言模型的AOI（LA AOI）只需要10%的樣本資料就可以進行訓練，且在準確率、召回率及F1分數都優於傳統AI AOI的表現。

GenAI應用研究7》虛擬助教系統

來自陽明交大的OASIS Lab，運用LLaMa2模型打造ICLAB虛擬助教系統。ICLAB是該校電子所系統組一門很重要的晶片實驗課，該堂課的助教工作量很大，包含備課、上課、出題、學生作業Demo和回答問題等，因此希望透過大型語言模型打造一位ICLAB課程的虛擬助教，以減輕助教工作負擔。

團隊代表李家毓指出，之前便有訓練虛擬助教的規劃，但礙於運算資源及經費有效，只能做到模型微調（Fine-tune），無法進行全參數訓練。但此次藉由滿拓科技與群聯電子合作的Mentor-100，不只運算效能可以滿足模型全參數訓練的需求，對比過往只能採購更高算力的NVIDIA平台，價格更實惠，而且Mentor-100功耗只有600W，不需要擔心散熱或噪音等問題。

未來，團隊將持續提升大型語言模型性能，打造更全面更完整的虛擬助教系統，並拓展至不同領域如新進同仁程式語言的修改等，提升教學品質與學習效率。

GenAI應用研究8》FAE與智慧客服問答系統

技嘉科技副理詹國廷以技嘉科技過去30年蒐集的問答資料為基礎，採取微調大型語言模型的方式打造智慧客服問答系統，希望提升客服回答效率及使用者滿意度。

在打造智慧客服問答機器人的過程中，考量到歷史資料量太過龐大，所以技嘉只選用近2個月共約十萬筆的資料，透過ChatGPT 4.0將寒暄與結尾去除、矯正文法與空格縮排錯誤及轉換格式後，再使用滿拓科技軟體進行微調。

日後，當使用者在網頁上提問時，機器人可以快速回覆，而這些問答內容都會被蒐集起來，交由技嘉科技專業FAE團隊來判斷好壞並做標註，待資料量累積到一定程度後，便可以丟回AI伺服器重新微調，持續提升機器人回覆品質。

GenAI應用研究9》台客語GenAI大語言模型

陽明交大智能系統研究所教授暨所長廖元甫分享台客語大語言模型的發展歷程及未來展望。在學校與公部門經費支持下，廖元甫從2023年就開始投入蒐集華台客語的語音語料，目前已建置全台最大華台客語音語料庫，並公開釋出供外界授權使用，同時也以這些語料為基礎發展大語言模型。

但在發展可達人類能力的台客語大型語言模型過程中，卻遇到資源不足的限制。陽明交大智能系統研究所目前有2台最高階GPU伺服器NVIDIA H100可用於AI研究，但現今主流接近人類能力AI模型的參數量都很高，例如：LLaMa-2-70B的參數量便達到700億，通常需要更多台高價的工業級NVIDIA H100伺服器才能進行訓練。

所幸群聯電子aiDAPTIV+方案解決了資源挑戰，讓陽明交大智能系統研究所使用低價的消費級GPU+SSD，例如NVIDIA RTX 4090，就可以微調大型LLaMA-2-70B模型的所有參數，還可以改成多節點訓練（Multi-Node），以加快訓練速度並提升效能。目前已順利完成70B模型微調，並在國科會舉辦的『科技大擂台、與AI對話』決賽的閱讀測驗選擇題任務上，達到92.0%的正確率，已正式超越人類能力（89.6%）。現在並正準備進行180B模型微調的測試，期望未來有機會落地、進行商業部署，並延伸到原住民語大語言模型。

在9組團隊精采分享後，群聯電子與滿拓科技亦從本次發表團隊中遴選出3組優選團隊，分別是第一名台客語GenAI訓練與展望，第二名3D Channel GPT：大型語言型於無線通道預測之應用，第三名LLaMa2實踐ICLAB虛擬助教系統，致贈新台幣萬元不等的設備抵用金，希望鼓勵學界持續投入AI研究，讓本次研究成果有機會落地到產業端，進而加速推動台灣GenAI發展。