LLM商機外溢 AI新創雨露均霑

人工智慧（AI）熱潮因NVIDIA創辦人黃仁勳來台而再創高峰，供應鏈大廠和新創雨露均霑。COMPUTEX 2023展會中可看到AI新創遍地開花；有業者貼合大型語言模型（LLM）的趨勢推出客製化服務，也有業者善用GPU與AI晶片的差別優勢，開發影像辨識相關方案。

ChatGPT帶動生成式AI（Generative AI）熱潮，不僅GPU、伺服器代工業者受惠，軟體和資訊服務業者也感受到新一波商機湧現。

滿拓科技行銷長楊育明即表示，許多客戶盼擁有自己的語言模型，而非依賴ChatGPT，並希望成本在可控範圍。「對生成式AI有疑慮的階段已經過了，現在重點是要找誰做，」他說。團隊可運用台灣智慧雲端（台智雲）或其他業者開發的模型，開發相關解決方案，從雲端到邊緣、軟硬整合一站式部署。

台智雲日前宣布運用超級電腦台灣杉二號，建立出與GPT-3.5模型同級、且是台灣首個高達1,760億參數的福爾摩沙大模型。

楊育明表示，依據客戶需求，LLM可部署在台智雲的雲端伺服器、客戶私有雲、或邊緣裝置。現場攤位展示裝有賽靈思（Xilinx）FPGA板的電腦，機殼由艾訊製作。部署在此邊緣裝置端的模型參數量約130億。

然微軟（Microsoft）也提供Azure OpenAI服務，其他新創還有何機會？楊育明認為，「市場不會被一兩家公司所獨佔。」微軟的服務確實相當完整，但應會優先服務自家產品生態系，因此可為單一廠商客製化的程度有限，且並非所有企業都可接受微軟的價格。

楊育明觀察，零售、金融、教育、觀光、醫療等產業皆出現應用生成式AI的需求，許多企業也希望提升內部生產力工具的效率。他坦言，目前客戶端的需求已大於團隊可服務的能量。

另一方面，從陽明交大衍生的新創峻魁智慧，主打嵌入式AI技術開發、先進駕駛輔助系統（ADAS）應用，現場使用NVIDIA Orin裝置驗證影像辨識效果。

峻魁智慧營運長蘇培陞表示，團隊以軟體開發為主，可選擇NVIDIA GPU或其他晶片為客戶設計出最佳方案，例如也使用到芯鼎科技、耐能智慧、安霸（Ambarella）的晶片。

他分析，GPU功能強大，但價格和耗能也較高，在邊緣端的運算使用AI晶片較有效益。影像辨識一般會用到卷積神經網路（CNN）或Transformer模型，但目前並非所有晶片都可支援Transformer運算，軟體開發也會受到限制。

此外，時代基金會的新創加速器Garage+率領37家新創參展，其中許多團隊主打AI和數據分析技術，背景也相當多元。來自日本的Hacarus主打影像瑕疵檢測技術，來自南韓的Nearthlab發展無人載具相關軟體，皆有意開發台灣市場商機。

由義大利人和台灣人共同創立的Bubbleye，以AI演算法整合不同行銷和廣告平台的數據，特殊的團隊基因也讓他們快速打入國際市場。