台智雲一站式AI算力地端部署 助企業創建可信賴AI
在各大領域勢如破竹的生成式AI,已成為產業推動升級轉型的驅動力,吸引愈來愈多企業將此技術融入新4P的核心競爭力,以達成賦能員工與客戶(People)、優化營運流程(Process)、創新產品與服務(Product),進而在市場上重新取得企業定位(Position),實現彎道超車。
儘管多家公有雲業者均有推出生成式AI服務,然而對於受到法規嚴格監管的金融、醫療產業,或擁有大量研發機密的高科技產業等,在考量「資料隱私與安全」、「簡化營運流程」、「產品與服務優化」、「長期成本效益」等因素之後,泰半紛紛選擇打造專屬AI資料中心。即在公司內部部署大語言模型,以落實關鍵隱私保護,高效重塑企業新4P,佈建競爭壁壘。
台智雲觀察到企業對於將資料上傳到雲端平台進行訓練與推論,保持憂心的態度,擔心資料會成為被訓練的一部分,導致重要商業機密外洩。因此愈來愈多企業選擇打造專屬AI資料中心,兼顧機密資料保護與推動AI專案需求。而台智雲的AFS POD服務,可大幅縮短建置AI資料中心所需時間,並運用多樣的AI管理工具,精確使用AI資源,促進創新落地。
一站式完整服務 打造AI資料中心最佳方案
在符合法規要求、保護機密資料安全、提升企業競爭力等因素下,企業打造專屬AI資料中心的意願非常高,但也面臨人才不足、經驗欠缺,建置過程冗長等挑戰。全球AI人才缺口達百萬以上,企業需要經驗豐富的外部合作夥伴協助降本增效,減少踩坑,而台智雲在GPU雲端算力服務領域耕耘長達6年以上,是台灣少數能提供從AIHPC到生成式AI解決方案的公司;且台智雲與母公司華碩集團合作,積極開發國內外市場,能為企業帶來最豐沛的合作資源與方案。
台智雲推出的AFS POD服務,整合伺服器、機櫃、系統電力散熱、資料中心網通儲存、AI算力資源管理、企業應用串接等一站式服務,能提供24/7企業服務等級(SLA)的客服技術支援,有效幫助企業縮短建置與維運AI資料中心的時間與成本。
許多企業與外部夥伴合作推動AI資料中心專案,從初期規劃到最終上線,往往需要1~2年時間,衍生AI設備閒置的成本浪費。相較之下,台智雲擁有非常豐富的系統建置經驗,加上華碩集團對ASUS伺服器品質、保固、與客服的強大支援,可依據企業需求,選擇NVIDIA、AMD或其他合適的GPU/CPU,因此AI資料中心上線時間最快可縮短到8周完成,讓企業寶貴預算發揮最大效益。
在維持AI資料中心穩定運作的前提下,台智雲具備設計液冷、後門冷卻(RDHE)等基礎架構技術,並針對大規模AI和HPC運算需求,規劃一套高效能的儲存和IB/ETH高速網路與平台架構,以滿足大量資料存取需求,同時提升能源使用效率(PUE)。
至於企業最在意的資安保護,台智雲也可協助建置符合安全規範的基礎架構與平台服務,在雲端網路隔離、虛擬化外,也可提供入侵偵測與故障快速回復功能規劃。此外,台智雲也提供24/7客戶服務、專家技術支援服務等選項,助用戶熟悉如何維護資料中心運作。
客製化部署大語言模型 加速AI專案落地
針對全球瘋搶AI人才,台智雲考量到多數企業缺乏足夠的AI團隊,所以無論是AI 1.0的MLOps開發或是AI 2.0的生成式AI模型應用,均有提供無代碼軟體平台,協助企業流程優化,提高整體營運效益。透過台智雲MLOps平台,可降低AI專案推動過程難度,讓團隊快速將想法落地,輕鬆管理AI專案生命週期,提升團隊生產力。對於雲端服務業者最在意的多租戶與資源管理部分,台智雲也支援多節點、多租戶的安全環境。
「在生成式AI服務與應用部分,考量到企業應用需求迥異,台智雲可協助用戶客製化部署大型語言模型、進行推論,以滿足智慧金融、智慧製造、智慧醫療等多個垂直領域需求。」台智雲策略長李立國解釋:「在大語言模型部分,我們可針對不同應用需求提供彈性選擇,除了完成繁體中文強化訓練的「福爾摩沙大模型」(Formosa Foundation Model;FFM)系列:涵蓋Llama、CodeLlama和Mistral等,還有各種參數量的主流大語言模型,滿足用戶創新發展與加速落地。」
AFS POD服務結合AI生態圈 成功案例持續增加
台智雲推出AFS POD服務至今,已在生技醫療、製造業、金融業等不同產業,助企業打造專屬大數據資料中心。如偕同華碩集團協助長庚醫院建置AI推論雲平台,目前已順利推動醫療影像X光、超音波、EKG心電圖類等12個AI模型和LLM生成式AI小助手,運用醫療影像儲存系統資料打造AI診斷輔助,提升醫療診治效率、準確性,也可強化病人照護品質和增進醫病關係。
同時,台智雲非常積極經營AI生態圈,成立自有AI超算加速器,為AI新創企業提供完善商業發展資源和技術支持,短短2年內就吸引超過60家新創企業加入,與生態圈夥伴共創豐富的AI應用解決方案。台智雲AI超算加速器計畫執行長周秉輝指出,「當企業引進AFS POD服務時,我們也能依照用戶需求介紹合適的AI新創團隊,協助運用生成式AI技術整合企業內部知識庫,進而達到改善流程、提高營運效率。又或者透過建立AI智能客服,優化客戶體驗、提升銷售量等。台智雲將全力扮演企業和新創搭建創新合作的橋樑,加速推動AI導入與轉型,進而取得競爭優勢。」
生成式AI正快速改變全球產業版圖,企業推動AI專案的速度將決定在市場上的競爭力,台智雲AFS POD服務不光降低企業建置AI資料中心的總持有成本(TCO) ,還能提升資源使用效率、並降低維運費用,更是實踐賦能員工與客戶、營運流程優化、產品創新,在市場上取得企業定位的最佳方案。