力麗科技攜手戴爾 以AI Factory搭建企業智慧轉型最速捷徑
現今人工智慧(AI)浪潮席捲,以前所未見的速度改變商業世界勝負規則;驅使企業急欲建構如同「人工智慧工廠」的機制,期望加速AI應用開發,從而在這場變革中搶先躋身勝利組。
為此力麗科技攜手Dell Technologies戴爾科技集團,於日前擧辦「AI戰力,神速就位 – 把AI帶入您的資料」論壇,希冀帶領企業掌握AI時代所需技術與服務,一步到位打造專屬AI工具箱,運用資料開創業務創新價值。
力麗科技系統服務事業部副總經理張榮城表示,當前AI浪潮湧向全球,不論產業競爭乃至人們日常生活,觸目所及盡是AI;因此借重戴爾及其生態系夥伴APMIC亞太智能機器的顧問專家分享經驗與技能,協助企業隨需打造各種智慧應用場景。
善用Dell AI Factory,加速肇建創新大局
戴爾科技集團技術副總經理梁匯華指出,戴爾提出的AI工廠,是一個端到端創新方案,可幫助企業加速採用AI並提高生產力;它全面整合戴爾的運算、儲存、軟體與服務功能,支援從模型建立到推論各種AI應用,以利企業將數據轉化為有價值的見解與成果,快速實現AI投資報酬。
談及AI實踐,需要算力、資料與模型三者到位並形成閉環,此即為AI金三角概念,其間有賴好的網路居中串聯,藉此建立大規模訓練和推論環境。
正所謂萬事起頭難,企業不管要啟動AI或GenAI專案,務求先確立Use Case,有了目標,後續即能準確執行人力、技術、營運等種種資源配置。
以戴爾為例,主要藉由4個Pillar來構築自家AI拼圖,箇中邏輯值得企業學習。一是將AI放入既有產品;二是確保產品可承載AI活動;三是將AI融入產品和服務的Portfolio;最後讓AI與客戶連結,透過AI立即掌握客戶需求,自動連動到銷售、報修等相關行為。藉由這四個方向發展AI的Use Case,接著再利用AI Factory付諸實踐;其中需要藉助Lakehouse集中收容數據,亦利用戴爾獨有的AI-driven Infrastructure完成平台搭建。
顯見對有志發展AI的企業來說,最重要就是定義Use Case,簡言之便是找出兼具高商業價值、高可行性的場景。如何挖掘場景,固然考驗企業本身功力,但戴爾亦可助一臂之力,援引其新加坡資料科學團隊能量,協助客戶進行商業價值與可行性分析,先找出潛在Use Case,再提供4~8週顧問甚至開發服務,確認Use Case發展目標,再根據相關Workload檢視所需運作資源,然後打開戴爾AI Factory形塑的「潘朵拉盒子」,把諸如DDAE(Dell Data Analytics Engine)資料分析引擎等經過戴爾驗證的必要工具帶起來,快速建構資料中台,形成企業專屬端到端的AI Factory。
援引高速算力與現代湖倉,優化模型訓練與微調
接著由來自戴爾、亞太智能機器(APMIC)的專家依序開講,接力闡釋AI Factory中各個關鍵拼圖。戴爾科技集團資深解決方案架構師葉恩任表示,基於安全存取、通用性、準確性/控制/定製、成本、數據停留位置等綜合考量,現今企業多採自建方式導入LLM,因而需要因應生成式AI從無到有發展階段,部署對應基礎建設,順利支撐模型增強(RAG)、模型微調(Fine-tuning)等必要工序。
針對算力,戴爾提供各式運算設備,包含可支持逾175B參數的XE系列GPU伺服器,其中XE9680足以媲美NVIDIA DGX的運算效能,且以400/800GbE 乙太網路做為Back End連接,以利企業能以遠低於InfiniBand的建置成本實現超高IOPS與Throughput。
亞太智能機器(APMIC)執行長吳柏翰,分享如何以其CaiGunn繁中語言模型助力加速LLM私有化。他強調今後欲開發多模態GenAI應用,勢必需要藉助70B以上的模型,訓練過程所需動用的H100 GPU數量有增無減。
經測試證實,欲訓練一個1B模型,需準備1兆Tokens,動用256張H100,預估投注新台幣3.8億經費。反觀若基於CaiGunn做Fine-tuning,預算需求驟降為1,600萬元,Tokens需求驟減至1,000萬個,足見其核心價值即是大幅降低企業AI應用門檻。
擔綱壓軸演講的戴爾科技集團資深產品業務協理徐志良,述說實作GenAI的最佳資料整合與儲存策略方案。包括藉由PowerScale優化AI模型訓練及微調,同時提供新世代數據中台結合Lakehouse湖倉一體方案,有效整合企業內眾多數據源。
所謂湖倉是結合數據湖與數據倉儲,形成全新統一體系架構,解決數據孤島問題。其底層採用平行分散式S3平台,具備絕佳擴展性;再結合數據虛擬化或稱數據聯邦技術,為前端各類AP提供接口。為此戴爾以其DDAE引擎整合Starburst的多元Data Connector,組成現代化湖倉,滿足AI Factory版圖中至關重要的一環。
總括來說,戴爾全面支持現代資料中心、資料倉湖、多元模型,並串聯諸如APMIC等第三方ISV工具,得以淬鍊成完整AI Factory方案,使企業化繁為簡迅速將AI/ML與GenAI能量注入資料當中。