NVIDIA持續發表新世代GPU 滿足企業用生成式AI實現創新營運

無界創新、未來企業的數位日常-零壹科技數位主題策展特別邀請NVIDIA資深協理康勝閔擔任名人堂講師，分享GPU效能對於AI模型帶來的效益，以及企業如何評估合適的GPU方案，協助產業迎接全新的超高運算時代。零壹科技

致力扮演臺灣數位轉型最佳夥伴的零壹科技，為助企業更了解生成式AI的魅力與趨勢，在2024年「無界創新、未來企業的數位日常-零壹科技數位主題策展」特別邀請 NVIDIA資深協理康勝閔擔任名人堂講師，分享GPU效能對於 AI 模型帶來的效益，以及企業如何評估合適的GPU方案，協助產業迎接全新的超高運算時代。

隨著生成式AI浪潮席捲全球，在甫落幕的NVIDIA年度盛會「GTC 2024」中，NVIDIA發表採用全新Blackwell架構的AI GPU晶片-GB200。此款產品採臺積電客製化4奈米製程、支援FP4 AI的第二代 Transformer Engine，能與第五代 NVIDIA NVLink 結合使用，相較於現行NVIDA H100晶片，在大語言模型推論速度加快30倍、模型訓練加快4倍、能源節省達25倍。

NVIDIA資深協理康勝閔指出，自從Open AI發表ChatGPT之後，於各領域之中展現應用可提升工作效率與品質的能力之後，不光帶動一股生成式AI浪潮，也提升GPU運算對於產業的重要性。多年前，我們即認為單一GPU伺服器勢必難以滿足AI應用服務的算力需求，將會需要多臺GPU伺服器之間協同運算創造足夠算力。為此，我們推出用 NVIDIA NVLink 和 NVLink Switch，可將上百顆GPU晶片整合成專為AI設計的高效能運算平臺，藉此達到大幅縮短AI模型訓練與推論的時間。

NVIDIA NeMo雲端原生框架 加快大語言模型部署速度

鑑於推動大語言模型AI專案時需要極大算力，若自行打造往往需要時間建構龐大的算力，影響到專案推動的時間性，所以不少企業都會先選擇使用公有雲平臺上的AI服務，爭取時間創造專案效益。因此，NVIDIA與多家公有雲業者深入合作，提供完整與一致的開發工具，面對多樣化的AI專案提供完整的開發工具，滿足不同產業用戶的需求。而NVIDIA在持續投入高效能GPU晶片之外，也協助持續投入的公有雲業者規劃與建構高效能的生成式AI運算環境。

康勝閔說，我們推出的NVIDIA NeMo  Framework是幫助開發者從端到端協助生成式AI大語言模型從訓練、自訂到部署的框架，幫助開發者不論使用雲端運算資源、資料中心和邊緣等地運算資源，採用一致的工具幫助生成式AI的開發與部署。藉此技術可縮短開發生成式AI過程中遇到的種種困難，並快速訓練、自訂與部署大型語言模型的速度，進而提高企業的投資報酬率。NVIDIA NeMo框架包含訓練和推論優化與框架、防護工具組、資料清理工具和預先訓練模型，企業能依照自身需求與預算，運用生成式AI於生產環境中推動各種專案。

另外，為協助更多臺灣企業推動生成式AI專案，NVIDIA在GTC 2024大會上宣佈，於NVIDIAAI Enterprise 5.0平臺中新增數十款生成式AI推論微服務（NVIDIA Inference Microservice；NIM），這些微服務為語言、語音和藥物發現等領域提供了符合產業標準的應用程式介面（API），讓開發人員能夠使用安全託管在自己基礎設施中的專有資料快速開發人工智慧應用程式。這些應用程式可以依使用需求調整規模，為在 NVIDIA 加速運算平台上運行生成式人工智慧提供了絕佳的靈活性和效能。

在研發AI晶片高速網路、軟體方案之外，NVIDIA也將與零壹科技等夥伴深入合作，協助臺灣產業建立適合生成式AI專案的資料中心，乃至於培育更多AI人才，助產業運用AI技術維持在市場上的領導地位。
零壹科技與NVIDIA有深厚合作關係，並代理全系列NVIDIA產品線，結合完整的顧問與技術支援服務，是企業運用生成式AI提升工作效率、強化在商業環境競爭力的最佳夥伴。

更多產品資訊，請洽零壹科技