啟動引擎:NVIDIA和Google Cloud合作加速AI開發 智慧應用 影音
Microchip
ADI

啟動引擎:NVIDIA和Google Cloud合作加速AI開發

  • 范菩盈台北

啟動引擎:NVIDIA和Google Cloud合作加速 AI 開發。NVIDIA
啟動引擎:NVIDIA和Google Cloud合作加速 AI 開發。NVIDIA

NVIDIA和Google Cloud宣布開展新合作,幫助世界各地的新創公司加速建立生成式人工智慧(AI)應用程式和服務。

此合作於今天在美國拉斯維加斯舉行的Google Cloud Next '24大會上宣布,將結合針對新創公司的NVIDIA Inception計劃和Google for Startups Cloud計劃,以擴大獲得雲端積分(cloud credit)、市場推廣支援和技術專業知識,協助新創公司更快地為客戶提供價值。

NVIDIA Inception是一項支援超過18,000家新創公司的全球計劃,其合格會員將能夠加速使用Google Cloud基礎設施,並獲得Google Cloud積分(credit),專注於AI的企業最高可獲得350,000美元的積分,並可用於NVIDIA DGX Cloud

Google for Startups Cloud計劃成員可以加入NVIDIA Inception計劃,並獲得技術專業知識、NVIDIA深度學習機構課程學分、NVIDIA硬體和軟體等。Google for Startups Cloud計劃的合格成員還可以參與NVIDIA Inception Capital Connect,讓新創公司能夠接觸到對該領域感興趣的創投公司。

參與這兩個計劃的高成長新興軟體製造商也可以獲得加快入駐Google Cloud Marketplace、共同行銷和產品加速支援。此次合作是兩家公司為幫助降低各種規模企業開發生成式AI應用相關成本和障礙而發布的一系列公告中的最新一項。新創公司尤其受到AI投資相關高成本的限制。

需要全端人工智慧平台

2024年2月,Google DeepMind推出Gemma,這是一系列最先進的開放式模型。 NVIDIA與Google合作,近期為Gemma在所有NVIDIA AI平台上進行了最佳化,有助於降低客戶成本,並加快針對特定領域用例的創新工作。

兩家公司的團隊緊密合作,利用NVIDIA TensorRT-LLM這個用於最佳化大型語言模型推論的開源庫來加速 Gemma在NVIDIA GPU上運行時的效能,Gemma採用與建立Google DeepMind迄今為止功能最強大的模型Gemini相同的研究和技術。

NVIDIA NIM微服務是NVIDIA AI Enterprise軟體平台的一部分,它與Google Kubernetes Engine(GKE)一起為開發AI驅動應用程式以及將最佳化的AI模型部署到生產環境提供了簡化路徑。NIM基於 NVIDIA Triton推論伺服器和TensorRT-LLM等推論引擎構建,支援各種領先的AI模型,並提供無縫、可擴展的AI推論,以加速企業中的生成式AI部署。

包括Gemma 7B、RecurrentGemma和CodeGemma在內的Gemma系列模型可從NVIDIA API目錄中獲得,使用者可以透過瀏覽器進行試用,使用API端點進行原型開發,並使用NIM進行自主託管。

透過GKE和Google Cloud HPC工具套件,Google Cloud讓使用者可以更輕鬆地在其平台上部署NVIDIA NeMo架構。這使得開發人員能夠自動化和擴展生成式AI模型的訓練和服務,使他們能夠透過可客製化的藍圖快速部署完整的環境,加速開發流程。

作為NVIDIA AI Enterprise的一部分,NVIDIA NeMo也可在Google Cloud Marketplace中取得,為客戶提供了另一種輕鬆存取NeMo和其他架構以加速AI開發的方式。

為了進一步擴大NVIDIA加速的生成式AI運算的可用性,Google Cloud也宣布A3 Mega將於下個月全面上市。這些執行個體是其A3虛擬機器系列的擴展,由NVIDIA H100 Tensor核心GPU驅動。新執行個體將使A3虛擬機器的GPU到GPU之間網路頻寬增加一倍。

Google Cloud A3上的新機密運算虛擬機器還將包括對機密運算的支援,以幫助客戶保護敏感資料的機密性和完整性,並在訓練和推論過程中保護應用程式和AI 工作負載,且使用H100 GPU加速時無需更改程式碼。這些由GPU驅動的機密運算虛擬機器將於2024年以預覽版的形式提供。

下一步:基於NVIDIA Blackwell平台的GPU

NVIDIA Blackwell平台為基礎的NVIDIA最新GPU將於2025年初導入Google Cloud,共有兩種版本:NVIDIA HGX B200NVIDIA GB200 NVL72

HGX B200專為最嚴苛的AI、資料分析和高效能運算工作負載而設計,而GB200 NVL72專為下一前瞻、大規模、兆級參數的模型訓練和即時推論而設計。

NVIDIA GB200 NVL72連接36個Grace Blackwell超級晶片,每個超級晶片配備兩個NVIDIA Blackwell GPU,並透過900GB/s 晶片間互連連接一個NVIDIA Grace CPU,在一個NVIDIA NVLink域內支援多達72 個Blackwell GPU以及130TB/s 的頻寬。與上一代產品相比,NVIDIA GB200 NVL72克服了通訊瓶頸,並作為單一 GPU運行,即時大型語言模型的推論速度提高了 30 倍,訓練速度提高了4倍。

NVIDIA GB200 NVL72是一款多節點機架規模系統,將與Google Cloud第四代先進液冷系統結合。

NVIDIA 2024年3月宣布,提供企業開發人員使用、針對生成式AI需求進行最佳化的AI平台NVIDIA DGX Cloud目前已可在由 H100 GPU驅動的A3虛擬機器上使用。搭載GB200 NVL72的DGX Cloud也將於2025 年在Google Cloud上提供。