NVIDIA在MLPerf人工智慧基準測試中將推論推向新高度
- 范菩盈／台北
-
NVIDIA 創辦人暨執行長黃仁勳表示：「三年前當我們推出A100的時候，人工智慧領域主要是以電腦視覺為主導。生成式人工智慧已經來臨。這正是為什麼我們打造了Hopper，針對擁有Transformer引擎的GPT進行了優化。今天的MLPerf 3.0凸顯出，Hopper的效能是A100的4倍。下一世代生成式人工智慧需要新的人工智慧基礎架構來訓練大型語言模型，並同時具備極高的能效。客戶正在大規模擴展Hopper，透過NVIDIA NVLink和InfiniBand來互通連接數萬個Hopper GPU構建人工智慧基礎架構。產業正努力發展安全可靠的生成式人工智慧，Hopper能夠協助實現這項重要的工作。」
在最新一輪的MLPerf測試中，運行於DGX H100系統中的NVIDIA H100 Tensor Core GPU在每個人工智慧推論測試中均實現了最高效能。人工智慧推論是在生產過程中運行神經網路的工作。歸因於軟體的優化，此GPU的效能較2022年9月首次亮相時提升了54%。而在醫療保健領域，H100 GPU自9月以來在醫療成像的MLPerf基準3D-UNet （醫學圖像分割）上實現了31%的效能成長。
憑藉其Transformer引擎，基於Hopper架構的H100 GPU在BERT方面表現優異，BERT是基於Transformer的大型語言模型，是現今生成式人工智慧獲得廣泛應用的關鍵基礎。
生成式人工智慧能讓使用者能夠快速創建文本、圖像、3D模型等，這種能力從新創企業到雲服務提供商都在快速採用，以開創新的商業模式並加速現有商業模式的發展。目前數億人正在使用像ChatGPT這樣的生成式人工智慧工具（也是一種Transformer模型），期望獲得即時回應。
在這個人工智慧的iPhone時代，推論的效能至關重要。深度學習現在幾乎被應用到個個領域，從工廠到線上推薦系統，對推論效能有著永無止境的需求。
L4 GPU速度出眾
NVIDIA L4 Tensor Core GPU在MLPerf測試中首次亮相，其速度是上一代T4 GPU的3倍以上。 這些加速器採用低調外形封裝，其設計旨在為幾乎所有伺服器提供高吞吐量和低延遲。L4 GPU運行所有MLPerf工作負載。 由於他們支援關鍵的FP8格式，他們在效能要求極高的BERT模型上的結果尤其令人驚嘆。
除了出色的人工智慧效能外，L4 GPU還能提供高達10倍更快的圖像解碼速度，高達3.2倍更快的影片處理速度以及超過4倍更快的圖形和即時渲染效能。兩周前的GTC上即宣布，已可從主要系統製造商和雲端服務供應商獲得這些加速器。L4 GPU是NVIDIA在GTC推出的最新人工智慧推論平台產品組合的最新成員。
軟體和網路在系統測試中大放異彩
NVIDIA的全棧人工智慧平台在新的MLPerf測試中展現了其領先地位。所謂的網路劃分基準測試會將資料流傳輸到遠端推論伺服器，這反映了企業使用者在雲端執行AI工作，並將資料儲存到企業防火牆後的常見場景。
在BERT測試中，遠端NVIDIA DGX A100系統的表現達到了其最大本地效能的96%，速度變慢的部分原因是它們需要等待 CPU完成某些任務。而在僅由GPU處理的ResNet-50電腦視覺測試中，它們達到了100%的最佳表現。這兩個結果在很大程度上要歸功於NVIDIA Quantum Infiniband網路、NVIDIA ConnectX SmartNIC和NVIDIA GPUDirect等軟體。
Orin在邊緣顯示3.2倍的效能提升
另外，NVIDIA Jetson AGX Orin系統模組的能效和效能表現，與前1年的結果相較，分別提高了63%和81%。Jetson AGX Orin可在有限空間以低功率水平（包括僅由電池供電的系統）提供人工智慧推論。對於需要更小模塊且功耗更低的應用，Jetson Orin NX 16G在其首次亮相的基準測試中表現出色。它提供的效能比上一代Jetson Xavier NX處理器高出多達3.2倍。
廣大的NVIDIA AI生態系
輪有10家公司在基於NVIDIA平台上提交了結果。 他們來自Microsoft Azure雲端服務和系統製造商，包括像是由華碩（ASUS）、戴爾科技集團（Dell Technologies）、技嘉（GIGABYTE）、新華三集團（H3C）、聯想（Lenovo）、寧暢信息產業（北京）有限公司（Nettrix）、美超微（Supermicro）和超聚變數位技術有限公司（xFusion）。
它們的測試結果顯示，無論是在雲端或在用戶自己的資料中心伺服器上，使用NVIDIA AI 獲得絕佳效能。
NVIDIA的合作夥伴深知，MLPerf 是一項讓客戶用於評估 AI 平台及供應商的寶貴工具，因此才會加入測試。最新一輪的結果顯示，他們如今提供給用戶的出色效能，將隨著NVIDIA平台的發展而更將持續強化。
使用者需要多樣化的效能
NVIDIA AI是唯一能在資料中心和邊緣運算中執行所有MLPerf推論工作負載和情境的平台。其多功能的效能與效率，讓使用者成為真正的贏家。
現實應用通常使用許多不同類型的神經網路，這些神經網路通常需要即時提供出答案。例如，AI 應用可能需要理解使用者的口語請求，對圖像進行分類，進行推薦，然後以類人聲的語音傳遞回應。每個步驟都需要不同類型的 AI 模型。MLPerf基準測試涵蓋這些和其他常見的AI工作負載。也就是這些測試何以確保IT決策者能獲得既可靠且可以靈活部署的效能。
使用者可依據MLPerf結果做出明智的購買決定，因為這些測試是透明和客觀的。 這些基準測試得到了包括 Arm、百度、Facebook AI、Google、哈佛、Intel、微軟、史丹福和多倫多大學在內的廣大團體支持。
欲知更多關於 NVIDIA MLPerf 效能與效率提升的優化技術，歡迎瀏覽官網。
