NVIDIA協助台灣伺服器ODM廠開發GPU驅動的資料中心產品

NVIDIA HGX參考架構。

人工智慧(AI)受惠於相關領域的積極發展，近年來已更加成熟，應用範圍亦日漸廣泛，包括自動駕駛、機器人和語音助理平台。 NVIDIA是AI技術發展的先驅，尤其是在GPU平行運算方面的專業技術，更使其躋身為深度學習硬體領導供應商。

GPU原本只是在電玩遊戲和好萊塢電影中創造虛擬世界、刺激人類想像力的引擎，不過自1999年後歷經20年的發展，現在NVIDIA的GPU已能模仿人類的聰明才智，執行深度學習運算，擔負起電腦、機器人和自駕車大腦的角色，感知並理解我們所在的世界。

NVIDIA副總裁暨加速運算部門總經理Ian Buck在被問及「什麼是AI」、「AI能做到什麼」時說道：「我們應該把AI視為運算的新方式。」 AI 之所以在過去10年來漸漸為世人所知，是因為這項技術取代了傳統的演算法， AI不需等待人類給予明確的指令，其神經網路便能自行從資料當中推演出演算法。」

Buck說明：「只要給圖像網路幾百張某個物體的圖像，它就能透過自我學習找出最有效率的方法，偵測出該物體。這其實是一種新的運算方式，不再需要人工寫程式碼，而是讓AI自己推演出程式碼」。

NVIDIA於Computex 2017宣布與台灣伺服器大廠鴻海科技(富士康)、英業達、廣達電腦及緯創建立夥伴關係，開發GPU導向的資料中心產品，瞄準AI雲端運算硬體市場。

NVIDIA將優先提供上述伺服器大廠基於和微軟Olympus 計畫、 Facebook Big Basin系統和NVIDIA DGX-1 AI超級電腦相同的HGX參考架構，以及其GPU運算技術和設計指南，協助他們開發超大規模(Hyperscale)資料中心的GPU加速系統。

Buck指出：「透過建立合作關係，伺服器廠商可以選擇他們希望怎麼設計資料中心伺服器系統的結構，以及他們希望採用什麼部件來達到產品差異化，並為客戶提供附加價值。NVIDIA的工程師將持續與伺服器廠商密切溝通，確保他們在硬體建構方面獲得必要的支持，協助他們在最短的時間內開發出資料中心伺服器系統，並且讓產品快速上市。」

NVIDIA深知客戶希望他們的伺服器產品能在規格和冷卻方法等方面獲得專屬客製化服務，因此與ODM廠合作，打造使用NVIDIA HGX-1 架構的產品。

NVIDIA解決方案架構與工程部門副總裁Marc Hamilton也詳細介紹了 NIVDIA的最新技術。他指出：「HGX參考設計(HGX reference design)的誕生，是針對需要高效能、高效率和可擴充性的雲端資料中心伺服器。當ODM廠在設計他們的雲端運算資料中心伺服器時，也可以藉此作為基礎架構。」

Hamilton補充說明：「標準的HGX設計架構包含8個SXM2封裝的NVIDIA Tesla GPU加速器，透過NVIDIA NVLink高速互連與優化的PCIe 技術串接成立方網格(Cube Mesh)。透過模組化設計， HGX機組適合部署在全球各地現有的資料中心機架，並可隨時依照需求採用超大規模CPU節點。」

不過這並非是NVIDIA首次與伺服器廠商攜手合作。早在2017年3月初， NVIDIA便宣布與微軟合作，推出全新專為驅動人工智慧雲端運算的超大規模GPU加速器藍圖：全新HGX-1。

這是一款結合微軟Project Olympus開源設計的超大規模GPU加速器。該全新架構設計是為了滿足如自動駕駛、個人醫療照護、人類語音辨識、數據與影像分析以及分子模擬等對於AI雲端運算技術有爆炸性需求的領域。

NVIDIA相信，雲端作業將變得比以往更加多樣化且複雜。不過，不論作業負載量多大， HGX-1的高度模組化設計使其能以最佳的效能運行。

同時， HGX-1提供較傳統基於CPU的伺服器快達100倍的深度學習效能，執行AI訓練和推論(Inferencing)的成本卻僅佔過去的五分之一和十分之一。HGX-1透過與全球各地資料中心合作的高度彈性，提供目前用於超大規模資料中心的AI領域快速且簡單的途徑。

Buck指出NVIDIA目前對於AI市場的兩大貢獻，其一是在資料中心，許多終端裝置必須向資料中心回傳訊息才能得到答案，而 NVIDIA 長久以來專注於發展AI技術，並訓練神經網路學習新事物。

NVIDIA也與夥伴一同合作開發軟、硬體，並提供CUDA、cuDNN、TensorRT等工具包，不管是主流架構或其他應用皆可輕易地使用，加速AI技術的發展與相關研究。

其二是用於各類裝置的GPU，自動駕駛系統便是一例。單靠資料中心是沒辦法讓車子順利行駛的，此應用勢必得在車上裝載超級電腦。 NVIDIA 擁有多種解決方案，包括 Jetson 嵌入式平台與使用於資料中心的GPU，皆可應用在超級電腦中。

微軟、NVIDIA和鴻海子公司鴻佰科技(Ingrasys)共同打造HGX-1平台的架構與設計，此為開放資源，是微軟Project Olympus對於「開放運算計畫」(Open Compute Project)所作的貢獻，其目標是將開源效益應用於硬體上，並迅速提高資料中心內外的創新腳步。

為了進一步提升HGX平台的效能， NVIDIA於2017年5月初在NVIDIA GTC大會上發表最新GPU運算架構Volta，專為促進下一波AI技術進步與高效能運算而設計。首款基於Volta的處理器「NVIDIA Tesla V100 資料中心GPU」，能夠為AI推論與訓練帶來優異的速度與可擴充性，並加速HPC與繪圖作業。

Hamilton說明：「NVIDIA第七代GPU架構Volta擁有210億個電晶體，可達到等同於100顆CPU執行深度學習應用的效能。」

Volta的最高兆次浮點運算(TFLOPS)效能較NVIDIA前一代Pascal架構GPU快5倍，與2年前推出的Maxwell架構相較則快15倍。此效能提升的幅度是比摩爾定律所作預測的超出4倍以上。隨著網路日趨複雜，資料中心也需要提供比以往優異許多倍的處理效能。其也必須有效擴大規模，以因應快速普及基於AI的高精準度服務，譬如自然語言虛擬助理，和個人化搜尋與建議系統。

Volta將成為高效能運算的新標準。該架構為HPC系統建構了技術平台，使其能在電腦科學與資料科學方面的洞察表現超群絕倫。藉由在統一架構中搭配CUDA核心與最新Volta Tensor核心，採用Tesla V100 GPU的單一伺服器便能取代傳統HPC中數以百計的商用GPU。

包含Tensor核心在內的技術都是為了加快AI作業而設計。Tesla V100 GPU配備640個Tensor核心，每秒可提供120兆次浮點運算的深度學習效能，相當於100顆CPU。進化後的NVLink提供次世代高速互連技術連接GPU，也連接GPU和CPU，且輸送量與前一代NVLink相比最高可達2倍。

與三星(Samsung)合作開發的GPU可支援900GB/s HBM2 DRAM，使該架構的記憶體頻寬較前一代GPU高出50%以上，是Volta達到超高運算輸出效能的功臣。NVIDIA Tesla P100和V100 GPU加速器皆與HGX相容，因此基於HGX的所有產品都可以立即自P100升級至V100 GPU。

有了基於 NVIDIA Volta架構的GPU提供比前代高出3倍的效能， ODM廠便能推出基於最新NVIDIA技術的新產品，滿足市場需求。對於希望採用最新NVIDIA GPU雲端平台的雲端供應商來說，HGX是最理想的參考架構。NVIDIA GPU雲端平台管理了各項全面整合且優化過後的深度學習架構，包括 Caffe2、Cognitive Toolkit、MXNet和TensorFlow。

Buck指出：「 NVIDIA在不同領域都觀察到AI應用正經歷高度成長。」他並補充說明：「市場對於超大規模雲端、傳統OEM與AI支援之個人工作站有高度的興趣。 AI開發商與研究機構，對於消費性高端個人電腦(PC)和筆記型電腦的需求也不斷提高。」

Buck表示：「目前主要的公共雲端運算服務供應商皆已採以GPU驅動的資料中心伺服器來因應其運算需求，而促進此趨勢發展的背後推手則是AI技術。」

而此現象亦呼應了最新的市場趨勢。 2016年，鑒於全球伺服器需求，台灣伺服器營收較前一年成長了4.8% ，達新台幣5,558億(186億美元)。

隨著亞馬遜 (Amazon)、 Google、 Facebook和微軟等資料中心客戶的訂單可望進一步增加，此金額預計將在2017年成長至新台幣 5,886 億。隨著市場對於搭載AI技術的產品如機器人、智慧語音助理和自動駕駛解決方案需求看漲， GPU導向的資料中心伺服器在產業界可望大受歡迎。

儘管還有許多AI相關應用尚未完全成熟，但是過去幾年來此領域依舊商機看俏。有了 NVIDIA的積極投入和協助，尤其是在軟體方面的貢獻， AI可望成為IT產業新的成長引擎，也是台灣硬體廠商可積極開拓、把握新契機的產業方向。