AI、5G催生CXL技術需求,已成產業界唯一介面標準 智慧應用 影音
DForum0522
Event

AI、5G催生CXL技術需求,已成產業界唯一介面標準

  • 陳其璐台北

CXL(Compute Express Link)在資料中心與伺服器領域已然成為重要的標準介面,儘管該技術出現的時間不到五年,但已經獲得了許多晶片、伺服器乃至於雲端服務供應業者的青睞,紛紛加入此一陣營。有鑑於此,記憶體模組業者SMART Modular特別就CXL舉辦研討會,邀集重要合作伙伴,一同探討CXL的技術的特色與未來發展。

SMART Modular亞太區業務開發總監洪綱懋於開場致詞時表示,此次SMART Modular針對趨勢、平台、產品、軟體與硬體等五個面向,各自邀請相關的講師來分享他們的看法,藉此全面性地了解CXL的未來發展。

就趨勢面,SMART Modular特別邀請前DIGITIMES總監黃建智分享,現今產業趨勢為何會帶動CXL的發展。由於AI與EDGE的發展,加上5G的基礎建設的普及,所以讓整體的網路速度與頻寬都有相當幅度的成長,這帶動了伺服器的設計在記憶體容量的需求大幅增加,基於這樣的背景,在既有的伺服器系統架構的限制下,要擴充記憶體的頻寬與容量的難度其實相當高,也因此在Intel的主導下,才進一步衍生出CXL的技術。

所以此次也特別邀請到Intel來探討,如何透過CXL來達成記憶體相關的技術概念。此外,SMART Modular也不免俗地提到,自家產品在CXL領域的進展,以及MSI(微星科技)與H3 Platform 創義達科技,就各自所長來分享對CXL技術的想法。

洪綱懋也特別指出,2023年除了是SMART Modular推出CXL的產品線之外,2023年也是在台灣的第十年,希望未來十年可以跟台灣客戶與伙伴有更多的配合。

SMART Modular世邁科技APAC Business Development Director 洪綱懋。DIGITIMES攝

SMART Modular世邁科技APAC Business Development Director 洪綱懋。DIGITIMES

AI與5G互相加乘,CXL將扮關鍵要角

前DIGITIMES Research總監黃建智則是跳脫出CXL的技術範疇,以AI與5G的發展動向,做為CXL技術後續發展的重要基礎。黃建智指出,過去在雲端與資料中心會被賦予機器學習與模型訓練的重任,但隨著5G的普及與邊緣運算的布署,也可以開始具備不同效能等級的模型訓練能力,藉此與雲端與資料中心互補,但另一方面,不論是邊緣運算或是終端,仍然可以進行即時推論的工作,藉此達到分散式運算的目標。

他也特別強調,5G與AI彼此之間是可以加乘發展的,5G本就可以提供更為廣泛的連結性,那AI本身也扮演各類創新應用的重要角色,尤其是從5G到6G的發展,也需要AI技術的奧援,而就AI形式的發展上,已經不再是雲端與資料中心特別著墨於模型訓練與推論,終端僅聚焦推論的作法,而是在邊緣運算與終端應用也能具備模型訓練的能力。所以不論是雲端、邊緣運算乃至於終端,這三類運算場景所要處理的AI工作,會齊頭並進發展。

黃建智認為,在AI與5G的推波助瀾之下,加速了社群網路、健康照護、製造與智慧城市等各類垂直應用的發展,資料量將會呈現暴炸性的成長,對於硬體系統的壓力測試會愈來愈重要,數據的存取與移動會更加的頻繁,對於雲端服務業者來說,他們想看到的,不外乎可以立即看到分析的結果乃至於洞見等,而CXL技術可以做到傳輸頻寬的提升、記憶體池的管理、跨主機管理,雖然只是從記憶體的面向切入,但CXL的採用,某程度也可以視為打通硬體系統的「任督二脈」的作法,對於AI與5G的發展將發揮相當重要的作用。

前DIGITIMES Research總監 黃建智。DIGITIMES攝

前DIGITIMES Research總監 黃建智。DIGITIMES

Intel以漸進式作法,將OPTANE轉向CXL

Intel(英特爾)台灣分公司商用業務總監鄭智成則是談到,CXL是Intel在2019年,找來許多業界的合作伙伴一同倡議的技術標準。在此之前,其實已有不少聯盟或是組織想做類似的工作,例如GEN Z、CCIX,這些都是想解決如何共享運算資源,例如記憶體、FPGA與ASIC等,但這些聯盟所推廣的成果仍有不少努力的空間,但Intel在2019年推動CXL,Intel觀察到有更多的合作伙伴一起加入,業界普遍認為這樣的技術一定會成功,並解決運算資源共享的問題,究其原因在於,前面所提到的組織與標準,後來也都加入了CXL,那麼既然如此,CXL的成功相信只是時間早晚的問題。

鄭智成進一步談到,當業界都加入CXL陣營後,大家就會統一用相同的標準推動其發展,就好比當時的USB與PCIe等,而CXL也會依循前例,持續發展其規格,目前Intel已經以PCIe Gen5為基礎,推出CXL1.1的版本. 但事實上,CXL的規格早已發展出CXL 3.0的規格,換言之,相關的模組業者已經可以開發出向前與向後相容的產品供業者使用,以SMART Modular為例,該公司就已經推出CXL 2.0的產品並開始支援交換器(Switch),而事實上,台灣本就是OEM與ODM的重鎮,產品當然是向全世界銷售,而基於CXL的向前與向後相容的特性,也不會面臨沒有客戶銷售的窘境。

而Intel過去就有類似的產品線扮演其角色,就是業界所熟知的OPTANE,不過Intel在去年便宣布要將OPTANE往CXL移轉,這種作法其實就是希望能讓業界享有更多CXL的好處,但鄭智成也強調,現階段OPTANE仍會持續供應給既有的客戶,所以客戶也無需擔心供貨上的問題,但CXL畢竟是業界標準,Intel也將會協助業界慢慢將OPTANE向CXL移轉。

Intel美商英特爾台灣分公司商用業務總監 鄭智成。DIGITIMES攝

Intel美商英特爾台灣分公司商用業務總監 鄭智成。DIGITIMES

SMART Modular打造完整模組產品線,為客戶提供高性價比方案

SMART Modular亞太區產品經理許哲銘則是延續前面所提,進一步就記憶體擴充的概念,分享SMART Modular在CXL相關的解決方案有哪些。一般而言,就CXL所能呈現的硬體架構,大致上可以分為三種,一是以Smart NIC與加速卡的產品加以導入,第二種則是以加速卡亦是加速晶片加上記憶體快取功能,第三種則是聚焦記憶體擴充的模組方案。

而SMART Modular主要就是聚焦於第三種模式。許哲銘指出,由於AI快速成長帶動算力提升,但過去的發展僅限於CPU與GPU等的算力,完全忽略了記憶體的重要性,傳統上的作法是一顆CPU只能搭配16條DIMM(Dual In-line Memory Module;雙線記憶體模組),在這樣的限制下,即便增加記憶體容量,其增加的成本很有可能達到五倍以上,但即便是記憶體增加,但也可能造成記憶體資源閒置的問題,基於這麼多先天所存在的問題,CXL能夠一次性地有效解決。

許哲銘表示,在既有的系統架構的侷限下,僅能透過CXL介面來進行記憶體擴充,採取的作法不外乎是用AICs(Add-in-Cards)與XMM(CXL Memory Expansion) E3.S的作法來處理,基本上就可以做到成本效率的記憶體擴充目標。他也提到,過去若是採用128GB DDR5 RDIMM的設計,成本就高達8,800美元,但改採64GB DDR5 RDIMM加上同樣擁有64GB DDR5的CXL AIC,成本可大幅下降40%。

而SMART Modular的產品線除了有E3.S、NV(非揮發性記憶體) E3.S與AICs外,另外,由於SMART Modular在記憶體市場擁有三十多年的經驗,所以也能協助客戶提供客製化產品。而在產品藍圖的部份,目前SMART Modular已經推出 E3.S與AICs的產品線,AICs預計最快會在八月份提供樣品供客戶測試,將搭載八組DDR5規格的DIMM,透過兩顆ASIC來進行控制,在2024年預計也會有新款的AICs推出。

SMART Modular世邁科技亞太區產品經理 許哲銘。DIGITIMES攝

SMART Modular世邁科技亞太區產品經理 許哲銘。DIGITIMES

因應未來需求,CXL或將帶來伺服器系統設計革命

MSI(微星科技)資深經理楊弘光則是以系統業者的視角,來探討系統業者如何使用CXL這個技術,楊弘光直言,不管CXL硬體架構是屬於哪種型態,終歸來說,關鍵因素仍在記憶體跟快取上,如何使用才是核心關鍵。

依其排列組合的不同,才會進一步衍生出三種不同的硬體架構。而依照目前業界對於CXL 3.0版本的規劃,會引進Multi Switch的概念,讓資料中心各個CPU與記憶體節點可以彼此連結。但事實上,CXL 3.0版本早在2022上半年就已經確定,除了Multi Switch的導入,也涵蓋了記憶體資源分享相關的技術。

所以也可以想見,單以CXL 2.0與3.0在資料中心的設計架構上,就會有明顯的不同,CXL 2.0的概念,還是強調記憶體池對各個CPU進行記憶體資源的擷取,但進入CXL 3.0,則是利用Multi Switch技術來連結更多的記憶體池(Memory Pool),當然這也端視整體系統設計是否需要記憶體的資源擴充,亦或是直接對外擷取記憶體池的資源即可,宏觀而言,仍端視需求而定。

不過楊弘光也表示,從資料中心的視角來看,過去伺服器系統的設計概念,因應當時的需求,衍生出如PCIe與乙太網路等技術來解決資料傳遞的概念,想當然爾,現今的技術因應未來的發展,也不見得是最適當的技術。但目前業界已經有統一的協定出現,未來有沒有可能就CPU、GPU、記憶體資源、儲存與加速運算等,各自拆分成不同的單元,透過統一的協定來彼此溝通,讓資源可以做到更好的分配。

MSI微星科技資深經理 楊弘光。DIGITIMES攝

MSI微星科技資深經理 楊弘光。DIGITIMES

H3 Platform 創義達科技執行長潘淮陽表示,過去雲端服務業者發現,記憶體資源的使用效率不彰,成為相當重要的課題,但他也認為重點不在記憶體的購買成本,所以記憶體的採購還是會增加,關鍵還是在使用效率上要如何能夠優化。而CXL要解決的,其實是300ns(毫秒)以下的應用場景,而乙太網路則是要處理5到10ms(微秒),所以兩種技術各有各自的應用情境可以發揮。

另一方面,潘淮陽也談到,傳統在機櫃所安裝的伺服器系統彼此之間可能是透過PCIe或是CXL互連,但如果將這些伺服器重新調整為可重組的節點,並且讓記憶體模組可以在系統的運作下,仍可以完成熱插拔操作,軟體環境與韌體等,必須維持穩定,且不可有任何變動。

H3 Platform創義達科技CEO 潘淮陽。DIGITIMES攝

H3 Platform創義達科技CEO 潘淮陽。DIGITIMES

宏觀來看,CXL在Intel與SMART Modular等業者的推動下,經過這幾年的發展,已是記憶體擴充與妥善分配記憶體資源的重要介面標準,隨著AI與5G的持續發展下,CXL在資料中心與伺服器的能見度也將愈來愈高,而台灣又是全球伺服器的研發與代工重鎮,CXL應能在眾多業者的推波助瀾下,成為不可或缺的重要拼圖。