AI晶片兩大新戰場浮上檯面 記憶體、網通巨頭齊聚SEMICON
- 劉憲杰／台北
-
AI晶片歷經了一年多的熱潮，現在市場對於AI模型和晶片算力之間的關聯有更多的理解，在此之中，有兩個新戰場被視為是雲端生成式AI的關鍵瓶頸，近期正吸引更多廠商加速開發新產品並推進到市場，其一是高頻寬記憶體（HBM），其二則是高速傳輸技術。
這兩項技術被視為是讓AI晶片及雲端運算系統達到更高運作效率的關鍵，值得注意的是即將開展的2024年國際半導體展（SEMICON 2024）各類論壇的講者當中，不像往年都是NVIDIA、超微（AMD）等運算晶片大廠掛帥，2024年探討的話題更多圍繞在記憶體和高速傳輸技術上，可以看出業界關注的焦點愈來愈多元化。
HBM的重要性對於雲端AI的議題來說不算陌生，多數人都知道大型語言模型的AI運算，最缺的其實不是算力，而是記憶體的容量。記憶體不足，GPU或AI加速晶片的算力再強，也沒辦法在模型訓練的過程中發揮出最強戰力。
對此，三星電子（Samsung Electronics）、SK海力士（SK Hynix）和美光（Micron）都急忙調配產能，加速量產HBM來滿足市場需求，然記憶體並不是唯一提升算力效率的關鍵技術，各種高速傳輸介面的升級，最近也掀起討論與重視。
雲端AI的高速傳輸技術有非常多不同層次，小晶片（chiplet）之間的連接、GPU之間的連接甚或是機櫃之間的連接，如果傳輸速度不夠快，就無法讓眾多算力單位有效地集結在一起，達到規模效應和更高的運算效率。
許多IC設計廠商都已經看到這塊市場的巨大潛力，運算晶片大廠已陸續投入通訊與傳輸技術的開發，比方說NVIDIA的NVLink、及英特爾（Intel）主導的UALink，投入網通晶片大廠博通（Broadcom）及Marvell都全力投入各層次高速傳輸技術的開發，聯發科及神盾集團也各憑SerDes和UCIE相關IP技術切入市場。
不少投入AI應用的半導體業者及軟體業者都指出，算力早就不是整個AI向前發展的最大瓶頸，如何在先進封裝內部容納更大容量的記憶體，以及更密集更快速的高速傳輸介面，才是真正的關鍵因素。
以各種聊天機器人的生成式AI為例，有時回覆內容不順暢也不連續，很大的問題就是出在記憶體容量或資料傳輸速度不足，晶片算力再高也解決不了。這些新的技術機會，勢必會讓一些已經來不及趕上運算晶片開發的業者，找到新的發展契機。
在SEMICON 2024可以明顯看到，稍早在COMPUTEX 2024登台的運算晶片大廠戲份都不重，在各類論壇的參與程度相比於往年的SEMICON更低上許多。反而是上述的記憶體大廠和網通晶片業者，有更多在論壇上發表各種技術與趨勢的機會。
甚至原本被視為技術普及化還有一段距離的矽光子（Silicon Photonics）技術，也已經有論壇開啟討論，上述投入高速傳輸市場的相關業者，幾乎每一家都強調，矽光子技術將是推動高速傳輸最重要的發展策略。
責任編輯：朱原弘
