英特爾（Intel）近期負面消息不斷：市值已經跌到半導體類股的第十名，是台積電的5分之1；晶圓代工業務持續擴大虧損；先進製程發展不順；高通（Qualcomm）搶先與微軟（Microsoft）合作推出AI PC的晶片。這一切在十年前，甚至五年前都是無法想像的事，英特爾到底怎麼了?英特爾執行長Pat Gelsinger，上周在台北的COMPUTEX發表主題演講。演講是以擊鼓演出開場的，頗有對這些負面訊息，採取鳴鼓而攻之的味道。Gelsinger以摩爾（Gordon Moore ），在早年提出摩爾定律時所說的一句話開始，「Whatever has been done, can be outdone」，也就是說「過去不論完成了什麼，都是可以被超越的」，他相信自己是在做件超越前人的事，包括要在4年中完成5個先進製程節點。憑心而論，就個人的觀察，英特爾還是一家非常有創新能力的公司。過去不少英特爾的創新是在創造一個產業生態，引領整個半導體界往前邁進。比如說，在90年代英特爾率先提出12吋晶圓平台，2000年代又接著倡議18吋的晶圓；為了PC的無線網路，提出WiMax架構；而Lightpeak是為了解決PC的有線高速訊號傳輸；在封裝上，與日本的味之素共同開發ABF材料；最近被討論甚多的玻璃載板，以取代現有的高速載板，也是英特爾在多年前所提出的；為了解決晶片功耗過大的問題，英特爾率先提出晶片背面供電（backside power）的想法，為目前最有潛力的解決方案；甚至EUV的微影技術，也是英特爾首先贊助的科研計畫。即便台積電轟動武林的CoWoS，英特爾也有EMIB（embedded multi-die interconnect bridge）的技術來抗衡。上述這些林林總總，如果沒有英特爾的創新與推動，整個半導體產業也許還停留在石器時代，絕非現在的樣貌。這麼一家創新又技術領先的公司，是發生了什麼事，造成今天的局面？首先，英特爾在最近的20年間（2005～2024）已換了4任的執行長，任期遠短於先前摩爾在位的12年，以及Andrew Grove的11年。除了Gelsinger為技術出身外，其他3位都出身於營運或者財務。其次在整個半導體產業的生態改變，尤其是先進製程，7奈米製程節點是一個關鍵。在2010年初期，全球在開發7奈米技術，都遇到相當的瓶頸。首先若延襲既有浸潤式DUV技術，在關鍵的微影製程，需要經過3次到4次的曝光程序，既費時又費工。當時的EUV，雖然只需1次的曝光，但是由於光的強度不足，每小時晶圓的產出遠低於100片，量產上遭遇困難。整個產業瀰漫著悲觀氛圍，認為技術已經遇到天花板了。換言之，在資源上的投入就不再這麼積極。最後也是最為關鍵的是，英特爾是家IDM的公司，有自己的產品。在這段期間英特爾先後併超過10家公司，比較大的購併案包括Altera （FPGA晶片），Mobileye （ADAS，車用自駕晶片），Habana（AI晶片）等。由於先進製程遭遇到瓶頸，自然地會考慮到CPU之外的產品線，再加上執行長多出身於營運，自然是忽略在技術深耕上的投入。反觀台積電，由於沒有自己的產品，唯一的選擇，只能在技術上加大力道尋求突破，以及與客戶的充分合作。終於EUV的瓶頸打開，加上蘋果（Apple）、NVIDIA等重大客戶，不斷地對於先進製程的需求，最終導致今天英特爾的困境。在COMPUTEX 2024的主題演講上，Gelsinger賣力地介紹自家Xeon 6 伺服器處理器、Gaudi 3 AI加速器，以及AI PC Lunar Lake處理器。其中Gaudi 3以及Lunar Lake是委託台積電生產，分別使用5奈米以及3奈米的製程。這也顯示Gelsinger想要超越過去英特爾的積極作為。個人的觀察，英特爾還是個相當有底氣的公司，Gelsinger的企圖心以及有步調、彈性的作為，若能假以時日，勢必會威脅到超微（AMD）甚至NVIDIA。美國政府也一定會全力來支持英特爾，因為英特爾是唯一擁有半導體先進製程能力的美國公司，而半導體又是全球兵家必爭之地。最後，英特爾是否有機會威脅到台積電的龍頭地位？值得我們深思。

不只見證科技業歷史，我們更是造浪者。6月5日美股收盤NVIDIA市值正式超越蘋果（Apple），成為全球第二大市值公司，全球媒體要請黃仁勳評論此事時，都不得不提到他正在台灣參與COMPUTEX。除了NVIDIA自己的活動外，他站台、觀展、四處吃飯逛夜市，用國台語跟產業與民眾搏感情。除了情感上因有這麼一位出生於台灣、又高度參與台灣社會的科技領袖而與有榮焉外，更可貴的是，我們不只見證這歷史轉折的關鍵一刻，更深度參與其中！若回顧全球前十大市值業者的轉變，從2009年年末市值來看，微軟（Microsoft）與蘋果這兩家科技業者位居第二名與第六名，前者主宰著PC OS與生產力軟體市場，後者於2007年推出iPhone正處於開創智慧型手機時代的上升期，此外擁有全球最大行動電話用戶群的中國移動列名第七，但整體來說多數入榜者仍是屬於石油、零售、金融、醫療保健、及食品等舊經濟各領域的龍頭業者。若觀察2018年3月底、美中貿易戰開打前的市值排名，僅有Berkshire Hathaway、JPMorgan Chase、與Johnson & Johnson這三家非科技公司入榜，其餘七家均是美中BigTech業者，分居市值第1～5名及7～8名，依序是蘋果、Alphabet、微軟、亞馬遜（Amazom）、騰訊、阿里巴巴、Facebook。這反應新經濟的大幅擴張、2C端壟斷性網路平台的市場地位（手機OS、搜尋、社群等）及2B端雲端服務發展的方興未艾。若就2022年底的市值來看，此時ChatGPT雖已於11月底推出，但生成式人工智慧（generative AI）的顛覆性風潮仍未在資本市場充分反應，排名中騰訊與阿里巴巴跌出前十，反應外部美中霸權角力下美國對中國的抑制，及內部中國國進民退政策方針下，擴大監管網路巨擘的雙重壓力，而Tesla躋身第七名則意味著碳中和/ESG趨勢下電動車的商機潛力及對創辦人Elon Mask「火星人」般願景下事業布局的期待。隨著科技典範轉移來到了當前的生成式AI浪潮，最新的市值排名中，科技業者分居1～5、7、9名，其中OpenAI最大股東及將GPT全方位導入己身各項服務的微軟位居第一，而NVIDIA市值在相繼超越Meta、亞馬遜、Alphabet後，於6月5日收盤首次超越蘋果，成為第二高市值公司。蘋果曾多年維持全球市值龍頭，2024年陸續為微軟及NVIDIA所超越，這不僅反應誰是引領生成式AI浪潮的主導者，也正式宣告智慧型手機 / 行動連網時代的落幕。從2009年的微軟與蘋果，到最新市值前十大中的所有科技業者，多年來始終都需要以台積電為代表的台灣供應鏈。從AI加速器晶片到AI伺服器，再到資料中心解決方案，再到AI PC，沒有我們，加速運算沒法加速、生成式AI應用沒法落地。很高興NVIDIA創造歷史時正好恰逢COMPUTEX期間、正好黃仁勳人在台灣參與其中，我們是每個時代科技領袖身後的造浪者，過去我們往往不被看見，但如今，整個世界看到我們的貢獻！ 

我以AI物聯網分析音樂，並利用其結果來驅動樂器的演奏，稱之為MusicTalk。接下來就想訓練大型語言模型（LLM），將文字與音樂互換，再將音樂用來詮釋影像。最大的應用是電影配樂。要將音樂智慧化以配合影像，科技人必須對音樂的內涵有深入的認識。例如電影的配樂最讓人印象深刻的是1968年電影《2001太空漫遊》（2001: A Space Odyssey）中用史特勞斯（Richard Strauss, 1864～1949）演繹《查拉圖斯特拉如是說》（Thus Spake Zarathustra）這首樂曲的開場。《查拉圖斯特拉如是說》是尼采（Friedrich Wilhelm Nietzsch, 1844～1900）的作品。它不同於一般哲學作品，而是以散文詩完成。尼采曾表示這本書實際上是一部「交響曲」，以一種偽聖經風格撰寫，它包含許多含糊不清且充滿詩意的神秘箴言。我沒讀通這本書，膚淺了解其主要思想是，人類應該擁抱生活、自然、身體和物質存在，包括其中的樂趣和痛苦，而非尋求超越或來世的精神世界。生活即使伴隨著所有的苦難，還是值得為了它的存在而生活。許多藝術家和作曲家受到《查拉圖斯特拉如是說》的影響，但很少有人像史特勞斯那樣深切融入尼采的哲學觀點。1896年時32歲的史特勞斯開始創作 《查拉圖斯特拉如是說》樂章。當時尼采因三期梅毒的感染，已精神失常。史特勞斯將自己作品的各個部分以尼采書中不同章節命名。他嘗試將尼采抽象的文字清晰地翻譯成同樣抽象的器樂音樂。該作品在完成後幾個月內進行首演，其華麗的編曲、複雜的音樂紋理、大膽的和諧和具爭議性的主題，引發激烈的批評和喝采。《2001太空漫遊》使用這首樂曲開場為外太空的日出配樂，符合史特勞斯描繪尼采書中開場的山頂日出情境。開場中的小號旋律呈現「自然」或「世界之謎」動機；它在整個樂曲中反覆出現，象徵著大自然的冷漠和神秘性： 在強烈的開場之後，號角的回應是一個宗教式的旋律，由分散的弦樂器精彩演奏。開場時音樂從柔和到逐漸增強，象徵著人類對一個完美、天堂般、精神上的自然替代的渴望。有了《2001太空漫遊》的例子，我嘗試以MusicTalk反推史特勞斯的音樂，想找出他想表現的意涵，卻遭遇極大困難。史特勞斯曾經開玩笑地說，他可以在音樂中訴說一切，即使人們無法理解，我就是那位無法理解的人，妄想以物聯網駕馭史特勞斯的音樂。《查拉圖斯特拉如是說》太過深奧，AI處理不來。我決定放棄好高騖遠的做法，由小朋友聽得懂的《彼得與狼》訓練MusicTalk，總算有初步成果。這是一個基於物聯網的創新音樂樂器檢測系統。MusicTalk 引入了一種名為亮度特徵基礎Patchout的新穎機制，以提高樂器檢測的準確性，並超越現有解決方案。MusicTalk首次系統性地將單個樂器檢測器作為物聯網設備進行整合，為與其他物聯網設備的交互管理提供有效的方法。我們在MusicTalk中引入一個通用音頻整形器，融合各種音樂公開數據集，如Audioset、OpenMIc-2018、MedleyDB、URMP和INSTDB。我們利用Grand-CAM分析Mel-Spectrograms來優化 MusicTalk中ViT Patchout和CNN的組合，以實現前所未有的準確率。例如，小提琴檢測的精確率和召回率分別達到96.17%和95.77%，這是所有方法中最高的。此外，MusicTalk 的另一個優勢在於其基於物聯網的視覺化能力。通過將樂器檢測器作為物聯網設備整合，MusicTalk能夠使用動畫Avatar來無縫地視覺化歌曲。透過《彼得與狼》為例的案例研究，我們證明，改進的樂器檢測準確性增強音樂的視覺敘事效果。與先前的方法相比，MusicTalk在這首歌曲上的F1分數提高12%。然而，我念念不忘的是，我們訓練AI模型，何時能如同史特勞斯，了解尼采的想法。MusicTalk仍有很大的改進空間。 

生成式AI（Generative AI）是AI領域中的部分子集合，未來5~10年全球經濟成長最關鍵的驅動力量之一就是生成式AI。DIGITIMES研究中心於2024年5月完成「生成式AI引領應用與硬體新商機—超前布局未來1.5兆美元市場」專題報告，內容即涵蓋三大部分，分別為「生成式AI技術崛起」、「生成式AI運算力發展，從雲到端」、「生成式AI應用領域案例」等，針對生成式AI最新關鍵趨勢完成一系列研究。根據DIGITIMES研究中心預估，2022~2030年全球生成式AI市場複合年均成長率可望超過80%，在2030年達到1.5兆美元規模，就服務、軟體及硬體三大組成來看，2024年硬體（主要以生成式AI伺服器為代表）佔生成式AI市場最大比重。隨著各垂直領域百花齊放、應用面更為普及風潮下，預估至2030年時，服務將躍居整體生成式AI市場超過一半的比重。許多專家將生成式AI的浪潮及其影響比擬為新世代的網際網路（internet），確實網際網路以其廣泛的應用以及扮演重要基礎建設的角色，對許許多多產業帶來深遠的影響，Google、微軟（Microsoft）、亞馬遜（Amazon）、Meta、蘋果（Apple）、阿里巴巴、百度等眾多新興企業掌握住此一潮流已成為舉足輕重的產業巨人；同理，生成式AI也不會只是短期噱頭（hype），而是會實實在在地影響我們及所處企業、產業及社會未來發展的重要力量。生成式AI今後發展的三大關鍵—模型、運算力、資料。模型方面，從2023年著重雲端大參數量大型語言模型（LLM），2024年增加對邊緣小參數量LLM的關注，以因應為符合邊緣裝置較低運算力及記憶體頻寬的先天限制，雲端大參數量LLM則擴及多模態LLM，領先業者跟跟進業者差距有所拉開。運算力方面，雲端伺服器AI運算晶片成長可期，值得關注生成式AI應用從雲擴及到端，2024及2025年AI NB及AI智慧型手機出貨量及滲透率可望快速攀升，指標晶片業者紛推出可運行邊緣生成式AI推論的晶片，為提升晶片AI運算力，目前以整合神經網路處理單元（Neural Network Processing Unit；NPU）加速器為主流。此外，邊緣運算包括物聯網等應用區隔，AI的影響力也將日益顯著。訓練資料部分，目前指標LLM業者使用英文為主要訓練資料，而繁體中文訓練語料的數量，遠比不上簡體中文，目前繁體中文訓練資料成為模型訓練的一大課題。在生成式AI的應用案例方面，本篇專題報告探討從智慧交通、智慧零售、智慧醫療、智慧製造以及智慧家庭五大類別，以生成式AI普及的速度來看，不管是零售、製造或是家庭生活、移動應用，都有龐大的商機，各種應用情境在2024年開年以來的國際展會包括CES、MWC以及嵌入式電子與產業電腦應用展（Embedded World）、車電展等，都可以感受到此一趨勢。(作者為DIGITIMES研究中心研究總監) 

在討論HBM4標準介面對DRAM產業生態的衝擊之前，讓我們先回顧一下DRAM產業的現況。DRAM產業從2014年的20~22奈米製程，到2024年SK海力士（SK Hynix）跨入10奈米製程，整整花了10年的工夫。如果在過去摩爾定律還適用的年代，這樣速度的製程進展只能算是前進2個世代節點，這是過去用3年時間就可以取得的成果。DRAM製程進展如此遲緩當然是因為DRAM物理特性所造成的限制：DRAM的記憶單元是電容，而電容值（capacitance）與電容面積成正比。在製程持續微縮過程中，電容面積理當會變小，因而電容能保持電荷—就是記憶體單元中的訊號—的時間會縮短，因此每次製程推進時，還要維持電容值不變，這就成了DRAM新製程研發時的最大夢靨。沒有快速的製程推進，就無法在同一面積晶片上提高效能、持續快速的創造新價值。兼之DRAM進入1b、1a製程後，使用昂貴的EUV似乎無可避免，這讓單位面積成本的下降更為艱難。如果製程快速推進無法成為晶片增加經濟價值的手段，就得有其他增加價值的方式。譬如說，創造應用面的價值。目前DRAM在各類應用的標準介面相繼出爐正是此一趨勢的顯現，從原先主流的DDR（Double Data Rate），再到適用於移動系統的LPDDR（Low Power DDR，節能）以及GDDR（Graphic DDR，寬頻）、HBM（大容量、超寬頻）等。也就是說，DRAM產品雖然還有統一的介面標準，但是產品市場正逐漸走向碎片化過程之中。產品市場分化的下一步就是客製化。客製化產品的供應與需求中間的關係是專買與專賣，因此可以很大程度的避開大宗商品（commodity）市場典型的週期性起伏狀況。改變產業的生態樣貌、藉以避免業務及財務的大幅震盪等，也許是這些想客製化HBM記憶體公司的考量之一，特別是記憶體市場現在正在經歷為時不短的週期性價格低谷時期。但是市場開始分割細碎後，規模經濟的威力也會跟著降低。原先DRAM市場由3家大公司寡頭壟斷的局面也可能會因之改變。原先DRAM產業的進入壁壘主要是規模經濟以及先進製程相關的專利障礙。但是現在DRAM製程演進遲緩，兼之有許多小生態區開始出現，可以提供小公司的牛油與麵包，寡頭壟斷的市場生態有可能變化。這也許部分解釋SK海力士目前技術的想法。HBM4記憶體的堆疊部分仍然可能選擇統一的標準介面，在設計及生產上仍能大致維持規模經濟的効力；客製化的任務就侷限於底層的邏輯晶片。這樣的安排大致能維持規模經濟與客製化的均衡，獲取最大利益。只是產業的產品介面標準存在的前提，是所有產業中生產產品的公司以及產品使用者願意共同遵守。如果有些公司選擇專有介面，便無業界統一的介面標準。無論如何，這是2025年就應該會有答案的，而其結果將牽動DRAM產業的生態樣貌。

在人工智慧（AI）迅速發展的環境中，有關倫理問題以及可能限制其發展的辯論變得日益突出。透過密爾（John Stuart Mill, 1806～1873）的作品《論自由》（On Liberty），我們可以探索合理限制AI發展的觀點，強調在合理的範圍內，個體自由、進步和追求知識的重要性。密爾的《論自由》被嚴復翻譯為「群己權界論」，奠定理解社會控制和個人自由平衡的基礎。我試圖將密爾的哲學應用於當前AI發展的時代背景，以了解如何界定群己權。密爾主張自由開放的思想交流（Self-Development），或「思想市場」 （marketplace of ideas），是社會進步的重要因素。在AI發展的領域中，不受限制的資訊和創新概念流動促進多元觀點環境，有助於知識的成長。密爾強調個體自治（Individual Autonomy）。正如個體應該自由追求自己的興趣和自我發展，AI系統作為人類創造力的延伸，應賦予演進和適應的自主權，以改善人類生活並應對複雜社會挑戰。AI的發展改善人類生活，並增強應對複雜社會挑戰的能力。在此過程中，必須尊重使用者的個體權益，並促進社會和諧。密爾的傷害原則主張（The Harm Principle），限制個體自由的唯一理由是防止對他人造成傷害。密爾的哲學也告訴我們須負責任地謹慎開發AI系統，遵從道德準則並優先考慮人類福祉，讓其發展不會產生本質性的傷害。在AI算法的訓練中，如果基於不公正的資料集或缺乏多樣性而導致歧視性結果，則應限制這類不公平和歧視性的AI應用，確保考慮到社會的多樣性。然而，我們很難限制AI算法，避免其誤入歧途。 可行的方法是在AI晶片的設計中，直接加入艾西莫夫（Isaac Asimov, 1920~1992）的機器人三定律（Three Laws of Robotics），並在晶片製成過程中，將其直接寫入硬體。密爾警告多數的專制（The Tyranny of the Majority），強調壓制少數意見的危險。例如社交媒體平台的AI算法過度強調某一特定觀點，可能形成資訊泡泡（filter bubble），多數用戶僅看到和接觸到相似的意見和觀點。這樣的專制可能使得不同意見的少數群體的聲音被忽視，並進一步加劇社會的分裂和不理解。密爾倡導緊密連結社會進步與知識和創新 （Societal Progress and Innovation） 的追求。AI是人類巧思的體現，從醫療到教育等各個領域實現變革性的進步。然而，AI發展也必須有序權界，社會才會健康的前進。密爾的《論自由》為深入探討AI發展提供重要的倫理框架，強調擁抱個體自由、思想市場和知識追求的原則，是推動人類進步的核心價值。然而，在引導AI發展時，必須謹慎遵循負責任的道德原則。我們可以探索合理限制AI發展的觀點，引導未來AI的方向，確保其符合人類整體利益，並實現可持續、負責任且對人類有益的發展。

記憶體產業中個別企業，如何考慮增加HBM頻寬技術方向的選擇呢？SK海力士（SK Hynix）是首先量產HBM的廠家，也是目前HBM市佔率最大的廠家，約佔市場一半的份額，其動向有指標性意義。延伸報導名人講堂：高頻寬記憶體風雲（一）進程技術的分野2023年11月Korean Business報導SK海力士的HBM4將採取2.5D扇出型先進封裝技術，目的是要省卻矽通孔（Through Silicon Via；TSV）昂貴的費用，而且有更多的I/O方式選項。報導中解釋封裝做法是將2片個別的晶片封裝整合成1個，而且無需使用基板，堆疊後厚度會大幅降低。但是完全沒解釋如何將高達12~16層DRAM上下線路連通，而這原是TSV執行的功能。之後的報導都是這個報導的衍生物，未有新的訊息。SK海力士4月19日發布新聞，說與台積電簽訂合作生產下世代HBM的備忘錄。這個合作採用什麼先進封裝技術呢？備忘錄中也未說明，只在末了表示會優化SK海力士的HBM與台積電目前正在使用的CoWoS（Chip on Wafer on Substrate）技術的整合，以響應一般客戶對於HBM的需求。備忘錄中還有一個亮點，SK海力士計劃使用台積電的先進製程來製造前述HBM底層的邏輯晶粒，增加額外功能，以滿足顧客客製化的需求。這個做法以下將展開討論。事實上，SK海力士自己已研發過銅混合鍵合技術，結果也在2022年、2023年發表在學術期刊以及會議論文集（conference proceeding）。另外，SK海力士與英特爾（Intel）和NTT於1月底發布在日本的共同投資，其投資標的也是矽光子。新聞中特別提到記憶體晶片與邏輯晶片的連接，顯然針對的是HBM與CPU/GPU之間連接的應用。只是這投資計畫於2027年量產，對於HBM4的生產是稍為遲了一點。無論如何，SK海力士是做好了兩手準備。台積電早已宣布於2025年開始量產矽光子，雖然起始的客戶可能是其他客戶，但是2026年肯定能用於HBM相關的生產，如果技術的選擇是如此的話。綜合一下上述訊息，SK海力士對於HBM4的規劃大致在原先2.5D封裝或3D封裝之間，取得價格與效能的優化；較長遠的目標則是移往更快、更節能的矽光子。三星電子（Samsung Electronics）也早已驗證以銅混合鍵合16hi DRAM堆疉的HBM，結果也早發表於期刊和會議論文集。三星也在2023 OCP（Open Computing Project）Global Summit中，發表其對於矽光子的想法。前文中類似CoWoS的結構與現今的先進封裝結構相似，開發較容易。但是因為HBM與CPU/GPU底下都得加裝光／電轉換器，而且中介層需要以光通道替代，成本無疑會更高；而HBM置於封裝之外的做法是新嘗試，可能需要更多的發展努力，另外還要腦律散熱問題。無論如何，三星也是做好兩手、短中期準備。但是三星還有自己的邏輯設計、製造能力，包括CPU/GPU的設計和製造生產，它的利害與考慮不一定與SK海力士會一致。美光（Micron）在HBM上是後進者，目前正在急起直追，因此發表或公布的技術方案消息較少。最近的報導是它與其他廠商正在共同開發HBM4，技術方案目前沒有詳細內容，報導只說傾向於採取與南韓廠商不同的方案。HBM4量產預計在2026會先上12hi的，2027接著上16hi的，資料引腳數量會倍增到2,048。HBM4如果有業界共同標準，在2024、至遲2025就應該制定標準並公布，目前似乎離達到產業共識還有一段距離。因為在異質整合技術的採用上仍留有變動空間，而且此一技術選擇將影響記憶體次產業的面貌，甚至整個半導體生態區的重新配置。 

高頻寬記憶體（High Bandwidth Memory；HBM）是具有高頻寬的圖形記憶體（Graphic Memory），其主要的功用是支援高效能運算（High Performance Computing；HPC）或人工智慧運算中與CPU/GPU聯合執行高速的平行運算。  HBM由數個DRAM堆疊而成，每個DRAM中又由許多容量較小的記憶體單元組成。大數量的小記憶體單元以高頻寬的I/O與多核的CPU/GPU相連接，當成平行算中使用的緩衝記憶體。 HBM的統一標準由JEDEC於2013年公布，2015年SK海力士（SK Hynix）率先開始量產。 以最近的產品HBM3E為例，其容量可達36GB，DRAM的層數為8~12層（8hi or 12hi）。最重要的，其資料引線（data pin）數目為1024，代表它可以同時提供1,024個數據平行儲存。為了實施如此高的資料引線，在堆疊DRAM與中介層（interposer）之間使用將近4,000個微凸塊（micro bump），而其間距（pitch）相當緊密—55微米，這已經接近微凸塊技術的密度極限。HBM在多層DRAM堆疊的底層中，還有一個邏輯製程的基底晶粒（base die）。DRAM層與層之間的信號由矽通孔（Through Silicon Via；TSV）連接。目前異質整合HBM與CPU/GPU使用的先進封裝技術為CoWoS （Chip-on-Wafer-on-Substrate），是2.5D先進封裝的一種。在此封裝中，HBM與CPU/GPU置於同一平面上。其下有一個中介層（interposer），HBM與CPU/GPU金屬墊（metal pad）中的信號透過與其黏著的微凸塊、由中介層內的連線（interconnect）送到另一邊的微凸塊上，這就是目前記憶體與邏輯晶片異質整合的工作架構。 當HBM要再進一步演化、擴大頻寬，預計其DRAM堆疊的層數將從原先的8~12層，再成長成12~16層。其數據引腳數則自1,024成長至2,048。所需要的微凸塊數目可能會超越以目前的封裝方式所能提供的。未來的HBM要與其協作的邏輯晶片會以何種方式異質整合，即為目前產業界看法有分歧的地方。  要提供更高的頻寬，目前看到的可能技術有2種：銅混合鍵合（copper-copper hybrid bonding）與矽光子（silicon photonics）。  銅混合鍵合的工作概念相當簡單，基本上是將2個分別製造的晶圓上重分布層（Reditribution Layer；RDL）面相對的黏貼在一起—金屬對金屬、氧化物對氧化物。這樣2個晶片之間的資訊傳遞就不必像傳統封裝的方式：先將一個晶片上的信號用與金屬墊（metal pad）連接的微凸塊引出，再用金屬連線將信號送到另一個晶片對應的微凸塊上。  銅混合鍵合大幅縮短信號傳送距離、降低相應功耗，也改善其他的物理性質譬如寄生電容（parasitic capacitance）以及電阻值。最重要的，它的金屬墊間距（metal pad pitch）可以降到10微米以下，最近的學術文章已開發出400微米的金屬墊間距。這個數據顯示用銅混合鍵合能提供比用微凸塊高1至2階秩的頻寬，對於HBM4的更高頻寬的需求顯然沒有問題，而且還有再進化的空間。  矽光子的基礎運作機制也很簡單：用光子來替代電子，成為傳遞資訊的主要載子。它的好處顯而易見：光子的速度比電子快100倍，而且光子在光纖中或光通道中傳導理論上不會發熱，不像電子在金屬中傳導一定會產生焦耳熱（joule heat）。這個事實的應用其實很早就開始實施了。資料庫之間、資料庫至家戸之間早就以光纖替代電纜，接下來的挑戰是在同一封裝中甚或同一晶片中使用光子傳導資訊此一機制，前者就是現在熱議的共同封裝光學元件（Co-Packaged Optics；CPO），而後者就是矽光子。  目前NPU、GPU元件都已進入CPO中試驗並取得成功。這是CPU/GPU與HBM的整合方案之一。實施矽光子的異質整合方法有2種。一種是沿用前述的2.5D先進封裝結構，將中介層的銅連線改變成矽光子的光通道。另外，由於利用光子來傳遞訊息，CPU/GPU與HBM兩頭都要裝上光/電的轉換元件。這個方法產業比較熟悉，但是成本較高。另一種方法是把HBM置於封裝之外，利用矽光子晶片線路與CPU/GPU連接。這個方法DRAM部分可以維持相當的獨立性，但是開發可能需要較長的時間。 相對的，銅混合鍵合在近年來已漸趨成熟。除了CIS（CMOS Image Sensor）早已派上用途外，像超微（AMD）將CPU與SRAM分別製造後，再用銅混合鍵合異質整合在一個3D先進封裝之中。這些都是此技術成功應用的範例。矽光子與銅混合鍵合就是現在產業界面臨的技術方向抉擇，這個抉擇的後果影響既深且遠。 

數周前NVIDIA執行長黃仁勳在GTC 2024大會上發表新一代的GPU （B100/B200）。這B系列的GPU打破相當多紀錄，首先這GPU是由2顆獨立的晶片並排結合而成，採用台積電先進的4奈米N4P製程，而接合的方式是利用台積電CoWoS（chip on wafer on substrate）先進封裝技術。每一個晶片內涵1,080億個電晶體，這是首次單一晶片電晶體的數目超過1,000億顆，2顆加總共有2,160億顆。1980年代我們在唸半導體的時代，1個晶片所含電晶體的集成度，由SSI（small scale integration），到MSI、LSI以及最後的VLSI（very large scale integration）。VLSI所定義的單一晶片所含電晶體的數目，也不過是100萬顆。現代的科技將這個數字推進10萬倍。我們都知道GPU的算力跟電晶體的數目是直接相關，要增加電晶體的數目，一則是利用微影技術縮小電晶體的尺寸，另一則則是增大晶片的面積。就增大面積而言，在NVIDIA B系列前三代的GPU（H / A / V系列），晶片的面積就已經超過800平方釐米，將近3公分的平方。事實上這晶片面積，包括B系列在內，已經是12吋晶圓的極限，若繼續擴大晶片的面積，良率及在1片晶圓所能產生的晶片數目，都會受到很大的影響。在無法繼續增加晶片面積的限制下，將2顆晶片利用先進的封裝技術，緊密並排在一起，如同1顆大的晶片，將會是未來的常態。蘋果（Apple）M1 Ultra處理器，就是由2顆M1晶片並排組合而成。弔詭的是，這回B系列GPU使用的是台積電進階版N4P製程，與前一代H系的N4相比，根據台積電所公開的數據約是效能提升6%。然而，以單顆B系列的晶片為例，其電晶體的數目相較於H系列，增加約30% （1,080億顆 vs 800億顆）、功耗約略減少30%（500瓦 vs 700瓦），換言之，效能提升將近50%。除非NVIDIA在B系列的GPU設計架構上，做了重大突破，否則很難想像這50%的效能改善是從何而來？個人認為很大的改善在於，這2個晶片中的數據傳輸的損耗大幅下降。2個晶片中所傳輸的數據量是10TB/s，也就是每秒傳輸10的13次方的數據量，而M1 Ultra的數據量卻是2TB/s。緊密結合晶片中的數據傳輸所產生的功耗，是遠小於數據由晶片傳輸到印刷電路板上，再到另一個晶片上。兩者之間的功耗差距，除了距離長短之外，晶片與電路板間的阻抗不匹配，都會造成傳輸上的損耗。換言之，在不斷需要提升算力的同時，利用先進封裝將幾顆運算晶片，緊密地結合在一起，未來將會是一個關鍵。如同利用矽光子及CPO（co-package optics）技術，將資料中心的交換器，大幅地減少其功耗及增加傳輸數據，是相同的道理。算力除了跟晶片效能有很大的關係外，也跟計算機的架構有關。我們以人工智慧運算及量子運算為例，最古典的運算如附圖（Ａ）所示。運算猶如一排車陣中，靠時序的控制（sequential control），一部車啟動後接著另一部，到最後一道指令，才完成整個車陣的紓解。然而在AI的運算中如附圖（B）所示，使用大量平行運算，１個GPU內部包含了數以千計的運算核心，因此算力遠大於古典的運算，但基本上仍存在時序的控制。量子運算就完全不同了，如附圖（C）所示，在並排的車陣中利用量子的糾纏（entanglement），就宛如一張網絡將所有的車子四面八方的圈住在一起，沒有時序的控制，一聲令下就全員移動，因此算力又遠大於AI，相較之下所耗損的功率卻少了很多。然而要產生量子糾纏，必須要在極嚴苛的環境下產生，如超低溫及超低雜訊，有太多不可控因素，所以時不時會有錯誤發生。個人淺見是，量子電腦很難成為一個商品化的產品，更談不上可靠度及品質管理系統。最有可能是大型的研究機構或大公司的研發部門，擁有台量子電腦，而且每售出1部量子電腦，原廠就得要有一組工程及技術人員進駐該單位。不可否認算力即國力，GPU/AI的算力在未來一段時間內，仍然會是主流。在算力不斷地被要求提升之下，晶片的功耗及訊號的傳輸量，會是瓶頸之所在。先進的封裝技術如CoWoS，將會是各國所關注的焦點。

2024年的台灣國際科展邀請我進行大師講座，分享AI「做中學」。生成式AI（generative AI）的出現，對人文及科學會造成不小影響，很多高中老師避免思考生成式AI對他們專業的影響。生成式AI開始侵襲某專業時，專業人士難免有抗拒之反應。過去對「專業」無條件的接受，似乎是台灣學校教育的普世價值，今日，這種執著很危險。當生成式AI輾壓人類的專業時，或許正是我們進行反思的最好時刻。專業知識的灌輸並不足以培育完整的個體。通過專業教育，雖然可以訓練一個人成為實用的工具，但不能保證他能成為一個和諧發展的人。培養學生對價值觀的理解和情感上的投入更為重要。他們需要具備對美和道德的敏銳辨識力，以建立更全面的個人發展。否則，即便擁有豐富的專業知識，可能只是像一隻經過良好訓練的狗。生成式AI最擅長學習專業，更容易勝過人類，被訓練成為比人類更厲害的機器狗。全盤接受「專業」不對，完全臣服於「生成式AI」也不妥。要避免被AI取代，必須超越專業訓練的思維，思考自己本業能更進一步創造的價值。這個價值是甚麼，會隨領域而不同，只能各自嘗試體會。貝克特（Samuel Beckett, 1906～1989）說: 「嘗試過、曾經失敗過， 沒關係。 再試一次、 再次失敗，我們會失敗得更好。」這是我們面對AI時代的狀況。必須「我無法繼續下去，但我會繼續。」貝克特是上世紀五十年代「荒謬劇場」的主要作家之一。「荒謬劇場」主要成員是歐洲劇作家，以荒謬小說戲劇而聞名，探討當人類失去存在目的時會發生什麼，展示從邏輯溝通到非理性和不合邏輯，最終導致沉默的過程。貝克特於1969年獲頒諾貝爾文學獎，表彰他以小說和戲劇的形式，在現代人的貧困中獲得卓越（in the destitution of modern man acquires its elevation）。貝克特的許多作品都聚焦於人類在生活中無法克服的荒謬情境，包括《墨菲》（Murphy；1938年）、《等待果陀》（Waiting for Godot；1953年）、《克拉普的最後錄音》（Krapp’s Last Tape ;1958年）和《幸福時光》（Happy Days ;1961年）。 這幾本書很值得年輕學子閱讀，從中尋找AI造成人類貧困時代（destitution）的生存之道（elevation）。年輕人可能迷惘於等待何種AI果陀，但千萬不要氣餒躺平。馬克吐溫如是說: 「 二十年後，你將會感到更多的失望。你會對於未做的事情感到遺憾，而不是對於你已經做過的事情。這意味著，要避免這種結果，你必須擺脫阻礙你的限制。遠離安全的港灣，投身於狂風肆虐之地。探索、夢想並勇往直前。」 在AI時代，必須如此。《等待果陀》的果陀是何物，貝克特沒揭曉答案，因此眾說紛紜。等待果陀，時光易逝。布朗寧（Robert Browning）說: 「和我一起變老！最好的尚未來到，……青年不過展現人生一半：相信上帝，看見所有，也不要懼怕！！」在AI時代讀此句子，更有感觸。我希望，年輕的學子終能找到他們的AI果陀。