智慧應用 影音
雷達的趣聞
烏克蘭與俄羅斯戰爭中使用的雷達技術玲瑯滿目。這些技術涉及監視雷達、防空雷達,以及由雙方部署的戰場監視系統。這些雷達系統用於偵測飛機、導彈或地面活動的系統。這些雷達技術是哪些厲害人物發明的?麻省理工學院輻射實驗室在第二次世界大戰時期將電磁波的研究發揮得淋漓盡致,對於雷達(Radar)的發展有不可磨滅的貢獻,也產生出多位諾貝爾獎得主,包括創造「核磁共振」這個名詞的拉比 (Isidor Isaac Rabi, 1898~1988), 在1937年確實驗證原子核的角動量,而於1944年獲頒諾貝爾物理獎。薄賽爾 (Edward Purcell, 1912~1997) 與布洛赫 (Felix Bloch, 1905~1983)因發現在外加磁場下,所有物質只要是有奇數個質子或中子皆可以形成共振現象,能發射特定射頻信號,而在1952年榮獲諾貝爾物理獎。這項發現早期應用在化學物質的檢測上。薄賽爾得諾貝爾獎時好像只有發表6篇論文。阿瓦雷茲 (L.W. Alvarez, 1911~1988) 因製成第一部質子直線加速器,以及對基本粒子研究發展的貢獻,而榮獲諾貝爾物理獎。冉濟(Norman F. Ramsey, 1915~2011) 發展出分離的震盪場方法及其在氫邁射和其他原子鐘上的應用。第二次世界大戰期間列強的戰爭需求使得先進科學技術得以快速的發展,於是雷達就出現了。大戰期間,德國空軍老是跨海轟炸倫敦,讓英國煩不勝煩,急需一種探測空中金屬物體的技術,能在反空襲戰中幫助搜尋德國飛機。雷達的最早構想來自於沃森瓦爵士 (Sr. Robert Watson-Watt, 1892~1973),希望與美國攜手合作,共同打擊德軍。於是上述這群偉大科學家的電磁波研究集中火力,在戰爭時期發展出地對空、空對地搜索轟炸、空對空截擊火控,以及敵我識別功能的雷達技術,德軍聞之喪膽。戰後雷達有多項民生應用。例如微波爐(所謂的「雷達烤箱」)深受家庭主婦喜愛;雷達測速器則成為汽車超速者的剋星。沃森瓦開車超速曾被雷達測速器抓到罰錢,對於自己推動這項發明的應用,反讓他自食惡果,啼笑皆非。 
西瓜熟了沒?拍打西瓜的AI
在西瓜的商業生產過程中,農民必須在收穫後迅速評估水果的成熟度,根據可食用時間分類,以減少損失。這個過程提升市場銷售和生產力,但傳統的西瓜測試方法通常不可靠。當你購買西瓜時,成熟度測試是一個有趣的「儀式」。一般家庭主婦將西瓜成熟度分類為2個等級:未成熟和成熟;農夫在西瓜田的辨識則分為3個等級,包括未熟類(不要碰)、成熟類(作為商品選擇)和過熟類(需要丟棄)。許多人分享他們測試西瓜成熟度的經驗。其中最具創意的一個方法是使用稻草技術,將一根稻草水平放在西瓜上。成熟的西瓜會使稻草旋轉45度,而未熟的西瓜則保持靜止。這種說法認為稻草的運動是由西瓜內部的電力作用引起的。我多次嘗試這種方法未果,只好放棄,改變方向,研究其他方法。雖然像拍打、顏色檢查和計日等手動技術具有實用性,但其準確性依賴於主觀判斷。目前,普遍使用的方法是通過拍擊聲音來評估西瓜的成熟度。這種拍打技術出奇地具有邏輯性,因為產生的聲音提供了足夠的成熟度指標。然而,對這些聲音的個人解讀受主觀經驗和傳統智慧的影響。我思考是否能利用AI及物聯網(IoT)來進行大量快速的西瓜成熟度的拍擊評估。在我研究團隊的辛勤工作後,提出WatermelonTalk技術。這是一個基於物聯網的即時深度學習平台,專為聲學西瓜測試設計。我們還引入了「拍打合奏\(tapping ensemble)的概念,顯著提升預測準確性,這在文獻中尚未出現。我們邀請農友種苗公司的專家將343個品種的1,698個西瓜按成熟度分類,利用深度機器學習,首次探討四級測試,其中將三級測試中的未成熟類進一步細分為未成熟類和半熟類。比起未成熟類,農民更關注半熟類,須確保對其進行比未成熟類更頻繁的測試。這樣做是為了防止這些半熟西瓜在下一次測試時過熟。我們的研究在三級測試中達到97.64%的測試準確性,而在四級測試中達到94.07%的顯著準確性,這是聲學框架中的最佳結果。三級測試可供消費者在購買西瓜時使用,而四級測試則作為農民專業生產的工具。西瓜有不同的成熟程度,選擇適當的成熟度會大大影響西瓜的味道和質地。在收穫後迅速評估水果的成熟度,通過可食用時間進行分類,可顯著降低收穫後的損失。因此,WatermelonTalk幫助農民仔細衡量西瓜的成熟度,提升市場銷售和生產力,彰顯AI對日常生活的貢獻。關於技術的詳細信息,請參閱Yun-Wei Lin, Yi-Bing Lin, Wen-Liang Chen, Chia-Hui Chang, and Han-Kuan Li, Watermelons Talk: Predicting Ripeness through Tapping, 將刊登於IEEE Internet of Things Magazine。
英特爾怎麼了?
英特爾(Intel)近期負面消息不斷:市值已經跌到半導體類股的第十名,是台積電的5分之1;晶圓代工業務持續擴大虧損;先進製程發展不順;高通(Qualcomm)搶先與微軟(Microsoft)合作推出AI PC的晶片。這一切在十年前,甚至五年前都是無法想像的事,英特爾到底怎麼了?英特爾執行長Pat Gelsinger,上周在台北的COMPUTEX發表主題演講。演講是以擊鼓演出開場的,頗有對這些負面訊息,採取鳴鼓而攻之的味道。Gelsinger以摩爾(Gordon Moore ),在早年提出摩爾定律時所說的一句話開始,「Whatever has been done, can be outdone」,也就是說「過去不論完成了什麼,都是可以被超越的」,他相信自己是在做件超越前人的事,包括要在4年中完成5個先進製程節點。憑心而論,就個人的觀察,英特爾還是一家非常有創新能力的公司。過去不少英特爾的創新是在創造一個產業生態,引領整個半導體界往前邁進。比如說,在90年代英特爾率先提出12吋晶圓平台,2000年代又接著倡議18吋的晶圓;為了PC的無線網路,提出WiMax架構;而Lightpeak是為了解決PC的有線高速訊號傳輸;在封裝上,與日本的味之素共同開發ABF材料;最近被討論甚多的玻璃載板,以取代現有的高速載板,也是英特爾在多年前所提出的;為了解決晶片功耗過大的問題,英特爾率先提出晶片背面供電(backside power)的想法,為目前最有潛力的解決方案;甚至EUV的微影技術,也是英特爾首先贊助的科研計畫。即便台積電轟動武林的CoWoS,英特爾也有EMIB(embedded multi-die interconnect bridge)的技術來抗衡。上述這些林林總總,如果沒有英特爾的創新與推動,整個半導體產業也許還停留在石器時代,絕非現在的樣貌。這麼一家創新又技術領先的公司,是發生了什麼事,造成今天的局面?首先,英特爾在最近的20年間(2005~2024)已換了4任的執行長,任期遠短於先前摩爾在位的12年,以及Andrew Grove的11年。除了Gelsinger為技術出身外,其他3位都出身於營運或者財務。其次在整個半導體產業的生態改變,尤其是先進製程,7奈米製程節點是一個關鍵。在2010年初期,全球在開發7奈米技術,都遇到相當的瓶頸。首先若延襲既有浸潤式DUV技術,在關鍵的微影製程,需要經過3次到4次的曝光程序,既費時又費工。當時的EUV,雖然只需1次的曝光,但是由於光的強度不足,每小時晶圓的產出遠低於100片,量產上遭遇困難。整個產業瀰漫著悲觀氛圍,認為技術已經遇到天花板了。換言之,在資源上的投入就不再這麼積極。最後也是最為關鍵的是,英特爾是家IDM的公司,有自己的產品。在這段期間英特爾先後併超過10家公司,比較大的購併案包括Altera (FPGA晶片),Mobileye (ADAS,車用自駕晶片),Habana(AI晶片)等。由於先進製程遭遇到瓶頸,自然地會考慮到CPU之外的產品線,再加上執行長多出身於營運,自然是忽略在技術深耕上的投入。反觀台積電,由於沒有自己的產品,唯一的選擇,只能在技術上加大力道尋求突破,以及與客戶的充分合作。終於EUV的瓶頸打開,加上蘋果(Apple)、NVIDIA等重大客戶,不斷地對於先進製程的需求,最終導致今天英特爾的困境。在COMPUTEX 2024的主題演講上,Gelsinger賣力地介紹自家Xeon 6 伺服器處理器、Gaudi 3 AI加速器,以及AI PC Lunar Lake處理器。其中Gaudi 3以及Lunar Lake是委託台積電生產,分別使用5奈米以及3奈米的製程。這也顯示Gelsinger想要超越過去英特爾的積極作為。個人的觀察,英特爾還是個相當有底氣的公司,Gelsinger的企圖心以及有步調、彈性的作為,若能假以時日,勢必會威脅到超微(AMD)甚至NVIDIA。美國政府也一定會全力來支持英特爾,因為英特爾是唯一擁有半導體先進製程能力的美國公司,而半導體又是全球兵家必爭之地。最後,英特爾是否有機會威脅到台積電的龍頭地位?值得我們深思。
不只見證科技業歷史 我們更是造浪者
不只見證科技業歷史,我們更是造浪者。6月5日美股收盤NVIDIA市值正式超越蘋果(Apple),成為全球第二大市值公司,全球媒體要請黃仁勳評論此事時,都不得不提到他正在台灣參與COMPUTEX。除了NVIDIA自己的活動外,他站台、觀展、四處吃飯逛夜市,用國台語跟產業與民眾搏感情。除了情感上因有這麼一位出生於台灣、又高度參與台灣社會的科技領袖而與有榮焉外,更可貴的是,我們不只見證這歷史轉折的關鍵一刻,更深度參與其中!若回顧全球前十大市值業者的轉變,從2009年年末市值來看,微軟(Microsoft)與蘋果這兩家科技業者位居第二名與第六名,前者主宰著PC OS與生產力軟體市場,後者於2007年推出iPhone正處於開創智慧型手機時代的上升期,此外擁有全球最大行動電話用戶群的中國移動列名第七,但整體來說多數入榜者仍是屬於石油、零售、金融、醫療保健、及食品等舊經濟各領域的龍頭業者。若觀察2018年3月底、美中貿易戰開打前的市值排名,僅有Berkshire Hathaway、JPMorgan Chase、與Johnson & Johnson這三家非科技公司入榜,其餘七家均是美中BigTech業者,分居市值第1~5名及7~8名,依序是蘋果、Alphabet、微軟、亞馬遜(Amazom)、騰訊、阿里巴巴、Facebook。這反應新經濟的大幅擴張、2C端壟斷性網路平台的市場地位(手機OS、搜尋、社群等)及2B端雲端服務發展的方興未艾。若就2022年底的市值來看,此時ChatGPT雖已於11月底推出,但生成式人工智慧(generative AI)的顛覆性風潮仍未在資本市場充分反應,排名中騰訊與阿里巴巴跌出前十,反應外部美中霸權角力下美國對中國的抑制,及內部中國國進民退政策方針下,擴大監管網路巨擘的雙重壓力,而Tesla躋身第七名則意味著碳中和/ESG趨勢下電動車的商機潛力及對創辦人Elon Mask「火星人」般願景下事業布局的期待。隨著科技典範轉移來到了當前的生成式AI浪潮,最新的市值排名中,科技業者分居1~5、7、9名,其中OpenAI最大股東及將GPT全方位導入己身各項服務的微軟位居第一,而NVIDIA市值在相繼超越Meta、亞馬遜、Alphabet後,於6月5日收盤首次超越蘋果,成為第二高市值公司。蘋果曾多年維持全球市值龍頭,2024年陸續為微軟及NVIDIA所超越,這不僅反應誰是引領生成式AI浪潮的主導者,也正式宣告智慧型手機 / 行動連網時代的落幕。從2009年的微軟與蘋果,到最新市值前十大中的所有科技業者,多年來始終都需要以台積電為代表的台灣供應鏈。從AI加速器晶片到AI伺服器,再到資料中心解決方案,再到AI PC,沒有我們,加速運算沒法加速、生成式AI應用沒法落地。很高興NVIDIA創造歷史時正好恰逢COMPUTEX期間、正好黃仁勳人在台灣參與其中,我們是每個時代科技領袖身後的造浪者,過去我們往往不被看見,但如今,整個世界看到我們的貢獻! 
AI解析音樂與尼采如是說
我以AI物聯網分析音樂,並利用其結果來驅動樂器的演奏,稱之為MusicTalk。接下來就想訓練大型語言模型(LLM),將文字與音樂互換,再將音樂用來詮釋影像。最大的應用是電影配樂。要將音樂智慧化以配合影像,科技人必須對音樂的內涵有深入的認識。例如電影的配樂最讓人印象深刻的是1968年電影《2001太空漫遊》(2001: A Space Odyssey)中用史特勞斯(Richard Strauss, 1864~1949)演繹《查拉圖斯特拉如是說》(Thus Spake Zarathustra)這首樂曲的開場。《查拉圖斯特拉如是說》是尼采(Friedrich Wilhelm Nietzsch, 1844~1900)的作品。它不同於一般哲學作品,而是以散文詩完成。尼采曾表示這本書實際上是一部「交響曲」,以一種偽聖經風格撰寫,它包含許多含糊不清且充滿詩意的神秘箴言。我沒讀通這本書,膚淺了解其主要思想是,人類應該擁抱生活、自然、身體和物質存在,包括其中的樂趣和痛苦,而非尋求超越或來世的精神世界。生活即使伴隨著所有的苦難,還是值得為了它的存在而生活。許多藝術家和作曲家受到《查拉圖斯特拉如是說》的影響,但很少有人像史特勞斯那樣深切融入尼采的哲學觀點。1896年時32歲的史特勞斯開始創作 《查拉圖斯特拉如是說》樂章。當時尼采因三期梅毒的感染,已精神失常。史特勞斯將自己作品的各個部分以尼采書中不同章節命名。他嘗試將尼采抽象的文字清晰地翻譯成同樣抽象的器樂音樂。該作品在完成後幾個月內進行首演,其華麗的編曲、複雜的音樂紋理、大膽的和諧和具爭議性的主題,引發激烈的批評和喝采。《2001太空漫遊》使用這首樂曲開場為外太空的日出配樂,符合史特勞斯描繪尼采書中開場的山頂日出情境。開場中的小號旋律呈現「自然」或「世界之謎」動機;它在整個樂曲中反覆出現,象徵著大自然的冷漠和神秘性: 在強烈的開場之後,號角的回應是一個宗教式的旋律,由分散的弦樂器精彩演奏。開場時音樂從柔和到逐漸增強,象徵著人類對一個完美、天堂般、精神上的自然替代的渴望。有了《2001太空漫遊》的例子,我嘗試以MusicTalk反推史特勞斯的音樂,想找出他想表現的意涵,卻遭遇極大困難。史特勞斯曾經開玩笑地說,他可以在音樂中訴說一切,即使人們無法理解,我就是那位無法理解的人,妄想以物聯網駕馭史特勞斯的音樂。《查拉圖斯特拉如是說》太過深奧,AI處理不來。我決定放棄好高騖遠的做法,由小朋友聽得懂的《彼得與狼》訓練MusicTalk,總算有初步成果。這是一個基於物聯網的創新音樂樂器檢測系統。MusicTalk 引入了一種名為亮度特徵基礎Patchout的新穎機制,以提高樂器檢測的準確性,並超越現有解決方案。MusicTalk首次系統性地將單個樂器檢測器作為物聯網設備進行整合,為與其他物聯網設備的交互管理提供有效的方法。我們在MusicTalk中引入一個通用音頻整形器,融合各種音樂公開數據集,如Audioset、OpenMIc-2018、MedleyDB、URMP和INSTDB。我們利用Grand-CAM分析Mel-Spectrograms來優化 MusicTalk中ViT Patchout和CNN的組合,以實現前所未有的準確率。例如,小提琴檢測的精確率和召回率分別達到96.17%和95.77%,這是所有方法中最高的。此外,MusicTalk 的另一個優勢在於其基於物聯網的視覺化能力。通過將樂器檢測器作為物聯網設備整合,MusicTalk能夠使用動畫Avatar來無縫地視覺化歌曲。透過《彼得與狼》為例的案例研究,我們證明,改進的樂器檢測準確性增強音樂的視覺敘事效果。與先前的方法相比,MusicTalk在這首歌曲上的F1分數提高12%。然而,我念念不忘的是,我們訓練AI模型,何時能如同史特勞斯,了解尼采的想法。MusicTalk仍有很大的改進空間。 
生成式AI非泡沫 2030年1.5兆美元商機可期
生成式AI(Generative AI)是AI領域中的部分子集合,未來5~10年全球經濟成長最關鍵的驅動力量之一就是生成式AI。DIGITIMES研究中心於2024年5月完成「生成式AI引領應用與硬體新商機—超前布局未來1.5兆美元市場」專題報告,內容即涵蓋三大部分,分別為「生成式AI技術崛起」、「生成式AI運算力發展,從雲到端」、「生成式AI應用領域案例」等,針對生成式AI最新關鍵趨勢完成一系列研究。根據DIGITIMES研究中心預估,2022~2030年全球生成式AI市場複合年均成長率可望超過80%,在2030年達到1.5兆美元規模,就服務、軟體及硬體三大組成來看,2024年硬體(主要以生成式AI伺服器為代表)佔生成式AI市場最大比重。隨著各垂直領域百花齊放、應用面更為普及風潮下,預估至2030年時,服務將躍居整體生成式AI市場超過一半的比重。許多專家將生成式AI的浪潮及其影響比擬為新世代的網際網路(internet),確實網際網路以其廣泛的應用以及扮演重要基礎建設的角色,對許許多多產業帶來深遠的影響,Google、微軟(Microsoft)、亞馬遜(Amazon)、Meta、蘋果(Apple)、阿里巴巴、百度等眾多新興企業掌握住此一潮流已成為舉足輕重的產業巨人;同理,生成式AI也不會只是短期噱頭(hype),而是會實實在在地影響我們及所處企業、產業及社會未來發展的重要力量。生成式AI今後發展的三大關鍵—模型、運算力、資料。模型方面,從2023年著重雲端大參數量大型語言模型(LLM),2024年增加對邊緣小參數量LLM的關注,以因應為符合邊緣裝置較低運算力及記憶體頻寬的先天限制,雲端大參數量LLM則擴及多模態LLM,領先業者跟跟進業者差距有所拉開。運算力方面,雲端伺服器AI運算晶片成長可期,值得關注生成式AI應用從雲擴及到端,2024及2025年AI NB及AI智慧型手機出貨量及滲透率可望快速攀升,指標晶片業者紛推出可運行邊緣生成式AI推論的晶片,為提升晶片AI運算力,目前以整合神經網路處理單元(Neural Network Processing Unit;NPU)加速器為主流。此外,邊緣運算包括物聯網等應用區隔,AI的影響力也將日益顯著。訓練資料部分,目前指標LLM業者使用英文為主要訓練資料,而繁體中文訓練語料的數量,遠比不上簡體中文,目前繁體中文訓練資料成為模型訓練的一大課題。在生成式AI的應用案例方面,本篇專題報告探討從智慧交通、智慧零售、智慧醫療、智慧製造以及智慧家庭五大類別,以生成式AI普及的速度來看,不管是零售、製造或是家庭生活、移動應用,都有龐大的商機,各種應用情境在2024年開年以來的國際展會包括CES、MWC以及嵌入式電子與產業電腦應用展(Embedded World)、車電展等,都可以感受到此一趨勢。(作者為DIGITIMES研究中心研究總監) 
高頻寬記憶體風雲(三)產業生態樣貌可能的變遷
在討論HBM4標準介面對DRAM產業生態的衝擊之前,讓我們先回顧一下DRAM產業的現況。DRAM產業從2014年的20~22奈米製程,到2024年SK海力士(SK Hynix)跨入10奈米製程,整整花了10年的工夫。如果在過去摩爾定律還適用的年代,這樣速度的製程進展只能算是前進2個世代節點,這是過去用3年時間就可以取得的成果。DRAM製程進展如此遲緩當然是因為DRAM物理特性所造成的限制:DRAM的記憶單元是電容,而電容值(capacitance)與電容面積成正比。在製程持續微縮過程中,電容面積理當會變小,因而電容能保持電荷—就是記憶體單元中的訊號—的時間會縮短,因此每次製程推進時,還要維持電容值不變,這就成了DRAM新製程研發時的最大夢靨。沒有快速的製程推進,就無法在同一面積晶片上提高效能、持續快速的創造新價值。兼之DRAM進入1b、1a製程後,使用昂貴的EUV似乎無可避免,這讓單位面積成本的下降更為艱難。如果製程快速推進無法成為晶片增加經濟價值的手段,就得有其他增加價值的方式。譬如說,創造應用面的價值。目前DRAM在各類應用的標準介面相繼出爐正是此一趨勢的顯現,從原先主流的DDR(Double Data Rate),再到適用於移動系統的LPDDR(Low Power DDR,節能)以及GDDR(Graphic DDR,寬頻)、HBM(大容量、超寬頻)等。也就是說,DRAM產品雖然還有統一的介面標準,但是產品市場正逐漸走向碎片化過程之中。產品市場分化的下一步就是客製化。客製化產品的供應與需求中間的關係是專買與專賣,因此可以很大程度的避開大宗商品(commodity)市場典型的週期性起伏狀況。改變產業的生態樣貌、藉以避免業務及財務的大幅震盪等,也許是這些想客製化HBM記憶體公司的考量之一,特別是記憶體市場現在正在經歷為時不短的週期性價格低谷時期。但是市場開始分割細碎後,規模經濟的威力也會跟著降低。原先DRAM市場由3家大公司寡頭壟斷的局面也可能會因之改變。原先DRAM產業的進入壁壘主要是規模經濟以及先進製程相關的專利障礙。但是現在DRAM製程演進遲緩,兼之有許多小生態區開始出現,可以提供小公司的牛油與麵包,寡頭壟斷的市場生態有可能變化。這也許部分解釋SK海力士目前技術的想法。HBM4記憶體的堆疊部分仍然可能選擇統一的標準介面,在設計及生產上仍能大致維持規模經濟的効力;客製化的任務就侷限於底層的邏輯晶片。這樣的安排大致能維持規模經濟與客製化的均衡,獲取最大利益。只是產業的產品介面標準存在的前提,是所有產業中生產產品的公司以及產品使用者願意共同遵守。如果有些公司選擇專有介面,便無業界統一的介面標準。無論如何,這是2025年就應該會有答案的,而其結果將牽動DRAM產業的生態樣貌。
論AI的自由與約束
在人工智慧(AI)迅速發展的環境中,有關倫理問題以及可能限制其發展的辯論變得日益突出。透過密爾(John Stuart Mill, 1806~1873)的作品《論自由》(On Liberty),我們可以探索合理限制AI發展的觀點,強調在合理的範圍內,個體自由、進步和追求知識的重要性。密爾的《論自由》被嚴復翻譯為「群己權界論」,奠定理解社會控制和個人自由平衡的基礎。我試圖將密爾的哲學應用於當前AI發展的時代背景,以了解如何界定群己權。密爾主張自由開放的思想交流(Self-Development),或「思想市場」 (marketplace of ideas),是社會進步的重要因素。在AI發展的領域中,不受限制的資訊和創新概念流動促進多元觀點環境,有助於知識的成長。密爾強調個體自治(Individual Autonomy)。正如個體應該自由追求自己的興趣和自我發展,AI系統作為人類創造力的延伸,應賦予演進和適應的自主權,以改善人類生活並應對複雜社會挑戰。AI的發展改善人類生活,並增強應對複雜社會挑戰的能力。在此過程中,必須尊重使用者的個體權益,並促進社會和諧。密爾的傷害原則主張(The Harm Principle),限制個體自由的唯一理由是防止對他人造成傷害。密爾的哲學也告訴我們須負責任地謹慎開發AI系統,遵從道德準則並優先考慮人類福祉,讓其發展不會產生本質性的傷害。在AI算法的訓練中,如果基於不公正的資料集或缺乏多樣性而導致歧視性結果,則應限制這類不公平和歧視性的AI應用,確保考慮到社會的多樣性。然而,我們很難限制AI算法,避免其誤入歧途。 可行的方法是在AI晶片的設計中,直接加入艾西莫夫(Isaac Asimov, 1920~1992)的機器人三定律(Three Laws of Robotics),並在晶片製成過程中,將其直接寫入硬體。密爾警告多數的專制(The Tyranny of the Majority),強調壓制少數意見的危險。例如社交媒體平台的AI算法過度強調某一特定觀點,可能形成資訊泡泡(filter bubble),多數用戶僅看到和接觸到相似的意見和觀點。這樣的專制可能使得不同意見的少數群體的聲音被忽視,並進一步加劇社會的分裂和不理解。密爾倡導緊密連結社會進步與知識和創新 (Societal Progress and Innovation) 的追求。AI是人類巧思的體現,從醫療到教育等各個領域實現變革性的進步。然而,AI發展也必須有序權界,社會才會健康的前進。密爾的《論自由》為深入探討AI發展提供重要的倫理框架,強調擁抱個體自由、思想市場和知識追求的原則,是推動人類進步的核心價值。然而,在引導AI發展時,必須謹慎遵循負責任的道德原則。我們可以探索合理限制AI發展的觀點,引導未來AI的方向,確保其符合人類整體利益,並實現可持續、負責任且對人類有益的發展。
高頻寬記憶體風雲(二)記憶體業者的選擇
記憶體產業中個別企業,如何考慮增加HBM頻寬技術方向的選擇呢?SK海力士(SK Hynix)是首先量產HBM的廠家,也是目前HBM市佔率最大的廠家,約佔市場一半的份額,其動向有指標性意義。延伸報導名人講堂:高頻寬記憶體風雲(一)進程技術的分野2023年11月Korean Business報導SK海力士的HBM4將採取2.5D扇出型先進封裝技術,目的是要省卻矽通孔(Through Silicon Via;TSV)昂貴的費用,而且有更多的I/O方式選項。報導中解釋封裝做法是將2片個別的晶片封裝整合成1個,而且無需使用基板,堆疊後厚度會大幅降低。但是完全沒解釋如何將高達12~16層DRAM上下線路連通,而這原是TSV執行的功能。之後的報導都是這個報導的衍生物,未有新的訊息。SK海力士4月19日發布新聞,說與台積電簽訂合作生產下世代HBM的備忘錄。這個合作採用什麼先進封裝技術呢?備忘錄中也未說明,只在末了表示會優化SK海力士的HBM與台積電目前正在使用的CoWoS(Chip on Wafer on Substrate)技術的整合,以響應一般客戶對於HBM的需求。備忘錄中還有一個亮點,SK海力士計劃使用台積電的先進製程來製造前述HBM底層的邏輯晶粒,增加額外功能,以滿足顧客客製化的需求。這個做法以下將展開討論。事實上,SK海力士自己已研發過銅混合鍵合技術,結果也在2022年、2023年發表在學術期刊以及會議論文集(conference proceeding)。另外,SK海力士與英特爾(Intel)和NTT於1月底發布在日本的共同投資,其投資標的也是矽光子。新聞中特別提到記憶體晶片與邏輯晶片的連接,顯然針對的是HBM與CPU/GPU之間連接的應用。只是這投資計畫於2027年量產,對於HBM4的生產是稍為遲了一點。無論如何,SK海力士是做好了兩手準備。台積電早已宣布於2025年開始量產矽光子,雖然起始的客戶可能是其他客戶,但是2026年肯定能用於HBM相關的生產,如果技術的選擇是如此的話。綜合一下上述訊息,SK海力士對於HBM4的規劃大致在原先2.5D封裝或3D封裝之間,取得價格與效能的優化;較長遠的目標則是移往更快、更節能的矽光子。三星電子(Samsung Electronics)也早已驗證以銅混合鍵合16hi DRAM堆疉的HBM,結果也早發表於期刊和會議論文集。三星也在2023 OCP(Open Computing Project)Global Summit中,發表其對於矽光子的想法。前文中類似CoWoS的結構與現今的先進封裝結構相似,開發較容易。但是因為HBM與CPU/GPU底下都得加裝光/電轉換器,而且中介層需要以光通道替代,成本無疑會更高;而HBM置於封裝之外的做法是新嘗試,可能需要更多的發展努力,另外還要腦律散熱問題。無論如何,三星也是做好兩手、短中期準備。但是三星還有自己的邏輯設計、製造能力,包括CPU/GPU的設計和製造生產,它的利害與考慮不一定與SK海力士會一致。美光(Micron)在HBM上是後進者,目前正在急起直追,因此發表或公布的技術方案消息較少。最近的報導是它與其他廠商正在共同開發HBM4,技術方案目前沒有詳細內容,報導只說傾向於採取與南韓廠商不同的方案。HBM4量產預計在2026會先上12hi的,2027接著上16hi的,資料引腳數量會倍增到2,048。HBM4如果有業界共同標準,在2024、至遲2025就應該制定標準並公布,目前似乎離達到產業共識還有一段距離。因為在異質整合技術的採用上仍留有變動空間,而且此一技術選擇將影響記憶體次產業的面貌,甚至整個半導體生態區的重新配置。 
高頻寬記憶體風雲(一)進程技術的分野
高頻寬記憶體(High Bandwidth Memory;HBM)是具有高頻寬的圖形記憶體(Graphic Memory),其主要的功用是支援高效能運算(High Performance Computing;HPC)或人工智慧運算中與CPU/GPU聯合執行高速的平行運算。  HBM由數個DRAM堆疊而成,每個DRAM中又由許多容量較小的記憶體單元組成。大數量的小記憶體單元以高頻寬的I/O與多核的CPU/GPU相連接,當成平行算中使用的緩衝記憶體。 HBM的統一標準由JEDEC於2013年公布,2015年SK海力士(SK Hynix)率先開始量產。 以最近的產品HBM3E為例,其容量可達36GB,DRAM的層數為8~12層(8hi or 12hi)。最重要的,其資料引線(data pin)數目為1024,代表它可以同時提供1,024個數據平行儲存。為了實施如此高的資料引線,在堆疊DRAM與中介層(interposer)之間使用將近4,000個微凸塊(micro bump),而其間距(pitch)相當緊密—55微米,這已經接近微凸塊技術的密度極限。HBM在多層DRAM堆疊的底層中,還有一個邏輯製程的基底晶粒(base die)。DRAM層與層之間的信號由矽通孔(Through Silicon Via;TSV)連接。目前異質整合HBM與CPU/GPU使用的先進封裝技術為CoWoS (Chip-on-Wafer-on-Substrate),是2.5D先進封裝的一種。在此封裝中,HBM與CPU/GPU置於同一平面上。其下有一個中介層(interposer),HBM與CPU/GPU金屬墊(metal pad)中的信號透過與其黏著的微凸塊、由中介層內的連線(interconnect)送到另一邊的微凸塊上,這就是目前記憶體與邏輯晶片異質整合的工作架構。 當HBM要再進一步演化、擴大頻寬,預計其DRAM堆疊的層數將從原先的8~12層,再成長成12~16層。其數據引腳數則自1,024成長至2,048。所需要的微凸塊數目可能會超越以目前的封裝方式所能提供的。未來的HBM要與其協作的邏輯晶片會以何種方式異質整合,即為目前產業界看法有分歧的地方。  要提供更高的頻寬,目前看到的可能技術有2種:銅混合鍵合(copper-copper hybrid bonding)與矽光子(silicon photonics)。  銅混合鍵合的工作概念相當簡單,基本上是將2個分別製造的晶圓上重分布層(Reditribution Layer;RDL)面相對的黏貼在一起—金屬對金屬、氧化物對氧化物。這樣2個晶片之間的資訊傳遞就不必像傳統封裝的方式:先將一個晶片上的信號用與金屬墊(metal pad)連接的微凸塊引出,再用金屬連線將信號送到另一個晶片對應的微凸塊上。  銅混合鍵合大幅縮短信號傳送距離、降低相應功耗,也改善其他的物理性質譬如寄生電容(parasitic capacitance)以及電阻值。最重要的,它的金屬墊間距(metal pad pitch)可以降到10微米以下,最近的學術文章已開發出400微米的金屬墊間距。這個數據顯示用銅混合鍵合能提供比用微凸塊高1至2階秩的頻寬,對於HBM4的更高頻寬的需求顯然沒有問題,而且還有再進化的空間。  矽光子的基礎運作機制也很簡單:用光子來替代電子,成為傳遞資訊的主要載子。它的好處顯而易見:光子的速度比電子快100倍,而且光子在光纖中或光通道中傳導理論上不會發熱,不像電子在金屬中傳導一定會產生焦耳熱(joule heat)。這個事實的應用其實很早就開始實施了。資料庫之間、資料庫至家戸之間早就以光纖替代電纜,接下來的挑戰是在同一封裝中甚或同一晶片中使用光子傳導資訊此一機制,前者就是現在熱議的共同封裝光學元件(Co-Packaged Optics;CPO),而後者就是矽光子。  目前NPU、GPU元件都已進入CPO中試驗並取得成功。這是CPU/GPU與HBM的整合方案之一。實施矽光子的異質整合方法有2種。一種是沿用前述的2.5D先進封裝結構,將中介層的銅連線改變成矽光子的光通道。另外,由於利用光子來傳遞訊息,CPU/GPU與HBM兩頭都要裝上光/電的轉換元件。這個方法產業比較熟悉,但是成本較高。另一種方法是把HBM置於封裝之外,利用矽光子晶片線路與CPU/GPU連接。這個方法DRAM部分可以維持相當的獨立性,但是開發可能需要較長的時間。 相對的,銅混合鍵合在近年來已漸趨成熟。除了CIS(CMOS Image Sensor)早已派上用途外,像超微(AMD)將CPU與SRAM分別製造後,再用銅混合鍵合異質整合在一個3D先進封裝之中。這些都是此技術成功應用的範例。矽光子與銅混合鍵合就是現在產業界面臨的技術方向抉擇,這個抉擇的後果影響既深且遠。