智慧應用 影音
電子時報行動版服務
DWebinar0824

TetraMem打破現有處理器架構 打造IMC晶片助力AI應用

TetraMem共同創辦人暨執行長葛寧。TetraMem

TetraMem是位於加州的半導體新創,以創新的記憶體內運算(In-Memory Computing;IMC)架構及半導體裝置提出解決方案,克服馮諾伊曼(von Neumann)架構瓶頸,提升節能效率和運算速度。DIGITIMES專訪TetraMem共同創辦人暨執行長葛寧(Glenn Ge),暢談技術創新突破以及對未來產業發展的看法。

 問:每家提出解決方案的都有自己的故事。為什麼4年前您會走上創業之路?是否能說明一下團隊背景?

 點擊圖片放大觀看

TetraMem公司小檔案

TetraMem是在2018年成立,有4個共同創辦人。我(葛寧)本身是半導體工程背景,有1個微電子博士學位及3個不同領域的碩士學位。2002年本科畢業後,在大學做了2年研究,然後在意法半導體(STM)工作2年。之後在惠普(HP)不同部門工作約12年。

葛寧的專長是科技創新和商業化,發表了一些學術論文與700多個國際專利(大約250個是美國或PCT專利)。其中有170多個已經授權了,應用在多種大規模量產的商品上。

首席科學顧問楊建華,是威斯康辛州立大學麥迪遜分校的材料學博士。目前在南加大擔任教授,也以在內存器件和類神經計算的貢獻當選IEEE Fellow。他是器件領域的專家,在RRAM和憶組器發表過很多篇極具影響的論文。

第三位共同創辦人夏強飛是首席製程顧問,美國普林斯頓大學博士,現在是麻省大學Amherst分校正教授,也有20幾篇頂級論文。另一位共同創辦人是胡淼,美國匹茲堡大學博士,之前曾在美國賓漢姆頓大學擔任助理教授,十餘年一直從事IMC和神經網絡計算晶片研究,為了公司發展辭去教職,目前全職擔任首席技術長。

問:各位履歷中都剛好有在惠普(HP)憶組器研究項目的經歷,當初都是同事嗎?

我們四個創辦人剛好都是惠普實驗室前後期的同事,互相都認識,但在職時間不一樣。之前惠普的記憶體項目的理念過於超前, 器件研發以內存應用為導向, 而相關選擇器(selector device)還不成熟,在商業化方面的應用還在探索中。

在這領域裡,TetraMem的研發以計算加速為導向,已經累積了RRAM與憶組器應用在存儲及IMC方面超過近20年的研究經驗。其他成員也很資深,具備結合產學研於一體的能力。

問:TetraMem與其他對手的差別是?應用案例有哪些?是否有量化的效能改善例子可以參考? 

我們專注於IMC,可運用於雲端或邊緣端AI運用,利用TetraMem晶片可運算、可儲存的特殊物理屬性,進行矩陣乘加計算。這個方法不屬於馮諾伊曼架構,是在記憶體中直接運算,故不需要大量數據移動,極大化地節省能耗。現有AI晶片領域最大挑戰就是馮諾伊曼架構瓶頸,即使處理器製程再先進,數據搬運仍是最大的問題,這會使計算效率大大降低。

TetraMem產品是將神經網路參數直接存在晶片裡面,饋入的訊號不管是聲音、影像還是圖片,直接在晶片中處理。此外,也節省許多中間端(intermediate)數據。因此,運算效率能有百倍甚至千倍的提高。但最核心的問題,仍在於半導體裝置以及系統統籌設計。

合適的半導體裝置需要花很大的力氣去研發, 全世界很多公司都在研究此領域。系統中其他部分也要和相應的半導體裝置一起設計和優化,達到最好的效能指標。這當中有很多技術性的瓶頸,TetraMem已經3次成功設計定案,也在努力工作爭取從2023年底進行IP授權和量產。目前已經申請48項美國專利,16項已獲批准。

目前這個市場規模已經非常大,我們的商業模式也比較有彈性,提供技術和晶片都是可能的。基於馮諾伊曼架構的數位處理器如CPU/GPU/ASIC都有需要克服的問題,首先是摩爾定律,其次是記憶牆瓶頸,最後是散熱問題。因此IMC的計算憶阻器就有其特殊價值,但它對半導體裝置的要求很高。

問:請說明in-memory computing(IMC)和near-memory computing(NMC)的差別以及最關鍵的挑戰是什麼?

業界很多傳統業者使用的仍然是數位的馮諾伊曼架構。這種解決問題還是漸進式打補釘的方式。比如,高頻寬記憶體CPU的做法,就像是把原來4線道馬路拓寬成為100線道。

NMC如名所示, 通過架構和硬體拉進運算和儲存的距離來提高數據搬運效率。舉個例子來說,就像台南和台北,台南負責運算, 台北負責儲存。台南和台北距離很遠,高速公路上車子也很堵,數據搬運就有問題。

如果把台南拉近到台北旁邊,讓所有計算用的數據都在非常快速讀取的區間供計算單元使用, 那就比較類似near memory的做法。IMC的做法是把台南和台北二合為一在一起,既是儲存單元,也同時用同樣單元從事計算工作, 這樣就非常有效率了。

問:近來半導體代工廠量能滿載,你們的量產計畫會否遇到問題?

我們認為晶圓廠量能滿只是暫時問題,很大程度上是COVID-19疫情前產業鏈存貨不足造成的,但疫情來了使得業者恐慌,所以急著囤貨。但現在疫情已經趨於常態化,而且每一家半導體公司都在擴產,預估2022年下半除了少數MCU或是類比IC這類開發週期比較長的產品外,產能吃緊的狀況都會有所改善。

TetraMem計劃2023年小量量產,晶片荒的問題目前對我們沒有影響。如果2023年產能鬆動了,對我們會是利好消息。

問:產品會應用在哪些邊緣端的裝置上?

視覺晶片跟TetraMem的晶片如同天作之合,因為視覺畫素就是矩陣,本身就是矩陣式的類比訊號,這記憶體儲存處理器本身也是個矩陣,處理的方法也是類比信號處理,將來可以類比信號之間對接。如果做好的話,能把能耗效率從目前的水準提高10倍、百倍,處理速度也會更快,但這對吞吐量(throughput)的要求很高。

我個人非常看好未來的汽車市場,會是人類第二個「家」。未來如果車子能自動駕駛,載著乘客到處跑,人們會願意花更多錢和時間在車子上,因為可以在車上工作、休息、娛樂等。這和未來的6G或低軌衛星通訊技術加起來,會極大改變大眾工作生活方式。雖然汽車銷量未必會有大幅增加,但汽車智慧和價值提升會是一種趨勢。

這領域我們也分成二部分,其一是與駕駛有關,也就是所謂的ADAS系統,這要求是最嚴格的;另外一個是駕駛者輔助系統,比如DMS,監測駕駛是否出現疲勞狀態,若有異樣就會發出警示。

美國曾有立法要求在車子裡裝設感測系統,如果有小孩不小心被粗心健忘的家長忘記,鎖在車子裡,就會自動發出警報;另外有個功能,晚上時利用攝影鏡頭,將車子周圍的環境影像投射到車子LED面板裡。這二個方面有很多的市場機會。

但這對感測器、處理器要求特別高,處理器大概需要達到4,000~5,000 TOPS才做得到,我們會將優先順序放在消費電子裝置之後。自駕車是個大趨勢,但還有很長的路要走,這個趨勢一定會來到,也還需要軟體方面的進步。

問:TetraMem和台灣半導體產業會有那些合作機會?

台灣是半導體產業重鎮,晶圓製造、封裝、測試,加上一些下游廠商,太多合作機會了。目前我們使用的製程是65奈米,2023年開始利用40及22奈米的製程,未來發展會至16奈米, 7奈米甚至5奈米。但先進製程還是比較昂貴,現在客戶主流需求還是在65、40、22奈米製程的水準。

22~28奈米是一個分水嶺,因為28奈米以下沒有NOR Flash,而16奈米是另一個分水嶺,以下才有FinFET製程。因為我們是把前端後端分開,是在後端進行計算,對於前端不管幾奈米的製程,將來都可以支持。

問:您對AI加速器/IMC市場規模如何看?未來幾年成長能有多少? 

IMC是種顛覆性的技術,對許多現有的數位處理器是非常好的互補,有助於新應用的開拓,對於市場規模來說,我們跟AI晶片能滿足的市場高度重疊,因此ARK Big Idea預估,AI晶片能從2020年50億美元的基礎上,以33%的年複合平均成長率(CAGR)持續增加,到2025年達到220億美元,這是合理的估算。

  •     按讚加入DIGITIMES智慧應用粉絲團
更多關鍵字報導: AI 半導體產業