智慧應用 影音
世平興業
event

科幻片中的理想AR眼鏡 Meta科學長:既有運算架構尚難實現

Meta Reality Labs科學長Michael Abrash月前發表演講時不諱言,要實現科幻電影中擴增實境(AR)眼鏡的概念產品,現有運算架構必須要有較大幅度的進展。

Meta Reality Labs科學長Michael Abrash表示,要讓AR無所不在,需要一系列更激進的技術改良、精進,無論是在硬體或是軟體端。法新社

Road to VR引述Abrash說法報導,儘管目前市場上已有多款所謂的「AR」頭戴式裝置產品,但還沒有一款能夠做到一般眼鏡的類似設計、特別是在體積方面。現市場上表現較佳的AR裝置以微軟(Microsoft)HoloLens、Magic Leap 2為首,仍較似於眼罩而非眼鏡,無論重量或舒適度都無法用上一整天。

Abrash認為,要讓AR無所不在,那首要就是打造出眼鏡外觀一般的裝置、能夠撐上一整天的電池容量、以及令人驚豔的AR體驗必要功能;為此,將需要一系列更激進的技術改良、精進,甚至某種程度的典範改革,無論是硬體或是軟體端。

這也意謂著,至少Meta不認為既有技術足以支援理想中的AR眼鏡裝置;但至少該朝那些技術精進已有了較明確方向。其中最關鍵、最需要改進的技術,就是如何大幅降低電力消耗,以滿足電池續航力需求,同時減少發熱。這需要對電池進行系統級的深度反思,從硬體到軟體進行端到端的協同設計。

要實現科幻電影使用自如的AR眼鏡,現有運算架構及軟硬體開發都得再加把勁。法新社

能耗最高的運算作業主要在於數據傳輸,不僅是無線數據傳輸,就連裝置內部不同晶片間的數據傳輸也相當耗電;其中記憶體耗電量佔比最高,以手勢追蹤技術為例,SRAM+DRAM的能耗佔比高達54%,運算(compute)為35%,而互連(interconnect)則為11%;同時定位與地圖建構(SLAM)來看,SRAM+DRAM能耗佔比更高達78%,運算為19%,互連更僅為3%。

因此,要降低能耗的關鍵之一將在於如何儘可能減少數據傳輸;為此,需要開發出一種新的運算架構,在整個系統中分散配置運算作業,而不是在集中式運算中心間混合處理大量數據,以最大限度減少耗電的數據傳輸。

而這樣的分散式運算架構可由AR裝置上多個鏡頭開始著手,藉由鏡頭本身內建的感測器進行初步運算處理,排除所有不必要資訊、最終將關鍵的數據資訊傳送出去,最大程度降低數據傳輸必要。為此,硬體在設計時就必須考量與鏡頭感測器連接的特定演算法,以讓數據進行傳輸前先在感測器本身上進行初步處理。

Reality Labs已開始著手解決上述挑戰,並已開發出專為AR眼鏡設計的低能耗、高性能,且能進行初步數據運算的鏡頭感測器,使用一組所謂的數位畫素感測器,可同時在三個不同等級光源下捕捉每個畫素上的數位光值並進行儲存,並決定最終傳輸哪一個,而非全數上傳。如此一來,不僅減少數據傳輸的能耗,同時也大幅增加了感測器的動態範圍(可同時捕捉昏暗和明亮光源)。

Meta希望也能將深度神經網路(deep neural network)導入感測器,用於眼球和手勢追蹤,但Abrash認為,這在硬體進一步創新前不太可能發生,例如研發出感測器上機器學習(ML)運算所需的超高密度、低能耗記憶體。這不能僅靠單一家公司,而是需要整個產業團結起來才能夠大規模實現;特別是AR眼鏡關鍵元素之一的磁性記憶體(MRAM)必須要半導體業者的鼎力相助。


  •     按讚加入DIGITIMES智慧應用粉絲團
更多關鍵字報導: AR眼鏡 感測器 AR Meta