智慧應用 影音
科政中心
12/16 Research產業趨勢論壇

AR打造「聽覺超能力」 Facebook Reality Labs造福聽障

Facebook結合波束成型、噪音消除、深度學習、AR眼鏡強化聽覺能力。Facebook

Facebook Reality Labs嘗試結合波束成型(beamforming)技術、噪音消除、深度學習、擴增實境(AR),以創意改善人們在吵雜環境的音訊接收能力,相關技術結合AR眼鏡與助聽器,即成為一套能依個別使用者聽力與需求調整的聽覺輔助系統,可望造福聽障人士。

根據Immersive Technology報導,Facebook一向致力於強化人們的聯繫與溝通,Facebook Reality Labs的使命也符合Facebook的核心能力,首席科學家Michael Abras表示AR與虛擬實境(VR)可望在無障礙領域促成許多絕佳的應用方式,而未來AR眼鏡也能為聽力有問題的人或是人聲鼎沸活動的參與者提供各種強化聽力的協助。

Facebook Reality Labs的科學家嘗試根據AR眼鏡的焦點變化與音訊輸入,推測AR眼鏡配戴者希望聽到的聲音頻道且加以放大,並將其他聲音頻道的音量降低,讓AR眼鏡配戴者能接收到更清晰的目標聲音頻道。Facebook還在辦公室模擬酒吧的情境,以測試當環境中有多個吵雜聲音輸入時,AR眼鏡對於辨識與凸顯目標聲頻的助益。

雖然許多聽障人士仍或多或少能在安靜的環境中聆聽並與人溝通,但若是在吵雜的環境就完全無能為力,不過由於助聽器在移動的車輛中,或是大型活動有多人對話等日常生活使用場景的表現不理想,因此許多重聽者並未使用助聽器,不過Facebook Reality Labs運用AR眼鏡強化聽力的方式可望改善這個問題,讓更多人願意使用助聽器並獲得實質助益。

Facebook Reality Labs結合AR眼鏡與一套能理解使用者意圖的系統來輔助助聽器,根據AR眼鏡的焦點將使用者希望聽到的聲音獨立出來並放大音量,且同時間抑制與降低背景等其他會分散注意力的音訊與雜音音量,處理過的音訊訊號再輸入助聽器讓使用者聆聽,即可構成一套能個人化調整以符合特定使用者聽覺需求的助聽器輔助系統。

Facebook聽覺科學實驗室(Hearing Science Lab)的研究領導人Thomas Lunner指出Facebook Reality Labs運用AR眼鏡與空間音訊特性強化聽覺能力的研究,可望對Facebook在影像辨識與自然語言處理等許多相關研究領域的發展提供助益。

  •     按讚加入DIGITIMES智慧應用粉絲團
更多關鍵字報導: AR Facebook