智慧應用 影音
IBM
event

辨識表情並轉為Emoji 耳機助攻VR溝通

C-Face隔著口罩也能辨識表情。Cornell University

康乃爾大學(Cornell University)研究人員開發出一種耳掛式耳機C-Face,藉由追蹤用戶臉部輪廓來辨識表情,並轉換為表情符號(Emoji)或無聲語言命令。

據Electronics360報導,C-Face由2組微型RGB攝影機組成,位於耳機或耳機的耳朵下方,可記錄臉部運動引起的輪廓變化,以利在沒有相機正對用戶臉部的情況下分析情緒。

即使戴著口罩,C-Face也可以捕捉用戶表情。為方便分析表情,C-Face在虛擬實境(VR)環境裡建立化身,顯示用戶的臉表達出感覺。

C-Face抓取圖像後會使用電腦視覺和深度學習模型重建用戶表情,而人工智慧(AI)網路則以2D原始數據替用戶輪廓表達情緒。

AI將臉頰圖像轉換為42個點。這些點分布在嘴巴、眼睛和眉毛的形狀等受表情變化影響最大的區塊。

這些點再轉換為8種表情符號或無聲語言命令,可用於控制音響裝置,對於身處保持安靜的環境或不想出聲的用戶非常實用。

除了用來控制智慧裝置,這樣的表情符號翻譯也可以幫助VR協作者們相互溝通。此外,也可以用在線上課程,從學生表情變化收集課堂參與度等資訊。

目前該耳機最大的障礙是受限於電池容量,不過研究團隊正致力於開發具更高電池容量的裝置。


  •     按讚加入DIGITIMES智慧應用粉絲團
更多關鍵字報導: 表情辨識 VR 智慧應用