智慧應用 影音
Advantech
event

Facebook AR/VR手勢追蹤技術 打造近乎真實虛擬鍵盤

FRL開發新手勢追蹤系統技術,使用手部動作做為輸入媒介,並將手指動作直接解碼為要鍵入的文字。FRL

相信使用過擴增實境(AR)或虛擬實境(VR)裝置的使用者都有相同感受,就是當要進行搜尋或鍵入資料時,必須在虛擬鍵盤上使用紅點或是控制器一個字一個字的找跟點選,不僅慢又累。而Facebook最新開發的一項AR/VR裝置適用手勢追蹤技術,可望能夠改善這種情況。

儘管目前Facebook旗下Quest已導入基礎手勢追蹤技術,能夠讓使用者在系統介面上拖拉、點選、瀏覽網路、甚至進行特定相容遊戲,而無須額外的控制器,但這個技術上無法支援到追蹤手指動作,例如在虛擬鍵盤上打字。

為此,Facebook Reality Labs(FRL)嘗試開發出更細膩的手勢追蹤技術,包括手指動作在內,讓這項技術能開發出更多應用。根據介紹,研究人員採用高精準的外部手勢追蹤系統,使用動作模型來預測使用者打算在平坦表面上打字的內容;這項技術可獨立辨識個別手指在虛擬鍵盤上的移動。

FRL表示,這項基於手勢追蹤系統的技術採用手部動作做為輸入媒介,並將手指動作直接解碼為要鍵入的文字。不過FRL也表示,目前仍在早期研發階段,但某種程度已證明手勢追蹤對提升生產力的潛力,例如在任何表面上快速打字。

研究指出,必須克服的主要障礙之一是如何降低手勢追蹤系統「打錯字」機率,在沒有鍵盤觸覺反饋的情況下,研究人員選擇以人工智慧(AI)技術來進行邏輯預測、分析使用者手指下一個動作會落在哪個字母上。同時也採用了自動語音辨識的統計解碼技術,加上語言模型共同協作,以求更精準預測使用者打算鍵入的文字,降低打錯字機率。

透過上述模式,測試人員在平坦表面上使用雙手每分鐘打字73個單字,未效正錯誤率為2.4%,相較於同一人員在實體鍵盤上打字的速度和準確度相差無幾。

當然,相關技術(包括手勢追蹤在內)都仍有很大改進空間,這也是FRL持續推進的目標;且預期Facebook也將會把相關技術導入持續開發中的AR裝置上。透過Oculus Quest裝置進行創新技術測試也似乎成為Facebook邁向更先進AR裝置的合理模式。

FRL手勢追蹤技術介紹影片連結一

FRL手勢追蹤技術介紹影片連結二

  •     按讚加入DIGITIMES智慧應用粉絲團
更多關鍵字報導: Facebook AR VR 手勢追蹤