研究发现：面部表情有助于拓宽VR和AR的可访问性选项

盖世汽车讯 据外媒报道，来自格拉斯哥大学（University of Glasgow）和瑞士圣加仑大学（University of St. Gallen）的研究人员在开展一项新研究，仅使用面部表情准确控制计算机，使残障人士更容易获得增强现实（AR）和虚拟现实（VR）技术。

图片来源：格拉斯哥大学

研究人员们发现，Meta的Quest Pro耳机可以可靠地识别七种简单的面部动作，使用户能够在AR环境中控制VR游戏和浏览网页。

研究结果可以让广泛使用的VR头戴设备为残障人士提供与计算机交互的新方式，并为每个用户提供更多免提控制选项。

研究人员要求20名非残障志愿者尝试移动他们的面部表情，以匹配Quest Pro软件已经识别的53种表情。

这些表情被称为面部动作单元或FAU（Facial Action Units），通常由头戴式设备的板载摄像头捕捉，以将现实世界的面部表情转换为在线环境中的虚拟面部表情。

志愿者们被要求重复做每个表情三次，每次保持面部姿势三秒钟。他们对每个表情的舒适度、易用性以及他们感觉自己做得有多好进行评分。

测试表明，突出面部不同区域的七个FAU在耳机可靠识别和用户经常重复的舒适度之间提供了最佳平衡。他们张开嘴巴；眯起左右眼；鼓起左右脸颊，并将嘴角拉向两侧。

格拉斯哥大学计算机科学学院的Graham Wilson博士表示：“有人认为VR本质上是一种残障人士技术，因为它通常需要用户用控制器进行灵巧的手部动作或进行全身运动，而并不是每个人都能轻松地完成这些动作。这意味着，目前存在阻碍VR和AR体验广泛普及的障碍。”

“通过这项研究，我们热衷于探索市售VR耳机的功能是否可以进行调整，以帮助用户仅使用面部准确地控制软件。结果令人鼓舞，并且可以帮助为残疾人士乃至更广泛的人群指明使用技术的新方式。”

为了测试团队确定的七种面部动作的有效性，研究人员建立了自己的神经网络模型，以97%的准确率读取Quest Pro捕捉到的表情。

然后，他们要求10名非残疾志愿者使用头戴式设备执行两项不同的任务，这代表了该系统未来的典型用例。首先，志愿者在VR游戏环境中使用面部表情来转身、选择选项和射击武器。然后，他们在AR环境中使用面部来滚动、选择和浏览网页。在这两种情况下，他们还使用传统的手持式VR控制器来比较体验。

参与者报告称，虽然控制器为游戏提供了更精确的输入，但使用面部表情效果更好，无需过多努力即可提供有用的控制水平。他们还发现网页浏览体验简单直观，并表现出未来使用面部输入的强烈意愿。

格拉斯哥大学计算机科学学院Mark McGill博士表示：“这是一项相对较小的研究，基于在非残疾人士的帮助下获取的数据。然而，它清楚地表明，这七种特定的面部动作可能是现成硬件最容易识别的，并且可以很好地转化为我们可能期望使用更传统的VR和AR输入方法的两种典型方式。”

“这为我们未来的研究奠定了基础。我们计划在进一步的研究中与患有运动障碍或肌肉疾病等残障人士合作，为开发人员和XR平台提供新的建议，帮助他们扩展无障碍选项，并帮助他们摆脱手动和基于控制器的输入的限制。”

这项研究的潜在应用不仅仅是扩大无障碍。研究人员还强调了如何让耳机使用面部表情控制来帮助用户更舒适地执行一系列日常任务。他们建议用户可以在双手满满地走路、做饭或执行需要清洁双手的任务时控制AR眼镜。它还可以帮助用户在公共场所更谨慎地控制设备。

该团队还免费在线提供他们的数据集，以鼓励其他研究人员探索他们自己对被认为对软件面部控制最有用的FAU的潜在用途。