无需VR外设,普林斯顿学霸用DeepHand解放你的双手

镁客 8年前 (2016-06-28)

普林斯顿大学的研究人员用深度传感摄像头和深度学习网络开发DeepHand系统,可以把手势运动整合到VR环境中去。

你能想象当你体验VR游戏的时候,手上再也不用戴上一些额外的设备就可以在虚拟现实中“纵横捭阖”吗?普林斯顿大学的学霸们给你yes的答案。

无需VR外设,普林斯顿学霸用DeepHand解放你的双手

在VR中最常见的输入方式是用操作杆或者手柄,也会有眼控以及声控等,不过就目前发展状况来看,手势识别更有可能成为主流。此前来自荷兰的开发团队就推出过名为Manus VR的手套,他们利用位置追踪技术实现手部追踪,让玩家摆脱手持控制器的束缚。

普林斯顿大学研究的这款系统叫做DeepHand,其工作原理有点类似于Leap Motion的深度手势识别基础功能Orion。基于双目识别技术的Orion提供了一种新的手势识别的输入方式,它通过双目摄像头采集信息,经过一系列的流程将手部的活动信息实时反馈到处理器,最后显示在VR头显中。

无需VR外设,普林斯顿学霸用DeepHand解放你的双手

Orion的手势识别原理

而DeepHand也是通过摄像头采集各种角度和方式的手势变化,之后经过深度学习网络开发的特定算法,在存有超过250万手势的数据库中快速扫描,匹配出精确度最高的手势动作,最后在VR环境中显示出来。

无需VR外设,普林斯顿学霸用DeepHand解放你的双手

DeepHand的工作原理

该研究论文的作者Ayan Sinha表示:“我们能够识别手势的不同角度,通过摄像头观察不同的角度变换,算法将其转化为数字信号,然后在VR环境中呈现。”同时为了确保虚拟手势运动能够得到快速反馈,研究人员们主要通过判断数据库中手势动作的数字位置,然后推算出其邻近的数字位置,进而预测手势变化的可能性。

这是深度学习网络中,研究人员首次使用DeepHand识别手势,并将其反馈到数据库中。虽然在运行这些数据的过程中需要强大的计算处理能力,但是对于一台普通配置的电脑来说仍然是可以驾驭的。我们可以期待这款识别系统真正投入使用中会与VR产生怎样的“化学反应”。

最后,记得关注微信公众号:镁客网(im2maker),更多干货在等你!

镁客网


科技 | 人文 | 行业

微信ID:im2maker
长按识别二维码关注

硬科技产业媒体

关注技术驱动创新

分享到