七鑫易维新出VR眼球追踪技术,打破传统虚拟现实玩法

镁客 8年前 (2016-02-05)

眼控VR全视场角追踪技术,创造虚拟现实新需求。

现在已经出现了不少360度全景相机,可以进行全视角的体验。然后也有不少VR设备具备这一功能,但是一直都没能实现眼控的VR全视场追踪。国际上知名的SMI、Tobii等眼球追踪技术公司也还没有对外公布这方面的任何消息,或许可以将希望放在国内眼球追踪技术公司上。

近日,有消息显示,七鑫易维的眼控VR已经成功研发出来了,目前已经进入测试阶段,实现了眼控交互和局部渲染的功能。

七鑫易维新出VR眼球追踪技术,打破传统虚拟现实玩法1

从技术层面上来说,VR设备上的眼控技术与电脑上的眼控技术有很大的不同,使用条件和结构都存在很大的限制,而在光学设计和追踪算法上面也要精细和复杂的多。

用户使用VR设备时,眼球和设备的距离非常小,瞳孔、虹膜、眼球都不在摄像头的正面,甚至还会被眼睑和睫毛挡住,因此传统的算法很难准确定位到眼球,那么使用传统追踪方法获取的人眼模型就会凸显出来,这时眼球的转动就会对图像产生非常大的影响,一样的转角造成的运动模糊也会变得相当大,在图像的处理方面会加深不少难度。

因此,针对这一问题,七鑫易维可以采用特殊的光学装置,优化追踪算法,更好地捕捉人眼的特征点,同时还不影响VR设备的体验效果。

眼控VR的优势

全视场角的追踪

在VR设备上的眼球追踪范围可以说是几乎达到了人眼转动的极限,即垂直30度,水平50度,完全覆盖了FOV大于110°的主流VR设备。因此,按照人眼转动的极限值来设计追踪方案的话就可以使得追踪的范围变得非常的广,几乎可以达到无死角覆盖VR显示屏幕。

高精度与低延迟

七鑫易维新出VR眼球追踪技术,打破传统虚拟现实玩法2

除了在追踪范围上有高要求之外,追踪精度也是一个非常重要的元素。特别是体验VR游戏的时候,更需要操作的实时性与高精度性。想要玩家几乎感受不到延迟,就必须做到高速度的眼动数据获取,而眼球追踪技术正可以很好的解决这一问题。

防抖追踪算法

一般的VR设备都是头戴式的,因此大部分的VR应用都是结合头部的动作来实现的,但是在头部转动的过程中就会发生VR设备的串动,这时想要获取更精确的眼球数据无疑是一件相当困难的事情。

因此,这对这个问题,七鑫易维还特别增加了防抖追踪算法,这样就不会因头部的转动而产生眼球追踪精度的偏差。

眼球追踪技术的实现可以给VR带来全新的玩法,比如射击游戏中实现眼球控制目标锁定的功能,只要玩家闭上一只眼睛,就会自动调出瞄准镜;或者根据玩家在场景中不同的注视点而触发不同的剧情;当注视路口的时候就可以自动调查地图进行导航;或者是注视NPC不同的部位可以触发不同的剧情等等一系列的新功能。

除此之外也可以用于游戏菜单,不需要时可以自动隐藏,需要时则需要通过眼控进行触发,这样VR界面就会显得更加清爽。

七鑫易维新出VR眼球追踪技术,打破传统虚拟现实玩法3

眼控VR的市场前景

由于眼控技术可以带来更加新奇的玩法和更为便捷的操作,因此不少厂商都非常重视这一技术的研发。而七鑫易维这款眼控VR设备,算法追踪速度已经达到240Hz,延迟低于5ms,实现全视场角追踪。对saccade处理,即快速眼动跟踪主要是通过眼跳基于高速追踪时,对眼球转动矢量进行处理得到,高于某个阈值就认为是眼跳。

业内人士表示,眼控技术最重要的方向不是在于控制,而是显示的优化与社交的实现,因为视线的捕捉、重建可以直接影响情感的表达。有人猜测,将来眼控VR会是头显设备的标准配置功能。尽管以目前的技术来看,在交互上还需要更多的内容与支持,但是从整个VR市场的发展前景来看,这是功能的实现都仅仅是时间问题,七鑫易维也是更侧重与交互的作用上面。

Facebook也曾经和七鑫易维洽谈过,表示希望七鑫易维的眼球追踪技术可以运用到Oculus二代的产品当中,而国内的公司也希望将眼球追踪技术加入到下一代产品中,增加竞争的优势。

虽说现在的行业内外都在说2016年将是VR的元年,迎来真正的爆发期,在游戏和互动娱乐上的前景已经是非常明朗的了,但是整个VR产业其实依旧处于襁褓期。现在依旧不能明确地知道什么样的体验才是最好的,怎样为虚拟现实寻找更多的落地方式等等,这些问题的答案依旧在探寻之中。除了国际知名的Oculus这样的老大产品之外,国内外大大小小的VR企业都在不断创新,致力于VR产业的发展之道。

其实眼球追踪技术并不是一个全新的产物,之前早已在霍金等残疾人士身上发挥作用,但是运用到VR领域还属于一种全新的尝试。一位业界的资深人士表示:将眼球追踪技术运用到VR中,结合NVIDIA的Gameworks VR来做多分辨率的视口渲染(眼球聚焦的区域采用高分辨率,其它区域采用低分辨率),不失为一种可行的优化策略;亦或是将它作为一种结合头盔的新奇互动方式,用在未来的VR游戏中也是可以的。但是这些构想恐怕都不能直击行业的痛点,而是类似当年Leap Motion或者Myo的做法,可能引发一个有趣的新话题,但是也难免会出现后继乏力的现象,不能真正普及到一般使用者中间。

因此,还需要更多诸如此类的技术,不断地去进行更多的尝试,不断地去促进虚拟现实技术更好的落地,研发出针对每一位用户真正核心需求的产品,才能使得这个行业生根发芽,真正地存活下来。

最后,记得关注微信公众号:镁客网(im2maker),更多干货在等你!

镁客网


科技 | 人文 | 行业

微信ID:im2maker
长按识别二维码关注

硬科技产业媒体

关注技术驱动创新

分享到