增强现实AR智能眼镜的关键技术标定跟踪与交互

author
0 minutes, 15 seconds Read

前言

 

增强现实AR智能眼镜是当前社会比较主流的可穿戴AR设备,是除了手机、平板电脑之外最重要的增强现实支撑设备。 在上一篇文章中,我们讨论了光学透视头戴式显示器相关的校准技术。 事实上,增强现实AR智能眼镜是一种光学透视头戴式显示器。 本文将讨论目前市场上一些主流AR眼镜设备的相关校准、跟踪和交互技术。

1 增强现实AR智能眼镜介绍

增强现实AR智能眼镜是一种光学透视头戴式显示器。 为什么一定要强调光学透视的特点呢? 因为除了光学透视之外,还有视频透视,而视频透视增强现实是将AR图像(包括真实元素和虚拟元素)统一渲染并呈现给用户,而不是光学上合并虚拟元素与物理真实场景。 从技术角度看,看似实现简单,但却无法给用户带来最佳的虚实融合体验。 因此,目前主流设备已经放弃视频AR,主要转向光学透视AR。

据笔者了解,目前市场上的光学透视增强现实AR智能眼镜主要有两种类型。 如有遗漏,敬请谅解。 (1)一体式智能眼镜。 此类眼镜的计算单元、电源和显示单元全部集成在一起,技术难度大、成本高。 例如HoloLens 2。 (2)分体式智能眼镜。 这类眼镜通常将电源和计算单元分离成类似于手机的处理单元,但显示单元做成眼镜,实现了智能眼镜的小型化和轻量化。 不过,由于显示模块没有供电,智能手机与处理单元之间是通过线连接的,这对用户体验造成了轻微影响。 但不得不说,这是一个比较合理的妥协。 分体式智能眼镜的典型产品有Magic Leap One、NED+ Glass X2、Nreal Light等。

以上两种眼镜都可以直接连接PC进行调试,因此这里不再单独讨论基于PC的眼镜。

现实增强技术作用_现实增强技术_ar增强现实/

2 增强现实AR智能眼镜关键技术

如果您要制造一款可用的 AR 智能眼镜,有一些技术是您无法回避的。 鉴于目前市场上已经有很多AR硬件,而且也比较成熟,这里只分析软件技术。 AR眼镜涉及的技术包括:(1)校准技术,帮助用户准确观看; (2)跟踪技术,帮助用户平稳行走; (3)交互技术,实现多元信息交流。 下图以Google Glass为例,展示了这三种技术之间的联系。

现实增强技术_现实增强技术作用_ar增强现实/

2.1 标定技术

与跟踪和交互技术相比,校准技术是一项容易被忽视但却不可或缺的关键技术。 鉴于光学透视AR眼镜的特殊原理,我们往往无法直接获取人眼在目标空间的坐标位置,而是需要标定人眼和AR眼镜的跟踪系统,实现“物理透视”。 “环境”——“跟踪系统”——“人眼成像”的路径,保证人眼能够看到准确的虚实融合效果。 有很多产品直接将跟踪摄像头的位置等同于人眼的位置。 这样做的结果是人眼看到的虚拟元素与物理现实分离并且没有被记录。 直观的表达是“当头部移动时,虚拟物体是漂浮的”。 因此,这些产品通常无法为用户提供良好的虚实融合体验。 目前已知的产品中,HoloLens系列产品已经过校准,因此提供的AR效果也非常好。 还有一些其他产品没穿过,就不评论了。

增强现实AR眼镜的标定技术实际上是标定人眼与跟踪系统的相对位置关系,以及人眼的内部参数。 这个话题在之前的文章中已经详细讨论过,有需要的朋友可以参考一下。

2.2 跟踪技术

AR眼镜想要实现物理环境和虚拟元素的融合,必须要做的就是能够跟踪虚拟环境。 主流的视觉跟踪技术包括基于图像的跟踪、基于对象的跟踪和同步定位与建图(SLAM)。 在实践中,还混合了惯性导航以提高跟踪质量。

(1)基于图像的跟踪技术首先需要对跟踪图像进行预处理,获得图像的一组特征点,然后实时匹配视频流中的图像。

(2)基于物体的跟踪技术,与基于图像的跟踪技术类似,首先对被跟踪物体进行预处理,存储其各种特征,然后实时分析视频流中的图像,计算出物体的相对位置跟踪系统对被跟踪对象进行跟踪。

(3)同步定位建图技术是一种不需要预处理、启动后可以同时完成定位和建图的跟踪技术。 这种方法虽然使用简单,但无法像前两种方法那样方便地获取眼镜与物理环境中指定物体的相对位置。 因此,虽然SLAM技术已经比较成熟,但如何将其与AR结合起来还是值得继续研究的。 如果你还不了解SLAM技术,可以参考半路外行的博客()或者其他相关书籍。

2.3 交互技术

对于AR眼镜来说,更便捷的交互方式是语音、手势和远程控制。 语音交互是人工智能的一个重要研究领域。 很多公司(如科大讯飞)都生产了比较好的语音交互产品,这对于AR眼镜的交互具有重要意义。 手势交互不需要引入额外的交互设备,只需要用户做出手势即可输入指令,这也在一定程度上推动了AR眼镜交互技术的发展。 遥控器作为传统的输入方式,虽然操作简单,但可以保证输入准确、高效。 因此,很多AR眼镜产品都配备了遥控器或者触摸板作为交互设备。

3、增强现实AR智能眼镜的发展前景

既然总是提到智能眼镜,那么“智能”体现在哪里呢? AR的实现算聪明吗? 当然,完善的AR功能的实现是迈向“智能化”的关键一步,但仅从信息展示的层面来提升还是有些欠缺的。 AR眼镜的智能化还应该包括AR内容本身的智能特性,这涉及到人工智能领域的研究。 因此,笔者认为增强现实AR智能眼镜的研究不仅仅局限于打造一套能够产生AR效果的眼镜,也不局限于眼镜的佩戴舒适度,还要注重与领域的结合人工智能的。

总之,AR不仅仅是AR,更是以AR为核心的多个研究领域的交叉点,也是寄托人们对美好生活憧憬的研究热点。 科技引领未来,我们希望AR智能眼镜能够像智能手机一样,为人们生活水平的提高带来有力的帮助。

Similar Posts