三分钟科普VRARMRXR概念解析及发展历史

author
1 minute, 0 seconds Read

虚拟现实(VR)、增强现实(AR)等服务因其三维、自然交互、空间计算等与当前移动互联网完全不同的特点,被认为是下一代通用计算平台。 自2012年谷歌发布AR眼镜Google Glass、2014年Facebook收购VR耳机厂商Oculus以来,VR/AR行业在2015年至2017年经历了创业和资本的热潮,2018年行业陷入衰退。 2019年底全球5G发展趋势,VR/AR作为5G核心业务场景被重新认识和重视,行业重回上升趋势。

2020年虽然受到疫情影响,全球各地的生产生活都受到不同程度的影响。 然而,VR/AR行业却因祸得福。 疫情造成的社交隔离,刺激了VR游戏、虚拟会议、AR测温等需求爆发,Steam平台VR活跃用户翻倍,虚拟会议、云展览案例层出不穷。 目前,VR/AR/MR/XR等各种*R概念满天飞,让人眼花缭乱。 本期希望先厘清这些概念,然后进一步分析目前的XR核心技术,梳理目前的应用场景和行业状况,展望未来的发展。

虚拟现实(VR)

概念:VR是数字内容的渲染版本,已针对视觉和音频场景进行了打包。 渲染旨在当观察者或用户在应用程序范围内移动时尽可能自然地模拟现实世界的视觉和音频感官刺激。 VR通常(但不一定)要求用户佩戴头戴式显示器,用模拟视觉组件完全取代用户的视野,以及向用户提供伴随音频的耳机。 VR 中通常还需要对用户进行某种形式的头部和运动跟踪,以便更新模拟的视觉和音频组件,以确保从用户的角度来看,图像和声源与用户的运动一致。 还可以提供与虚拟现实模拟交互的其他方式,但不是必需的 [1]。

发展历程:虚拟现实 VR为梦想而生,让梦想成真。 1935年,小说家斯坦利·温鲍姆在他的小说中描述了一款VR眼镜。 以眼镜为基础,包含了视觉、嗅觉、触觉等虚拟现实概念的全方位沉浸式体验。 该小说被认为是世界上第一个提出虚拟现实概念的小说。 的工作。 有了方向,下一步就是追梦人的舞台。 1957年,电影摄影师Morton Heiling发明了一种名为Sensorama的模拟模拟器,它使用三面显示器来营造空间感。 它太大了,用户需要坐在椅子上。 只有将头探入设备内部,才能体验到沉浸感,如图1-1左侧所示。

混合现实相机是什么意思_混合现实XR_混合现实心肺复苏/

图 1-1。 早期的VR设备

1968年,美国计算机图形学之父、图灵奖获得者Ivan Sutherland开发了第一个计算机图形驱动的头盔显示器——达摩克利斯之剑,如图1-1右侧所示。 它同时也是增强现实的雏形。 VR为用户呈现一个与真实环境隔离的纯粹虚拟环境,通常以头戴式显示器的形式呈现,具有超强的沉浸感。 因此,它主要作为一种娱乐和社交工具进入公众视野。 消费级产品层出不穷,整个行业已经趋于成熟。 。

典型的VR头显包括以下几类:

混合现实XR_混合现实相机是什么意思_混合现实心肺复苏/

图 1-2。 VR头显示例

手机盒子:这类头戴式显示器的显示效果完全取决于插入眼镜的手机的屏幕分辨率、处理器速度和传感器精度。 谷歌的Cardboard和三星的Gear VR就属于这一类,它们的价格是市场上最低的。

混合现实相机是什么意思_混合现实心肺复苏_混合现实XR/

PC/PS4主机耳机:为了达到优秀的显示效果,需要连接PC(索尼的PSVR连接PS4),利用PC的CPU和显卡进行计算。 如图所示,会有很多连接。 观看效果好,但移动便利性差。 典型的包括HTC VIVO PRO EYE和索尼的PlayStation VR。

一体机耳机:一体机耳机使用移动芯片(如高通Snapdragon系列)进行图像和定位计算。 不受PC/PS4或手机等外接设备的连接限制,开箱即用,非常方便。 目前比较典型的有Oculus quest和Pico的Neo CV。 目前,一体机已逐渐成为主流。

混合现实心肺复苏_混合现实XR_混合现实相机是什么意思/

VR Glass:目前最轻的VR头显,与主机头显类似,需要连接手机,利用手机芯片处理数据。 典型的例子就是华为的VR眼镜,其重量为200克,极其轻巧。

VR的阻塞和隔离式沉浸感既是优点也是缺点。 但由于脱离现实,实用性不足,因此出现了第二条发展路线AR。

增强现实(AR)

概念:AR 是一种向用户提供附加信息或人工生成的对象图像或覆盖其当前环境的内容的实践。 这些附加信息或内容通常是视觉或听觉的,对当前环境的观察可以是直接的,无需中间转换、处理和渲染,也可以是间接的,因为他们对环境的感知是通过传感器中继的,并且可以增强或增强。已处理[1]。 从角色的第一视角看到的环境仍然是真实的场景。 利用技术手段(显示器、眼镜等)将虚拟内容融入到人眼看到的真实场景中。 虚拟内容不是基于对真实环境的实时了解,而是相对简单。 的拼凑在一起。

发展历史:增强现实AR为实用性而生。 时间线如下所示。

混合现实XR_混合现实心肺复苏_混合现实相机是什么意思/

图 1-3。 AR发展历史

AR的发展可谓一波三折。 从最初的雏形开始,AR就采用了先进的光学透视显示方式,但进展并不顺利,已经蛰伏多年。 AR概念由波音公司研究员Tom Caudell于1990年提出,随后在ToB专业领域兴起,如美国空军开发的虚拟帮助系统、哥伦比亚大学的KARMA维修帮助系统等。将增强现实引入公众视野是通过在平面显示器(电脑、电视、手机)上叠加真实图像和虚拟物品来实现的。 1998年,AR首次用于直播足球比赛的进攻黄线,带来革命性的是第一个增强现实SDK ARToolkit,作为第一个AR开源框架发布,使AR技术走出了专业研究机构,很多普通程序员也可以用它来开发自己的AR应用。 现在有多个AR引擎支持移动应用的开发,让AR走进我们的日常生活,但通过平板显示器的显示方式沉浸感较低。

因此,人们并没有放弃沉浸感更高的可穿戴设备的AR实现。 谷歌于2012年6月推出谷歌眼镜,但效果并不理想,未能成为优质产品。 如今虽然已经有了消费级AR眼镜,但成熟度并不高,未来两年突破的可能性很大。

混合现实XR_混合现实心肺复苏_混合现实相机是什么意思/

图 1-4。 AR眼镜示例

混合现实 (MR)

概念:MR是AR的高级形式,将虚拟元素融入到物理场景中,目的是提供虚拟与现实相结合的场景,即这些元素是真实场景的一部分[1]。 在MR场景中,大多数虚拟内容是基于现实理解生成的,因此在体验上比纯虚拟化场景更加真实。

发展历程:混合现实MR是梦想与现实的融合。 混合现实出现晚于VR和AR,其理解存在争议。 尤其是与AR的界限很难划清。 早在1994年,Paul Milgram和Fumio Kishino就在论文中提出了混合现实的定义,并利用虚拟连续体的坐标阐述了三者之间的关系。 最初的概念如图1-5所示。 左侧可以理解为肉眼看到的真实物理世界。 随着坐标轴向右移动,现实世界的虚拟化(或数字化)程度逐渐增加。 AR阶段所看到的视觉信息仍然以真实环境为主。 走到最右边就是与现实脱钩,处于完全虚拟化的环境中就是VR。 从现实世界到完全虚拟化环境VR的转变过程统称为MR,是现实与虚拟的融合过程。 (论文中提到了增强虚拟性的概念,但目前还没有被大众广泛接受,也没有形成单独的产品。)

混合现实XR_混合现实相机是什么意思_混合现实心肺复苏/

图 1-5。 真实坐标与虚拟坐标对比[2]

按照这个定义,MR原本是一个流程概念,而不是一个具体的技术栈。 在这个过程中,根据人眼看到的现实与虚拟的结合程度,出现了VR/AR等不同体验的产品类别。 但随着行业的发展,以微软为代表的一些厂商将MR定义为VR/AR的融合技术,提供虚拟化真实场景的体验。 此时,人眼看到的虚拟场景是基于现实的数字化。 来。

微软区分了三者之间的关系:将图形叠加在物理世界的视频流上的体验就是“增强现实”。 用阻挡视觉来呈现数字图像的体验就是“虚拟现实”。 增强现实和虚拟现实之间实现的体验形成“混合现实”。

混合现实XR_混合现实相机是什么意思_混合现实心肺复苏/

图 1-6。 微软的VR、AR和MR部门

与主要实现虚拟物体直接显示在现实世界图像上的AR相比,MR让虚拟物品不仅以图像的形式出现在现实世界中,而是“以更真实的方式”融入现实世界,或者反过来,现实空间中的物体可以融入到虚拟空间中,打破两个空间之间的隔离。 两个空间中的实体可以相互交互,给人一种无缝的体验。 技术难度是三者中最高的。 MR是AR的增强。 与其说是MR眼镜,不如说是AR眼镜或者带有MR功能的VR眼镜更合适。 目前主流市场上只有微软HoloLens、Magic Leap等提供MR功能的产品,但还不是很成熟。

混合现实心肺复苏_混合现实XR_混合现实相机是什么意思/

图 1-7。 MR功能眼镜示例

下面这组图将进一步帮助大家区分AR和MR。 首先看图1-8,这是一个真实的物理办公场景。

混合现实心肺复苏_混合现实相机是什么意思_混合现实XR/

图 1-8。 真实办公场景

如图1-9所示,识别出真实办公室中的真实平面后,虚拟物体狗、地球、显示器、花瓶等被嵌入到真实世界图像的平面上。 因此,展示内容是一个典型的AR场景。

混合现实XR_混合现实相机是什么意思_混合现实心肺复苏/

图 1-9。 AR场景

图1-10,调整环境使其虚拟化,整个办公室面目全非,但办公室的边界清晰可见,真人转变成虚拟形象,现实中没有建模的物品会消失,这样作为便携式计算机。 此时,数字现实场景和虚拟场景相互理解、融为一体。 因此,它与VR完全不同,VR提供了另一种与人眼看到的现实脱钩的完全数字化的虚拟场景体验。 当观察者从这个角度四处走动时,他可以避开真实的桌子和基于面前虚拟现实场景的桌子。 墙壁和人物。 因此,在这个概念中,MR可以被视为VR和AR的融合技术。

混合现实XR_混合现实心肺复苏_混合现实相机是什么意思/

图 1-10。 MR场景

扩展现实(eXtended Reality,XR)

概念:XR是指计算机技术和可穿戴设备产生的一切真实与虚拟结合的环境和人机交互。 代表形式包括AR、MR、VR以及它们之间的交叉场景。 虚拟关卡范围从部分感官输入 AR 到完全沉浸式 VR。 XR的一个关键方面是人类体验的扩展,特别是与存在感(以VR为代表)和认知(以AR为代表)的获取有关[1]。

发展历史:由于MR和AR往往很难明确区分,而且三者的发展相互关联、技术重叠,因此扩展现实XR的概念在2016年11月被提出,特别是高通对这个概念的热情最热捧的莫过于集成虚拟现实/增强现实的XR芯片的推出。 根据高通的定义,扩展现实XR是一个涵盖性术语,涵盖增强现实(AR)、虚拟现实(VR)、混合现实(MR)以及介于两者之间的一切。 尽管 AR 和 VR 提供了截然不同的革命性体验,但相同的底层技术正在推动 XR 的发展。

此前,XR是在视觉领域提出的,是一个扩展人类可见光谱范围的概念,例如紫外线和红外线,但它不是与虚拟现实/增强现实领域相关的概念,这里不再详细讨论。

以上就是XR概念的介绍。 稍后我们将继续讨论XR的关键技术、应用场景、行业状况以及未来趋势。

参考

[1] Milgram P, Kishino F. 混合现实视觉显示的分类[J]. IEICE 信息和系统交易,1994,77(12):1321-1329。

[2] Mann S,Furness T,Yuan Y,等。 所有现实:虚拟、增强、混合(x)、中介(x,y)和多媒体现实[J]。 arXiv 预印本 arXiv:1804.08386, 2018。

Similar Posts