聚好看科技ARVR事业部总经理吴连朋:《虚拟空间及数字人交互的技术应用趋势》

author
0 minutes, 7 seconds Read

4月13日下午,由武汉东湖新技术开发区管理委员会主办,陀螺科技联合主办的2023武汉元宇宙开发者高峰论坛在武汉光谷举办。

论坛以“元生万物,智汇光谷”为主题,聚焦元宇宙内容发展趋势、前沿开发技术及项目实战经验,Unity、中国移动咪咕公司、盛天网络、TCL华星、聚好看科技、MultiMetaVerse、比邻星球、维亚环球科技、彼真科技、佳创视讯、VeeR、铃空游戏等行业先锋代表为与会来宾带来精彩分享。

其中,聚好看科技AR/VR事业部总经理 吴连朋为与会来宾带来了“虚拟空间及数字人交互的技术应用趋势”的主题演讲。

以下为演讲实录:

大家好!我是来自海信的吴连朋。我的演讲题目是《虚拟空间及数字人交互的技术应用趋势》,会从偏向技术方面,从元宇宙的“人+场”的技术趋势,再到海信在探索的行业应用场景跟大家做分享。

首先简单介绍一下聚好看。聚好看公司是海信旗下的互联网科技公司,有连续五年的独角兽荣誉。我今天主要介绍的是云服务板块。

从2016年海信集团开始布局AR、VR产业,成立了相关的实验室,其演进过程就是聚好看云XR的三个阶段:1、偏向VR全景超高清直播平台的技术研发,我们更多是偏文旅方面;2、基于未来元宇宙的趋势,AI数字人的便捷生产和交互能力是未来核心应用场景的基础,以我们做了数字人的智能化生产平台;3、元宇宙的虚拟活动平台,在一些行业的场景做落地。

元宇宙最先火起来的是数字人,为什么?从我的理解,如果元宇宙没有AI化、便捷批量化生产以及互动的数字人的能力,那其实就不能叫元宇宙。那只是十年前就非常成熟的虚拟仿真技术,是游戏的应用场景,它跟未来元宇宙可以产生的价值是没有关系的。

为什么元宇宙未来可以逐渐地改变各行各业?我们认为,正是因为它的智能化生产能力,在交叉的科学演进趋势下开始成为可能。

第一是快速的生产能力,比如基于单图AI数字人的生成,可以做到40秒生成70%的相似度,就有可能在各种商业场景下应用。比如行业典型的MetaHuman,可以把本来需要几个月时间打造的数字人缩短到数天,甚至几分钟,从而使得办公、工业和社交方面的元宇宙应用成为可能。

数字人到底包含了哪些?它的生产过程为什么可以逐渐成为各个行业应用的可能性?我们将其分解为五个步骤:建模技术、动捕/面捕技术、物理仿真技术、渲染技术、AI技术赋能。从左到右是一个逐渐的支撑过程。

最左边是建模,传统建模需要3D美术,需要数天甚至几个月的时间生产出来,它的演进趋势非常清晰,就是要往AI、往NeRF(神经辐射场)、往更高精度的方向演进,让建模AI化、智能化。

第二步是让数字人动起来,无论是身体的行动还是面部表情,这两块是核心。目前的趋势就是从传统需要有面捕设备、动捕设备,开始往单个摄像头和两个摄像头这种轻量级的重定向能力发展,让它更加轻便,才能在各个行业应用。

当一个数字人完成建模并动起来以后,接下来就是仿真和渲染,其趋势是更真实和实时。前几个过程以后,一个AI数字人就可以给用户完整展现了。最终能让它从“好看的皮囊”到“有趣灵魂”的演进,就是更智能化,结合大模型能力可以让它很快实现智能化的升级。

数字人又具体细分为三个方向:风格化数字人、写实数字人、超写实数字人。

行业里很多应用场景都能看到这种风格化的模型,它在国外已经非常成熟,可以拿来就用。我们从2020年开始第一次用风格化的数字人,后来逐渐出现基于AI的写实数字人,拓展到会议会展和教研活动的应用场景。我们现在做的是基于单图以及超写实的高精度扫描,由AI自动生成和绑定的数字人方向。

超写实的数字人,先需要生成超高精度的模型。这个模型的生成基本上只需要2天的时间,通过我们自己的一整套设备,扫描以后用AI自动绑定,并结合单个摄像头实现的面捕,就可以把数字人驱动起来。

最近两周我们还有一个案例,需要用俄语对集团展厅进行播报,我们的讲解员无法完成。公司就基于超写实的数字人生产能力,以及利用AI语音生成能力,在4个小时内就可以生成俄语版的全集团播报,并由数字人来承担这样的任务。从中可以看到数字人真正给这个场景带来了实际价值。

下面是单图写实数字人方面的趋势。传统常见的是基于风格化的千人一面的预置形象。我们更趋向于在会议、活动和展会的一些实际应用,这些场景对数字人的要求是更写实,能看出是自己,能更有沉浸感和真正面对面的交互感,所以这些数字人基于单图写实的AI建模。在2021年开始做时,我向团队提的要求是要有90%以上的写实度,能真正看到是自己,经过半年左右的探索以后,发现实际的应用场景并不需要90%的写实度,而是要结合美型和写实的综合形象,才能满足用户的需求。现在我们能达到70%以上的相似度,40秒的生成效率。

数字人无论是AI的建模还是驱动的技术,在未来三年以内就会成为基建技术,成为在文旅、工业、教育等各行各业里可以拿来就用的技术,但目前还是不行的。所以海信会在某些方向上积累自己的技术能力。

讲完核心的数字人,分享几个我们在行业里做的应用场景。

首先看一个调研,美国有一家公司采访了1250+虚拟活动组织者和参会者,51%以上的虚拟活动主办方有继续举办的意愿,并且复合年增长率23%。这是市场的情况。

基于前面的调研,我们在虚拟活动方面发布了产品——聚云境。这是一个跨终端的虚拟活动平台,在这个平台上我们的应用场景主要有5个方面,我会重点和大家介绍其中的2~3个。

第一个是元宇宙的设计协作。这是我们近两年做的应用场景里我个人最看好的一个场景,要解决的痛点是在传统的工业设计领域,工业设计师在作品建模以后给用户展现的方式近20年来是从来没有变化过的,就是建模完以后通过高精度的渲染输出图片,再以当面汇报呈现的方式给客户展现,这个非常依赖于设计师本人的表达能力以及他的沟通能力。

我们在这个痛点的基础上,结合海信自己的硬件能力做了设计协作平台,这是活动平台其中的一个应用场景,目前已经有20多个客户,我们的客户是设计师和设计公司。平台的基础能力和效果呈现能够满足预期。

在这个场景里,它与会议等活动的区别在于,其内容是来自于传统行业本来就需要做的内容,把内容经过我们的工具和平台的转化加工以后,在硬件终端上呈现,从而解决近20年来从没变化过的设计师的作品呈现和汇报方式。

虚拟教研方面是我们探索的另外一个核心场景。海信公司跟高职校的老师合作,他是新闻采编专业。老师希望让学生们不断能去到各行各业的工厂拓展见识,但现实情况下这个成本非常高,所以我们通过建模、全景图和全景视频等各种形式,通过我们的平台可以快速切换,使用配套的虚拟教研工具,就能很好地满足这个场景需求。通过和这位老师的合作,我们目前已经帮助他拿到了高职教教研大赛的特等奖。

谢谢大家,我的分享就到这里。

Similar Posts