迈向沉浸式互联网的利器——空间运算技术

2021年07月19日 利器 空间

  众所周知,从PC互联网到移动互联网的发展过程中,人们的使用方式已发生了巨大变化:智能手机变成了生活中的必需品。而伴随着XR领域近些年的发展与沉淀,移动AR领域的发展也超出了人们的想象。

  7月1日,业内著名媒体AR Insider发布了新一期关于移动AR收入的预测报告。数据显示,全球移动AR收入预计从2020年的68.7亿美元增长到260.5亿美元,年复合增长率达30.5%,该总和包括了移动AR消费者和企业支出和收入细分。

  前不久,一个由德国电信打造的科技孵化器hubraum联合芯片业巨头高通、中国著名MR公司Nreal、业内顶级3D互动内容创作和运营平台Unity和其他企业,通过一次线下活动向人们展示了空间计算概念的意义和未来。在活动中,所有参与者都被现场的精彩所震撼,人们无不感叹:未来的生活一定会从二维屏幕俯视互联网,过渡到通过XR头显设备沉浸式地体验互联网。与此同时,屏幕消失了,世界变成了自己的桌面。

  事实上,在新浪VR过往与业内专业人士的沟通中,经常能听到或看到这样的观点:人类正迈向一个由空间计算构建的未来,今后大家会减少掏出手机的频率,因为AR眼镜或头显的作用明显更大,以空间计算为技术基础的移动AR将成为大众未来生活和工作方式的最前沿。这一切,都离不开芯片和移动通讯技术的高速发展。

  为了能让新浪VR的网友们提前洞悉未来趋势,我们将基于高通公司的一篇技术博客,向大家展示空间计算技术将如何改变我们的未来生活方式。

  空间计算的优势:

  如果屏幕前的你关注科技动态,一定会发觉一个现象:远程会议、远程协作正快速出现在媒体报道中。没错,在疫情肆虐的背景下,人们被迫改变过往的工作方式,而空间计算则借此契机展现了其改变当下和未来的能力。

  目前,虚拟办公已在多个行业里展现风采,而人们对该技术日益增长和持续的依赖也变得更加明显。在未来,大部分用户还会产生更加强烈的需求,那就是更逼真的临场感和虚拟互动的愿望。

  在硬件方面,由高通公司打造的骁龙XR平台非常之优秀——它在算力强大的同时,还能助力XR厂商打造更加轻量便携,例如Facebook网红产品Oculus Quest系列、HTC最近推出的Focus系列头显、Nreal Light AR眼镜、联想ThinkReality A3等,它们也给用户带来了无与伦比的使用体验。

  另外,由于骁龙XR平台对眼球追踪、手势追踪等技术的完善支持,用户目前已能实现非常真实的临场互动。而伴随着技术的发展,这种体验在未来还将变得更加完美。同时,3D音频和3D用户界面设计方面的快速进展,也在很大程度上完善了沉浸式体验。

  最后,5G的高带宽、低延迟通信也提供了客户端的超快速云连接,这就让空间计算具备了强大的信息传递能力。

  各领域中的案例:

  如上文所述,移动AR是以空间计算和高速移动互联网为基础的,相应地它也具备了极高的数据吞吐量和数据处理能力。无论从底层技术需求还是应用表现来说,它都值得所有人关注。在hubraum的活动中,众多案例显示了开发者将如何满足用户对虚拟未来的愿景。以下是几个值得注意的使用案例:

  虚拟形象:

  随着人们对远程会议、协作与社交的需求日益提升,更加个性化、现实化和协作化的体验就变得愈发重要。目前,虚拟形象技术已能捕捉到动作交流的各个细节,例如面部表情和细微手势。

  同时,具有类似真实功能的AI驱动的语音控制助手展示了智能音频解决方案的发展方向(例如,从智能音箱发展到全面的全息虚拟助手)。除了虚拟形象之外,虚拟全息物体也将成为可能。例如,与会者可以通过远程协作,从不同角度观察以虚拟形式呈现的产品,从而完成设计工作。

  虚拟购物

  据新浪VR统计,仅在2021年上半年就有包括韩国三星、日本森大厦、美国时尚品牌Carolina Herrera、美国沃尔玛和亚马逊等业内巨头先后推出了在线AR购物体验,甚至Apple也向美国专利局申请了AR线上购物技术专利。

  在很多专业人士看来,由于XR技术的快速发展,互动和沉浸式极强的数字店面将成为现实。在未来,用户可以通过AR眼镜观察产品,以获得更多信息,或从不同角度试用虚拟产品。

  游戏互动:

  这一项应该无需笔者多言——著名AR大作《精灵宝可梦GO》已发售5年,其用户数量庞大,开发商收入也达到了惊人的50亿美元。

  而伴随着技术的发展,以空间计算为支撑的AR游戏还将实现更多酷炫的功能和玩法,甚至能在一定程度上改变“游戏宅”的生活状态,让他们更多地走出家门,接触朋友和大自然。

  物体识别:

  在图像捕捉和识别技术的支持下,当下的AR眼镜已可以记录真实物体的特征,并在它们进入用户视野后进行快速识别。

  例如,生产型用户可以记录特定尺寸和形状的零部件,以便在组装产品时快速识别它们,进而大幅提升工作效率。

  沉浸式书籍:

  空间运算可以将书本内容变成虚拟实景,让读者在剧情里徜徉,更好地感受作者与角色的心境,那种亲临其境的感受必将大幅提升阅读体验。

  目前,已有部分儿童书籍实现了该形式,其效果也远优于传统纸质书和电子书。

  增强型电视:

  用户通过专用的AR眼镜观看电视,设备不但能正常显示节目内容,还能提供额外的附件或周边信息。例如,关于一场体育比赛的额外统计数据可以在AR设备里叠加显示。

  沉浸式位置追踪:

  当AR与GPS或其他传感器相结合时,相应设备就能显示用户视野范围内感兴趣的地点(如餐馆等)的虚拟菜单。然后,用户可以与这些菜单互动,以获得更多信息,如方向、评级等。

  XR开发工具:

  既然是高科技产品,那一定离不开软硬件的开发。在这方面,我们必需再一次提到高通——虽然用户对它的印象主要来自安卓手机的SoC,但实际上高通在XR领域的研究已超过10年。自2009年起,这家芯片业巨头已开始了XR领域的研发,并陆续推出了多个XR平台、参考设计和XR专用开发套件,如基于骁龙XR2 5G平台的高通骁龙XR2 HMD参考设计。凭借该设计,开发人员能打造能够通过USB-C接口与5G智能手机连接的,轻量级、高能效的AR眼镜,例如那些由当下旗舰骁龙888 5G移动平台提供动力的智能手机。

  在内容创作方面,高通已和Unity合作数年,这对强强联手的组合已成为推动移动游戏和XR开发的中坚力量。与此同时,Unity现在也在推动XR技术在各个垂直领域的应用。因为内容在当下和未来都是XR开发的重中之重,所以众多内容创作者都非常重视该公司推出的Unity MARS XR框架。

  具体来说,开发者基于骁龙平台可以使用的工具和SDK有:

  高通3D音频工具:用于录制、编辑和制作空间音频;

  Unity的3D音频插件:Unity的双耳空间音频插件;

  骁龙功效优化SDK:提供丰富的API,以平衡功耗与性能;

  Snapdragon Profiler:允许开发者分析CPU、GPU、DSP、内存、功率、热能和网络数据。

  写在最后:

  正如本文开篇所述,我们当下正进入一个崭新的时代,互联网不再只是通过二维屏幕观看的资源,用户的视野正被空间计算代入无限扩展的领域。同时,以高通为代表的科技厂商也正在努力铺平沉浸式互联网体验的前进之路。作为XR领域的门户媒体,我们将持续关注不断发展的XR技术,并随时发布那些令人兴奋的业内新闻。