oculus官网请移动到游戏区中央 然后带上头戴设备 按照在vr中看到的指示进行操作 带上之后看到三个点


眼动追踪能够快速精确地测量用戶在VR头戴式设备内观看的方向常常在注视点渲染环境中被讨论,希望能够借此降低 VR 的性能要求而渲染只是VR头戴式设备中的眼动追踪的┅个令人兴奋的用例,而眼动追踪技术会将更多的东西带到桌面上

眼动追踪多年来一直被视为是 VR 领域的一项遥远的技术,但在全行业公司的发展下在精度延迟,稳定性和成本方面都取得了可喜的进展开发人员和研究人员正在越来越多地使用眼动追踪硬件。

像 Tobii 这样的公司正在为制造商和开发商提供眼动跟踪硬件和软件; 高通公司现在在他们的 VRDK 头戴设备中集成了 Tobii 的解决方案7invensun正在销售用于 Vive 头戴设备的 aGlass 眼动追蹤开发套件。Fove 正在销售其内置眼动追踪功能的VR头戴设备开发套件oculus官网 最近首次展示了一款集成了眼动追踪的新原型设备。Magic Leap 已经确认了他們即将开发的头戴设备拥有眼动追踪据报道,苹果公司也收购了眼动追踪领域的前领导者之一SMI并申请了多项有关该技术的专利。

有了這种动力在短短几年内,我们将可以看到眼动追踪成为消费级 VR 头戴式设备的标准部件这种技术可以大幅度提高VR体验的各种功能。


我们艏先从许多人已经熟悉的部分开始注视点渲染(Foveated Rendering)旨在降低显示要求苛刻的 VR 场景所需的计算能力。这个名字来自 fovea它是人类视网膜中心嘚一个小坑,它密集地包裹着光感受器它在我们视野的中心为我们提供高分辨率视力; 同时我们的周边视觉在细节和颜色方面实际上很差,并且比看细节更适合看到动作你可以把它想象成一个只有几百万像素的大型传感器,另一个小型传感器中间有几亿像素。

你可以看箌各种细节的视觉区域实际上比大多数人想象的要小得多只是你的视角中心几度。视网膜的中央凹与视网膜其他部位之间的分辨力的差異非常大以至于没有你的视网膜中央凹,你无法确定本页上的文字你可以很容易地看到这一点:如果你将注意力集中在这个单词上,並尝试阅读下面的两个句子即使你能看到类似词语的东西,也几乎无法确定这些单词所说的内容人们高估视力的中心凹区域的原因似乎是因为大脑做了很多无意识的解释和预测来建立我们相信世界的模型。

注视点渲染的目的是通过利用我们视觉的这种怪癖只在中心凹看到的区域渲染高分辨率的虚拟场景,然后大幅度降低周边视觉中场景的复杂性因为人眼根本无法注意到这些细节。这样做可以让我们將大部分处理能力集中在对细节贡献最大的地方同时在其他地方节省处理资源。这可能听起来不是什么大问题但随着VR头戴式设备视场囷显示分辨率的提高,渲染复杂场景所需的计算力以接近指数的速度增长

眼动追踪需要快速,高精度地知道用户注视的中心位置以便實现注视点渲染。这种提高分辨率的幻觉可以通过用户完全注意不到的方式完成


除了检测眼球运动之外,眼动追踪还可以进行生物标识苻识别这使得眼动追踪成为单一头戴设备中存放多个用户配置文件的绝佳选择——当我戴上头戴设备时,系统可以立即将我识别为独特鼡户并调出我的自定义环境,内容库游戏进度和设置。当朋友戴上头戴设备时系统可以加载他们的偏好和保存的数据。

眼动追踪也鈳用于精确测量IPD即瞳距。知道你的IPD在VR中很重要因为它需要将镜头和显示器移到舒适和视觉质量最佳的位置。不幸的是很多人不知道怹们的IPD是什么。

通过眼动追踪可以很容易地即时测量每个用户的IPD,然后让头戴设备的软件帮助用户调整IPD与自身匹配或者警告用户他们嘚IPD超出了头戴设备支持的范围。

在更高级的头戴设备中这个过程可能是不可见的和自动的——可以自动测量IPD,并且头戴设备可以具有电動调节IPD的装置其可以自动地将镜头移动到正确的位置,而用户不需要知道中间的过程


变焦头戴设备原型| 图片由NVIDIA提供

当今VR头戴式设备中使用的光学系统工作得很好,但它们实际上相当简单不支持人类视觉的重要功能:动态聚焦。这是因为VR头戴式设备的显示屏始终与我们嘚眼睛距离相同即使在立体视觉深度不同时也是如此。这导致了一个称为聚散度调节冲突的问题

变焦显示器可以动态改变其焦距,被提议作为解决这个问题的方法有许多实现变焦显示器的方法,其中最简单的方法是可以来回移动显示器以改变焦距的光学系统

实现这種主动变焦显示器需要眼动追踪,因为系统需要精确地知道用户正看场景中的什么位置通过从用户的每只眼睛追踪虚拟场景中的路径,系统可以找到这些路径相交的点从而建立用户正在查看的适当焦平面。然后将该信息发送到显示器以相应地进行调整将焦距设置为匹配从用户的眼睛到虚拟对象的距离。

优秀的变焦显示器不仅可以消除聚散度调节冲突还可以让用户专注于比头戴设备更接近它们的虚拟粅体。

在将变焦显示器放入VR头戴式设备之前眼动追踪可以用于模拟景深,这可以近似用户眼睛焦平面外的物体的模糊


虽然注视点渲染旨在更好地在我们可以清晰地看到的部分视野和我们的低细节周边视觉之间分配渲染能力,但针对特定的像素数量可以做到类似的效果

鈈是仅仅改变显示器的某些部分的渲染细节,注视点显示器需要始终保持在用户眼睛的正前方而不管用户在看哪里。

为了在VR头戴式设备Φ实现更高的分辨率注视点显示器打开了一扇大门,并且不会在整个视野范围内尝试以更高的分辨率对像素进行填充从而强制解决问題。这样做不仅成本高昂而且会随着像素数量接近视网膜分辨率而遇到具有挑战性的功率限制。相反注视点显示器会根据眼动追踪数據将更小且像素密度更高的显示器移动到用户眼睛看的地方。这种方法甚至可能比用单个平面显示器实现更大的视野


像素密集型注视点顯示器对比Varjo原型设备中体积更小像素密度更大的显示器

Varjo是一家致力于开发显示系统的公司。他们使用覆盖广阔视野(但不是像素密度高)嘚典型显示器然后在其上重叠更多像素密度的微型显示器。这两者的结合意味着用户的周边视觉既有广阔的视野又有中央凹视野的高汾辨率区域。

Varjo最新的原型机目前并未移动较小的显示器(它只是停留在镜头的中心)但该公司已考虑了多种移动显示器的方法,以确保高分辨率区域始终处于凝视的中心位置


今天许多社交VR应用程序似乎向用户展示真实的眼动,包括闪烁扫视和物体焦点,但所有这些应鼡都是使用动画和编程逻辑伪装的这种错觉对于使虚拟形象看起来不那么机器人化是有好处的,但是当真正与某人面对面时失去的实际非语言信息j会丢失

准确的眼球追踪数据可以很容易地应用到VR头像上,以便实际显示用户何时闪烁以及他们在看什么它还可以打开有意識和无意识的非语言交流,如眨眼眯眼和瞳孔扩张,甚至可以用来推断一些情绪如悲伤或惊喜,这可能会反映在化身的脸上


热图显礻场景中用户最常看的部分

眼动追踪对于被动了解玩家意图和焦点也非常有用。考虑一个开发者正在做一个恐怖游戏玩家在鬼屋中漫步。传统上开发者可能会花费很长时间来制作脚本序列,当玩家进入特定区域时怪物从壁橱中弹出但是如果玩家没有直视壁橱,那么他們可能会错过恐慌的情节只有在用户正朝着正确方向看时,眼动追踪输入才能用于触发事件以达到最好的惊吓效果。或者它可以用来讓怪物的影子出现于他们的视觉周围区域并且当用户试图直接看它时使影子消失。

除了使用眼动追踪来最大化恐慌外这种被动输入可鉯用来帮助玩家更好地控制其虚拟环境。Tobii 是眼动追踪硬件和软件的制造商它有一个演示,帮助用户在投掷物体时更好的进行瞄准通过根据用户的注视推断用户想要抛出物体的位置,系统将抛出物体的轨迹改变为完全准确的抛出虽然下面的剪辑显示了用于演示目的的实際与修正的轨迹,但在实际使用中这对用户来说是完全不可见的,并且感觉非常自然


除了这种实时意图理解之外,眼动追踪对分析也非常有用通过收集有关用户在看什么、看了多久的数据,开发人员可以更深入地了解他们的应用程序的使用情况例如,眼动数据可以顯示用户是否发现了重要的按钮或观看了重要动画防止他们的注意力被环境中的一些非预期部分所捕获,或者界面元素被忽视等等


眼動追踪对于主动输入也很有用,使用户能够有意识地利用他们的视线来更快更轻松地完成任务虽然今天许多VR应用程序允许用户通过面向咜们并抓取来“拉动”远处的物体,但眼动追踪可以使得这些应用程序更快更准确,让用户只需简单地观看和抓取即可使用眼动追踪這项任务实际上可以更加准确,因为我们的眼睛指向远处的物体要比使用我们手中的激光指示器好得多因为我们手部的自然摇晃被距离放大了。

与抓取物体类似眼动追踪输入可能有助于使VR快速高效,让用户按下按钮并执行其他动作的速度比移动身体或双手的速度快得多您可以打赌,当VR作为一个真正高效的通用计算平台时眼动追踪投入将扮演重要角色。


然后在医疗保健和研究领域有广泛的眼动追踪用唎SyncThink 等公司正在使用配备眼动追踪功能的头戴设备来检测脑震荡,据称可提高现场诊断的效率

研究人员也可以使用眼动追踪技术进行数據收集和输入,比如看看凝视在专业钢琴演奏中扮演的角色更好地理解孤独症对社交眼神接触的影响,或者为更多人带来便利


鉴于潜茬改进的范围,很明显眼动追踪将成为 VR 行业的改变者在不久的将来,内置眼动追踪功能可能首先成为高级头戴式设备的一项功能然后朂终成为VR(甚至最终AR)的常态。

魔多最专业的VR媒体,有料更有趣

原标题:Google Maps正在街景视图中测试AR地標功能

新冠肺炎疫情以及随后的全球封锁严重打击了虚拟现实游戏厅和线下的娱乐场所《亚利桑那阳光》开发商Vertigo Games开设的线下娱乐体验设施Vertigo Arcades 已经针对目前的市场混乱提供延期付款条款、授权扩展和其他形式的支持以积极响政府安全措施。基于上述调整Vertigo Arcades 现在推出了由CrazyBunch开发的線下游戏新作《幽灵巡逻队 VR》(Ghost

随着全球各地的虚拟现实游戏厅开始重新开放,Vertigo游戏厅希望通过一款全新的自由漫游、协同定位的多人虚擬现实游戏重新获得新客户和回头客的关注这款游戏让四名玩家对抗分散在幽灵庄园各处的彩色幽灵军队。

《幽灵巡逻队 VR》 是一款快节奏的合作冒险射击游戏任务是让1-4名玩家穿越魔法走廊,同时使用他们强大的色相爆破器轰击充满活力的幽灵为了绕过特定的障碍,玩镓需要收集分散在地图各处的神秘球体;它们可以帮助团队重新定位走廊和触发平台的位置在穿越了几个诡异的场景后,玩家们必须共哃努力去打倒并“击溃”巨大的幽灵王

Vertigo Arcades客户经理Mario Goncalves在一份官方发布信上表示:“我们已经准备好,通过正确的合作和支持帮助重振这个充滿创造力和创新的行业。”除了合作的元素玩家也可以为获得高分而竞争。在每个游戏开始之前每个玩家都被分配一个不同颜色的冲擊波枪,通过拍摄相应颜色的鬼魂他们可以获得额外的分数。

这款游戏将于6月30日在select arcades上线游戏时常大约持续20分钟,12岁以上的玩家均可体驗

Hashiras在6月19日发布了VR演示工具“ KINETOSCAPE”。说到Hashiras 该公司目前不仅专注于基于位置的VR,而且还制作和推广高质量的VR内容

这次宣布的“ Kinetoscape”是专门针對oculus官网 Quest的VR演示工具,它利用了Hasirus在商业和教育领域中创建基于位置的娱乐VR内容所积累的专业知识而开发在实际使用中,同一地点的所有参與者都穿着oculus官网 Quest来同步VR空间并在共享VR空间中进行各种演示

(您可以与每个人一起将其封闭,从而体验出现在VR空间中的汽车3D模型在演示Φ,您可以打开汽车门和引擎盖甚至进入汽车)

例如,通过使用此工具您可以在VR空间中拾取实际的3D建模产品,并从各个方向进行查看确认和幻灯片材料以及无法传达的口头解释等信息可以作为“经验”传达。在共享的VR空间中您不仅可以体验所谓的“演示文稿”幻灯爿素材,还可以体验VR特有的媒体例如360度视频和双目立体视频播放。

(也可以切换作为演示舞台的VR空间在演示体验中,在池袋东出口站湔的VR空间中安装的巨大屏幕上进行了演示)

该产品的开发于今年3月中旬开始基本部件已于5月初完成。据说是不到两个月的速度发展但昰,由于新的冠状病毒感染的蔓延对远程办公和远程工作的需求不断增长对这一时期的发展影响并不大。

之所以选择oculus官网 Quest硬件是因为該设备是无电缆的多合一设备,并且具有绘图性能和手动跟踪功能除了在参与者之间共享VR空间之外,还使用了oculus官网 Quest最初具有的空间识别功能(监护系统)的方法以真实空间(例如会议室)为中心。据说可以根据环境进行设置包括识别位置的机制。

(所有演示者都在同┅个地方并且他们的站立姿势也保持同步)

但是,从某种意义上讲自然会产生一个问题:“如果所有参与者都在场,为什么不戴VR头盔”

Hasirus总裁兼首席执行官安藤明弘(Akihiro Ando)说,``正如您所说如果只能用中等大小的纸质材料,显示器或投影仪来解释内容我认为传统的演示格式就足够了。''

“但是另一方面,Kinetescape的一项功能是您可以在演示中看到所有人所包围的全尺寸汽车的3D模型,并且可以与客户一起“体验”强大的360度图像当然,由于参与者实际上在那儿所以声音自然会来自人的方向。我认为我们可以通过将其呈现在共享的VR空间中来使用咜”

另外,Kinetscape具有使业务演示更加自觉的机制

“用于演示的所有数据都存储在每个Quest主体中。因此即使网络线被切断,参与者之间的相對位置信息也将被切断但是演示数据本身您可以继续观看,每个人也可以发送和接收数据因此您不必停止整个演示文稿。” 这也是迄紟为止Hashiras的知识得到利用的地方

许多人认为VR演示工具和协作工具是“每个人都可以远程参与”。但是该“ Kinetoscape”可能是“恰到好处”的VR演示笁具,可以弥合每个参与者远程参与的VR协作工具与诸如基于位置的VR景点之类的大事之间的差距另外,易于用作VR呈现工具和易于引入可以降低在商业场景中使用VR的阈值并且可以在启发和普及VR中起作用。

(参与者的化身显示在VR空间中化身尽可能简单,以便更多人可以同时參与)

关于这一点,安藤先生说:“由于新型冠状病毒的影响对远程办公和远程工作的需求正在增加,我也想知道该工具最初是否旨茬最大程度地提高远程通信的价值在进行开发的过程中,我再次意识到位置的价值或现场聚集的价值非常高

与基于位置的VR吸引相比,該Kinetscape可以降低运营成本(人数和劳力等)设备成本也很便宜,但可以容纳数十人我认为我们能够实现符合“更多人可以轻松参与并共享楿同体验”设计理念的东西。

另外我经常谈论类似于VR的VR的传播,例如如果公司中的一个人不能使用电子邮件,那么我将永远无法摆脱FAX嘚文化VR就是一样,如果公司中的优秀人才能够使用它我认为它会进一步传播。”他说不仅是工具本身,而且还有传播VR本身的意图

據外媒报道,Facebook收购了瑞典初创公司Mapillary后者希望通过街道图像数据库与Google以及其他公司合作,以绘制世界目前收购交易条款尚未透露。

Mapillary联合創始人兼首席执行官Jan Erik写道:“从创建Mapillary的第一天起我们就致力于建立一个全球性的街道级图像平台,该平台使每个人都能获得制作更好地圖所需的图像和数据我们的平台有成千上万的贡献者,并且每天使用Mapillary数据对地图进行改进我们现在正在朝着这一旅程迈出下一步。”

囸如Erik所指出的那样Facebook正在“通过结合机器学习,卫星图像以及与制图社区的合作来构建改善地图的工具和技术”映射具有社交网络庞然夶物的即时用例,例如Facebook Marketplaces及其本地业务产品而另一个应用程序是增强现实。

Facebook在今年2月还收购了另一家欧洲初创公司Scape Technologies该公司成立于2017年,正茬开发基于计算机视觉的“视觉定位服务”使开发人员能够构建所需的定位精度远远超出GPS功能本身的应用程序。该技术最初以增强现实應用为目标但也有潜力用于为移动性、物流和机器人技术提供动力。更广泛地说Scape希望使任何配备摄像头的机器都能了解周围环境。

Mapillary也昰最新加入的“开放”项目现在由Facebook资助。去年12月Facebook还悄无声息地收购了英国的Atlas ML,后者是机器学习论文和代码的免费开放资源

回到Mapillary,这镓初创公司渴望强调它将继续成为“图像地图数据和改善所有地图的全球平台”。“您仍然可以上传图像并使用平台上所有图像的地图數据” Erik说道。它还在更改许可证以允许商业用途:

“从历史上看我们平台上提供的所有图像都是开放的,任何人都可以将其免费用于非商业目的向前发展,这将是正确的但从今天开始,它也将免费供商业用户使用通过继续使上传到Mapillary的所有图像公开并提供给所有人,我们希望启用新的用例并扩大覆盖范围和使用范围,以使所有人受益虽然我们以前需要专注于商业化以构建和运行该平台,但加入Facebook會使Mapillary更加接近我们从第一天开始的向任何人提供免费服务的愿景”

苹果新专利:通过光瞳扩展功能增大HMD设备视场角

今天,美国专利商标局发布了苹果公司的一项与未来眼镜或HMD有关的专利申请更具体地说,该专利涵盖了一种光瞳扩展功能该功能旨在增加投射到光学镜头仩的图像的视场,从而为AR应用提供高质量的图像

苹果眼镜系列专利中的第一个专利名为“Pupil Expansion”。它通常涉及光学反射装置并且更具体地涉及在光学反射装置内扩展光束。

苹果在其专利申请中指出一个或多个全息光学元件可用在光学头戴式显示器(HMD)设备的波导中。HMD设备具有反射投影图像的能力并且可以促进用户体验增强现实的可穿戴设备。

头戴式显示器通常涉及投射虚拟图像的近眼光学器件过去,HMD技术的局限性导致了许多经验障碍包括图像质量下降以及设备重量和尺寸增加。

过去的技术包括用传统的光学器件来反射、折射或衍射咣但是,这样的设计使设备趋于笨重另外,常规的镜子和光栅结构具有固有的局限性例如,常规反射镜可能具有必须与表面法线重匼的反射轴从而使反射镜取向欠佳,或者反射镜处的反射输出受阻

苹果的发明总体上涉及一种或多种改进的方法、系统或设备,用于將光束从入射瞳孔扩展到出射瞳孔(即瞳孔扩展)。该方法、系统或设备可以在光学设备或系统中采用一种或多种瞳孔扩展器或瞳孔扩展技术以使投影图像的视场(FOV)增大。

苹果专利图图1是其中可以实现包括本文原理的HMD设备的图示HMD设备#100可以包括眼镜或头饰,其中近眼显示器(NED)#105可以被粘贴在用户的眼睛前面

苹果公司在支持专利中使用了这个特殊的专利数字,我们在四月份就介绍了有关色散补偿結构的技术该结构可以使用户体验高质量的AR图像。

苹果专利图图3是结合了二维偏斜镜出射光瞳扩展技术的光学系统的图光学系统(#300)可用于HMD,增强现实(AR)或虚拟现实(VR)应用中例如但不限于图1的HMD#100。

苹果专利图8B示出了支持瞳孔扩展的光学透镜#800-b的示例

美国专利局今天发布的这项苹果专利申请于2019年第四季度提交。苹果专利具有丰富的技术细节对于那些有兴趣深入研究本发明的人可以点击此链接查看。考虑到这是一项专利申请目前尚不知道这种产品何时能够上市。

苹果AR眼镜新专利:通过眼动追踪进行视频及AR内容录制

今天美国專利商标局发布了苹果公司的一项专利申请,该专利申请涉及其未来的智能眼镜设备该设备可以记录包括AR在内的内容,并且具有降低抖動的功能

苹果公司指出,头戴式显示器用于为用户提供虚拟现实、增强现实或混合现实体验设备可以录制来自虚拟现实或混合现实体驗的视频,以供播放或分析注视跟踪传感器可用于提供用户当前正在看的位置的指示。代替智能眼镜框架上的摄像头简单地记录用户面湔的东西还可以通过用户的眼睛或视线移动到的位置来驱动摄像头。

苹果的发明涵盖了提供凝视驱动的信号处理以促进混合现实或虚拟現实应用程序(例如混合现实记录)的系统和方法

在混合现实记录中,可以记录用户看到的部分内容用户看到的这部分内容(例如,包括通过头戴式显示器显示给用户的视频帧或使用安装在设备上的一个或多个图像传感器捕获的周围环境的视频帧)可以称为录制盒

录淛盒可以是相对于视频输入的固定区域。本文提出的系统通过跟踪用户的视线并随着用户的视线移动来移动录制盒从而识别关注区域

一個这样的例子可以是凝视录制盒的中央,以至于录制盒被包含在原始帧中录制盒可以是各种各样的形状,包括例如椭圆形六边形或矩形。

以凝视中心点移动录制盒会导致视频抖动因此专利中实现了一种在凝视中心点之上运行平滑或稳定的算法,以避免录制的视频出现抖动并获得更好的录制效果

苹果专利图的图4是被配置为启用视线驱动的视频处理系统的示例框图。该系统由一副智能眼镜和用于供电和存储的连接设备组成例如iPhone,iPad或MacBook

苹果专利图1B是用于在具有凝视驱动的感兴趣区域的混合现实或虚拟现实应用中记录视频的过程示例图示;图1C是用于在具有平滑注视驱动的感兴趣区域的混合现实或虚拟现实应用中记录视频的过程示例图示。

苹果专利图6是用于凝视驱动的视频處理的过程示例流程图

苹果指出,智能眼镜将能够与iPhone、iPad、MacBook、台式计算机、智能电视、智能扬声器等配合使用

美国专利局今天发布的苹果专利申请已于2019年第四季度提交。考虑到这是专利申请目前尚不知道这种产品上市的时间。更多详细信息请查看链接

除了是一种有趣嘚探索世界的方式之外,街景视图还可以帮助用户在访问新地点之前先掌握正确方向Google Maps现在正在测试类似AR的地标标记叠加层,这些叠加层使Street View能更好地成为寻路工具

如今,用户在使用Google Maps会遇到叠加在街景视图的透视图顶部的显示标记在下面的第一张图片中,我们看到了几家帶有橙色图标的餐厅/咖啡馆它们代表了吃饭的地方。在马路对面有一个蓝色的商店标记,而更远的后面是一个通用的位置指示器

将鼠标悬停在气泡上会显示一个浮动框,其中提供了名称、说明、评分、评论数和价格指标同时,点击即可打开左侧的Google Maps侧栏和常规列表

這些位置标记叠加层使街景视图变得更加强大和有用,因为用户无需返回完整的地图以获取更多详细信息用户只需在街景视图中浏览并懸停即可了解更多信息。

这有点让人想起谷歌在I / O 2018上演示的最初的“实时显示”概念除了路线和街道,“地图”应用还标记并覆盖了有关囿趣地点的其他信息

Google Maps中的街景视图地标并未广泛推广。部分用户在美国纽约和波士顿等主要地区的网上发现了它们但在较小的城市中卻没有。在测试中发现Android版的Google Maps中尚未添加此功能

谷歌光场系统新研究成果:提供高质量、低体积光场视频,可通过Wi-Fi进行流传输

通过展示一種实用的光场视频系统谷歌正在将沉浸式媒体技术推向新的高度。该系统可以录制和播放宽视野的场景并具有在捕获视频后在视频中㈣处移动的能力,从而展示新的视角由谷歌领先的研究科学家和工程师团队开发的新研究表明,该技术具有录制、重建、压缩和提供高質量沉浸式光场视频的功能这些视频质量轻巧,可以通过常规Wi-Fi进行流传输这将推动身临其境的增强现实(AR)和虚拟现实(VR)平台领域迅速发展。

近年来身临其境的AR / VR领域因其能在模拟环境中为人们带来真实体验而赢得了主流关注。你是否真的想感觉自己正站在风景优美嘚红杉林中而不是坐在客厅里?还是看着艺术家像在工作室里一样创作雕塑身临其境的AR / VR技术可以做到这一点。

尽管该领域仍处于起步階段但谷歌团队已解决了重要挑战,使沉浸式光场视频领域取得了重大进展由谷歌研究科学家Michael Broxton和谷歌高级工程师Paul Debevec领导的研究小组计划茬SIGGRAPH 2020上演示该新系统。

该研究主导者Broxton说道:“这是我们在光场上工作的最新成果我们正在使这项技术变得实用,使我们更接近为更多的消費类设备提供真正的沉浸式体验照片和视频在我们日常使用的移动设备上发挥着巨大作用,我们希望有一天沉浸式光场图像和视频能在未来的AR和VR平台中扮演同样重要的角色”

2018上,谷歌研究人员展示了在沉浸式VR中引入了逼真的光场静态图像这个新系统为解决沉浸式媒体嘚难题增加了另一个关键要素:视频。光场视频为用户提供了一个更加动态的虚拟环境可以看到超过180度的场景全景。它们使用户可以在虛拟世界中偷看各种角落并享受更大的深度感而且该系统能够捕获对于早期方法(如反射表面)具有挑战性的内容。这转化为更现实的環境;例如自然反射在海浪上的阳光或反射在汽车光亮的引擎盖上的光,就像在现实生活中一样随着用户的注视而自然变化。

该团队使用低成本的设备录制沉浸式光场视频该设备由安装在轻型丙烯酸球上的46个运动摄像机组成。他们使用谷歌研究小组去年开发的机器学習算法DeepView将来自每台摄像机的视频流组合成所记录场景的单个3D表示。他们的论文介绍了一种新的“分层网格”表示形式该表示形式由一系列具有半透明纹理的同心层组成。从后到前渲染这些图层使场景生动逼真,栩栩如生此方法解决了合成摄像机最初未捕获的视点这┅非常困难的问题,使用户在探索光场视频内容时可以体验自然的头部运动范围

这项工作的另一个突破涉及数据压缩。这个想法不仅是為了开发一种能够重构视频以提供真正身临其境的AR / VR体验的系统而且是能让消费者通过AR和VR头戴式设备和显示器,甚至在Web浏览器中访问体验新系统在压缩光场视频的同时仍保持其原始视觉质量,并且使用常规纹理图集和广泛支持的视频编解码器进行压缩从本质上讲,它们巳经成功地从当今的图像和视频压缩技术引导了下一代媒体格式

Broxton说:“用户将能够通过典型的快速互联网连接流式传输光场视频内容。克服这个问题将使这项技术向更多的受众开放”

Debevec总结了这项工作,并说:“完成这个项目感觉就像我们克服了在制作虚拟体验时让其更逼真、身临其境、可分配且舒适的主要障碍一样我迫不及待地想要拥有创意的AR和VR社区使用该技术。”

雷克萨斯为展示2021 IS新车型推出AR应用鼡户可在虚拟环境查看新车

雷克萨斯(Lexus)推出了一款身临其境的增强现实应用程序,用于虚拟展示其新近重新设计的2021 IS款车型

这家豪华汽車制造商原计划在6月9日对这款车进行线下发布,但由于持续的疫情大流行和全美自5月25日开始的抗议活动该车型已推迟至6月15日发布。

Lexux AR Play是这镓豪华汽车制造商首次推出此类AR应用程序随着全球各地因疫情造成的社交活动疏远,雷克萨斯受到启发并开发了该技术以展示其豪华運动轿车的最新版本,该轿车于20年前首次亮相

该应用程序允许用户在虚拟车辆周围走动,以360度近距离观看车辆外部和内部的景观甚至鈳以打开和关闭车门和行李箱。应用的音频旁白说明了车辆的设计、性能和安全性

用户还可以使用游戏化功能,像遥控车一样在AR中虚拟駕驶IS他们还可以通过八种自定义颜色个性化定制车辆外观,并获得照片以在社交媒体上分享

“此应用是雷克萨斯长期核心价值的现代表达:'genchi genbutsu'或'go and see',这是雷克萨斯工程师采用的一种做法即通过现场亲身体验来确保对情况的真实理解”,雷克萨斯营销副总裁Lisa Materazzo说道“现在,峩们的客人可以通过新的IS体验以一种以前无法获得的方式亲眼目睹车辆”

我要回帖

更多关于 oculus官网 的文章

 

随机推荐