如今的沉浸式扩展现实(XR)设备需要重型光学器件和显示器用头带固定,这增加了体积并形成了社会障碍。在设想的未来,头带将不再是必要的。在过去的几年里,NVIDIA Research 一直在与斯坦福大学计算成像小组合作,研究如何开发更小、更轻的 XR 眼镜,该小组由 Gordon Wetzstein 教授领导。
XR 眼镜光学设计中最重要的规则是显示器应该靠近用户的面部,以实现紧凑和轻便的设计,而图像应该看起来更远。随着显示器移动得离眼睛更远,重心也发生了变化。
然而,人眼无法正确感知离得太近的显示器,因此必须使用透镜等光学系统将图像中继到舒适的观看距离。为了使该系统有效,显示器需要位于透镜的焦距附近,这反讽地需要将显示器放置得更远(图 1)。
一种解决方案是使用折叠光路的煎饼透镜,这种方法引入了新的问题,如像差和额外的重量。光波导也经常用于实现紧凑型 XR 眼镜,但它们也有自己的挑战,包括有限的视角和无限远的固定焦点。
XR 全息眼镜
全息近眼显示器作为一种能够克服这些限制的技术正在受到关注。新的显示元件,空间光调制器(SLM),不是操纵光的强度,而是操纵光的相位,从而能够在 SLM 之前或之后重建三维全息图。使用此功能,三维图像可以定位在镜头焦距附近,即使显示器非常靠近镜头。
利用这一原理,我们的团队推出了厚度仅为 2.5 毫米的虚拟现实全息眼镜(图 2),如虚拟现实全息玻璃所示。通过波导、全息近眼显示器和几何相位透镜,VR 眼镜可以在没有自由空间传播的情况下以最小的厚度制造,该团队实施了台式和可穿戴原型进行测试。
我们的双目可穿戴原型支持 3D 焦点提示,它提供了 22.8 度的对角视野,带有 2.3 毫米的静态眼盒和带光束转向的动态眼盒的额外功能,同时重量仅为 60 克,不包括驱动板。利用用户瞳孔作为自然傅立叶滤波器的思想,我们首次提出了一种真正的眼镜形状因子全息 VR。
杂志 《自然》最近刊登了这项研究,即全彩 3D 全息增强现实显示器,具有金属表面波导。本研究介绍了独特的全息增强现实(AR)眼镜,它结合了逆向设计的全色元表面光栅、紧凑的色散补偿波导几何结构和人工智能驱动的全息算法。
采用与我们之前的工作类似的方法,这项研究从光路中消除了透镜,并战略性地使用全色超表面光栅作为内耦合器和外耦合器。如图 3所示,传统的 AR 眼镜使用振幅 SLM,如有机发光二极管或微型发光二极管,这些都需要基于投影仪的光引擎,该光引擎通常至少与投影透镜的焦距一样厚。
我们的全息 AR 眼镜的设计使用了仅相位 SLM,该 SLM 可以安装在非常靠近内耦合光栅的位置,从而最大限度地减小了器件的形状因子。与传统的 AR 眼镜不同,我们的全息设计可以为虚拟内容提供全 3D 深度提示。图4显示了通过我们的紧凑型全息显示器原型捕获的实验结果。这项创新工作是首次在完全透明的玻璃结构中成功实现全彩 3D 全息。
我们设计的另一个重要特征是使用了人工智能驱动的全息算法,这使得能够使用之前介绍的紧凑、轻便的全息 XR 眼镜。SLM 由相干光源(如激光)供电,其中波导系统中相干波前的精确操作对于全息显示器至关重要,但由于相干光的干扰性质,这一点非常具有挑战性。为了应对这一挑战,我们开发了一个数学模型,该模型结合物理精确建模技术和人工智能来描述波导中相干波的传播。
如图 5 所示,波导的物理方面(以绿色突出显示)与从相机反馈中学习的 AI 组件(以橙色突出显示)相结合。在我们的模型中,输入相位模式(左)将从 0 到 2π的每像素相位延迟应用于会聚照明,然后波前被所学习的耦合器内效率调制。本文中的效率是指表征元表面的物理量。
然后,该波阵面被发送到耦合器内平面处的 CNN,并使用其物理激励传递函数通过波导传播,然后使用额外的学习输出耦合器效率来确定输出耦合波阵面(中心)。后者被传播到距离用户不同距离的目标场景,在那里应用 CNN,将复值场转换为观察到的强度(右)。
当在捕获的数据集上进行训练时,CNNs 的学习参数、耦合器效率和波导传播使该模型能够准确预测我们的全息 AR 眼镜的输出该模型是完全可微分的,使得简单的梯度下降计算机生成的全息算法能够在运行时计算目标场景的相位模式
该模型可以通过神经网络组件参数化,这些组件可以从相机反馈中自动学习。在实际的全息显示器中,即使是波长尺度的错位也会导致图像质量的显著下降,使得人工智能驱动的校准至关重要,尤其是在波导等复杂结构中。所提出的波传播模型准确地表示了物理光学,相比其他模型显著提高了图像质量(图 2和图 4)。
总结
一度被认为不可能,但人工智能使实用的全息显示器变得可行,并使 3D XR 眼镜能够支持聚焦提示。这一研究领域为人工智能在显示器中开辟了新的可能性。虽然人工智能已经被用于内容创建和人机交互,但它也可以显著减少显示器本身的尺寸和重量,这是一个真正突破性的成就,超越了传统的期望。这些创新还为新的显示器外形因素带来了潜力,超越了自诞生以来一直占据主导地位的传统 2D 矩形显示器。
要了解更多信息,请参阅带有 metasurface 波导的全息 AI 眼镜。