增强现实/虚拟现实

NeRFs 如何帮助我重新想象世界

为什么图像还没有进化到二维?为什么我们对百年科技感到满意?如果已经有了可以推动内容世界向前发展的技术,而且只需要一台相机,该怎么办?这项技术神经辐射场( NeRF )。

尽管这项技术诞生于几年前( 2020 年),但它的持续发展速度不容忽视或低估。 NeRF 准备在今年迎来一个 DALL-E 时刻。它正在颠覆生产(虚拟和现场)、现场活动、体系结构和建筑以及一般内容创建和内存捕获等行业的长期流程。

NeRF 是一种颠覆性技术,在图像渲染领域引起了轰动。 NeRF 在生成复杂 3D 对象的高度详细和逼真的图像方面已经取得了重大进展。在这篇文章中,我深入探讨了 NeRF 的现状,并讨论了它们对各个行业的潜在影响。

什么是 NeRF ?它们是如何改变我的生活的?

虽然这个名字听起来很吓人,但它本身就是一个神经辐射场。总之, NeRF 可以拍摄一系列 2D 图像,并从中创建逼真的 3D 场景。它是通过神经网络训练的数据,可以根据视角(也称为辐射度)准确地表示每个像素的颜色,然后在体积场中显示。编译后,它可以用于从任何视点渲染对象或场景的新视图,即使是在训练过程中未捕捉到的视图。

视频 1 .我的父母带着 NeRF 走在记忆的小路上

要在 2022 年之前创建 NeRF ,你需要对神经网络、人工智能有深入的了解,并有很大的耐心。现在,使用诸如Instant NGP,Luma AI,nerfstudioTurboNeRF,进入的障碍几乎不存在。

NeRF 有可能彻底改变图像渲染领域,因为它们能够创建复杂物体的高度详细和逼真的图像。它们可以捕捉到传统渲染技术难以再现的照明和表面特性的细微变化,如反射和阴影。

在我看来,人们已经对摆在他们面前的技术感到自满,并希望增加百万像素来提高图像的沉浸感。这本身就是有缺陷和过时的。现在是时候利用技术上的突破了,这些突破使我们作为人类能够体验生活,并记录我们未来每一代人的生存状态。

我这一代人是第一个通过社交媒体获得高清照片和视频的人。我坚信,下一代将是第一个获得真实感 NeRF 的人,这使他们能够真正展示生活中的整个瞬间。

视频 2 。我祖母的 NeRF ,供无限世代观看

这些都是巨大的主张,但 NeRF 艺术家在实现这一目标方面取得了不可否认的进展,从 Luma AI 使从 iPhone 生成 NeRF 变得容易,到首次使人们能够在三维空间中编辑 NeRFs。甚至插件平台使 NeRF 能够在虚幻引擎中使用Blender.

越来越多的公众可以使用 NeRF 。

“未来的相机”看起来可能是一样的,但内容的操作和结构看起来会有所不同。人们不再拘泥于原摄影师在某个时间点设定的构图。他们现在可以无限探索 NeRF ,找到对他们最有意义的确切角度和视角。

最近,我发现自己在探索一个 NeRF ,它是我在前伴侣的公寓里拍的。在现场走动时,最令人感动的部分不是主题,而是我在地板上的一双袜子。一下子,她恳求我把袜子捡起来的所有时间都回来了,我想起了一段被完全遗忘的时光。

虽然这是一个精心挑选的例子,但我忍不住觉得,对于每个人来说,一个时刻可以代表的不仅仅是它前面显示的内容。让人们能够从一个空间中解读和创造自己的意义,这才是记忆的真正价值。

NeRF 将如何帮助电力行业

不难想象 NeRF 技术如何帮助改善各行业的消费者体验。一个更困难的问题是什么不会被打乱。

房地产

我们看到了 NeRFs 将在本周通过引入Zip-NeRF.几位在房地产行业工作的朋友和业主向我咨询了如何使用 NeRF 作为比 Matterport 更好的产品。美国各地有成千上万的 Matterport 认证人员,他们都应该意识到自己的世界即将发生变化。我预计在未来 18 个月内会有几家 NeRF 公司出现,以精简垂直领域,所以开始开发。

视频游戏和特效

这是另一个已经看到 NeRF 开始改变现状的垂直领域。正如我之前提到的,现在有一些方法可以让 NeRF 进入虚幻引擎和 Blender ,从而打开可能性。到 2023 年底, NeRF 可能会大幅降低虚拟制作入门预算的门槛

教育

人们都有不同的教育偏好。一些人吸收教学法,另一些人更喜欢集体学习。有些人通过体验和理解所教内容的背景来获得动力。

这就是 NeRF 的用武之地:

  • 历史可以以令人惊叹的逼真细节展现。
  • 解剖和外科手术的医疗指导可以在 VR 中显示。
  • 博物馆可以为没有展示空间的物品提供教育之旅。

使用 NeRF 的学习管理系统浪潮即将到来,它将使学习充满活力。

最近的#InstantNGPVR 竞赛赢家哈里森·福赛斯用即时 NGP 展示了一次考古挖掘。很容易想象教授和机构如何将 NeRF 作为课程计划和现场复习的一部分。

视频 3 。 NeRF 可以提供额外的学习和经验来源,比如这个考古挖掘的例子

长途行走

谷歌最近实施immersive view into a handful of cities,随着快速扩张的到来。猜猜是什么给它提供了动力: NeRF 。有几个用例,从旅游、寻路到规划你想在旅行中体验的东西。

如果你发现自己在一个新城市工作,需要一个地方喝咖啡,你可以对这个地方的氛围有一个真实的了解。不再看 2013 年的可疑手机照片。现在你终于可以体验到你将要得到的东西了。( Expedia ,如果你读到这篇文章,请给我打电话。)

视频 4 。既然你可以在度假时拥有 NeRF ,为什么还要满足于拍照呢?

体育和现场活动

一些选定的用例包括现场票务和活动行业,在那里可以准确地查看座位和体育场的氛围。

视频 5 。 NeRF 有能力彻底改变体育和现场赛事

我去了一个Mets game(如果你想看看的话,是一个互动的 NeRF )上周和我父亲在一起。我们花了 20 多分钟讨论该买哪个座位,以及我们预期的景色。坦率地说,现有的技术不太好。当我收到 StubHub 的一封电子邮件,要求我从座位上传照片以帮助其他用户时,这一点得到了进一步的巩固。

这怎么可能是标准呢? NeRF 可以立即为球迷和前往新球场的球迷提供更好的用户体验。

Screenshot of message, “Did you take a picture at San Diego Padres at New York Mets?” and instructions for uploading.
图 1 。 Stubhub 提供的当前产品

其他现场直播场所也是如此。说实话,你去餐馆之前多久看一次菜单?场地也是如此。这个座位离什么地方近Section 132,哪里有两英尺长的热狗?每个场馆的独特之处是什么?消费者在前往体育场之前如何制定计划?

通过让人们能够探索和计划他们的活动,体育场馆和供应商可以进行追加销售,也可以为他们的客户创造难忘的体验。

产品摄影

其他例子包括产品视觉效果和增强现实。 Crate & Barrel 和 Nike 等供应商长期以来一直在使用 AR 来帮助买家了解他们的产品在自己的空间里会是什么样子。然而,他们一直缺乏 NeRF 带来的真实感。现在,消费者可以准确地看到他们将得到什么,以及它将如何融入他们的空间。

元宇宙

好吧,这是过去 3 年来吸引科技公司和风险投资家的一个大项目。虽然元宇宙的进展仍在继续发展,但它将如何实现以及由谁来实现一直存在疑问。

在我看来, NVIDIA 最适合将元宇宙转化为现实(并非双关语)。当我坐在这里时,很难想象如果没有 NeRF 的存在,元宇宙会存在。

图 2 :推特上的 NeRF 摘要

你将如何塑造 NeRF 的未来?

这篇文章只描述了将被 NeRF 扰乱的行业中的一小部分。

NeRF 是一项改变游戏规则的技术,有可能彻底改变图像渲染领域。它能够为复杂的 3D 物体创建逼真而复杂的图像,这对游戏、娱乐和广告等各个行业都有着深远的影响。尽管仍有局限性需要解决,但 NeRF 的可能性是无限的,其影响才刚刚开始显现。

你会讲什么故事?你将如何使用 NeRF ?目前还没有规则或最佳实践。找到它们,创造它们。探索 NeRF 的世界,推动人类记录历史的方式向前发展。

没有什么能阻止你开始。开始捕捉,创造你自己的新记忆,并意识到 NeRF 不仅会影响你的工作,还会影响你的日常生活。我们已经看到了艺术家已适应这样的媒介使用NeRFs 进行故事创造

下载 Instant-NGP并计算出多少VRAM your data set will consume.

现在,您已经瞥见了 NeRF 的激动人心的世界,我们希望您渴望了解更多关于它们将在各个行业产生的难以置信的影响。如果你渴望了解更多关于 NeRF 的知识,请随时关注Neuralradiancefields.io或订阅Radiant,是唯一一份专门针对 NeRF 的时事通讯。

 

 

 

Tags