NVIDIA 今天发布了面向游戏玩家、创作者和开发者的新一代硬件 – GeForce RTX 50 系列台式机和笔记本电脑 GPU。除这些 GPU 外，NVIDIA 还推出了 NVIDIA RTX Kit ，这是一套神经渲染技术，可使用 AI 对游戏进行光线追踪、渲染具有庞大几何图形的场景，以及创建具有逼真视觉效果的游戏角色。RTX Kit 可增强几何图形、纹理、材质和照明，为复杂的开放世界提供更高的视觉保真度和性能，同时减少伪影、稳定性和 VRAM 使用率。开发者可以将单个或所有 RTX Kit SDK 直接集成到其渲染管线中。
RTX 神经着色器将 AI 引入可编程着色器
25 年前，NVIDIA 推出了 GeForce 和可编程着色器，解锁了图形技术领域 20 年的创新成果，从像素着色、计算着色到实时光线追踪，不一而足。除了采用 NVIDIA Blackwell 架构的全新 GeForce RTX 50 系列 GPU 之外，NVIDIA 还将推出 RTX 神经着色器，该技术可将小型神经网络引入可编程着色器，开创图形创新的新时代。神经着色的应用非常广泛，包括辐射缓存、纹理压缩、材质、辐射场等。
借助 RTX 神经着色器 SDK，开发者可以在 RTX AI PC 上训练游戏数据和着色器代码，并在运行时使用 NVIDIA Tensor Core 加速其神经表征和模型权重。在训练期间，我们会将神经游戏数据与传统数据的输出进行比较，并在多个周期内进行改进。开发者可以使用 Slang 简化训练过程，Slang 是一种着色语言，可以将大型复杂功能拆分成更易于处理的较小部分。
这项突破性技术可用于三种应用：RTX 神经纹理压缩、RTX 神经材质和神经辐射缓存（Neural Radiance Cache，NRC）。
- RTX 神经纹理压缩 利用 AI 在不到一分钟的时间内压缩数千个纹理。它们的神经表征可实时存储或访问，或无需进一步修改即可直接加载到内存中。在相同的视觉质量下，神经压缩纹理可节省高达传统块压缩纹理 7 倍的 VRAM 或系统内存。
- RTX Neural Materials 使用 AI 来压缩复杂的着色器代码 ，这些代码通常专为离线材质而设计，并由多层材质 (例如：porcelain 和 silk) 构建而成。材质处理速度最高可提升至原来的 5 倍，因此能够以游戏就绪的帧率渲染电影级画质素材。
- RTX Neural Radiance Cache 使用 AI 学习多次反射间接照明，从而在路径追踪光线发生一到两次初始反射后，推理无限次反射。与无辐射缓存的路径追踪照明相比，这提供了更好的路径追踪间接照明和性能。NRC 现已通过 RTX Global Illumination SDK 提供，并将很快通过 RTX Remix 和 Portal with RTX 提供。
开发者可以在本月底通过 NVIDIA RTX 套件 开始使用 RTX Neural Shaders 和 RTX Neural Texture Compression SDK。 注册以在上市时收到通知。 对于 DirectX 开发者， Microsoft 将在不久的将来为 DirectX 添加 Cooperative Vector 支持 。这将使神经着色器能够利用 RTX Tensor Cores 的加速性能。
Microsoft 的 Silicon、Media 和 Graphics 合作伙伴团队项目经理 Bryan Langley 表示：“微软很高兴能与 NVIDIA 合作，通过为神经着色技术提供全行业支持，推动新一代图形编程。DirectX 很快将支持 Cooperative Vectors，这将释放 NVIDIA GeForce RTX 硬件上 Tensor Cores 的强大功能，并使游戏开发者能够在 Windows 上全面加速神经着色器。”
穿越渲染数字人的神秘山谷
在实时图形中，人脸渲染是一项极具挑战性的任务，因为人们在自然条件下甚至会注意到与现实的微小偏差。RTX Neural Faces 提供了一种使用生成式 AI 改善人脸质量的创新方法。Neural Faces 不采用强力渲染，而是采用简单的光栅化面部和 3D 姿态数据作为输入，并使用实时生成式 AI 模型来推理更自然的面部。在不同的光照、情绪和遮蔽条件下，从不同角度对生成的面部从数千张离线生成的图像进行训练。
训练流程可以使用真实照片或 AI 生成的图像，并使用扩散模型创建变体。然后，对经过训练的模型进行 NVIDIA TensorRT 优化，以实时推理面部。RTX 神经面孔代表着利用生成式 AI 重新定义实时图形之旅的第一步。
RTX Neural Faces 由适用于头发和皮肤的 RTX Character Rendering SDK 提供支持。让游戏角色的头发和皮肤看起来和模拟准确具有挑战性。基于链的尖端头发技术每根头发最多需要 30 个三角形，而对于整根梳子最多需要 400 万个三角形，这使得光线追踪 BVH 的构建成本高昂。Linear-Swept Spheres (LSS) 是由 GeForce RTX 50 系列 GPU 加速的全新基元，可减少渲染发丝所需的几何体数量，并使用球体代替三角形来更准确地契合头发形状。借助 LSS，我们能够以更出色的性能和更小的显存占用制作光线追踪头发。
传统的渲染方法无法准确模拟光线与人类皮肤的交互方式，而这可能会产生塑料般的外观。次表面散射 (SSS) 可模拟光线在半透明材质表面下的渗透和内部散射情况，从而打造更柔和、更自然的外观。开发者可以通过本月底推出的 RTX 角色渲染 SDK 开始使用 RTX 皮肤和头发算法。RTX Remix 中也提供 RTX 皮肤。 注册以在上市时接收通知 。
创建无限复杂的开放世界
在过去 30 年里，用于创作游戏的三角形数量呈指数级增长。随着 Unreal Engine 5 Nanite 几何系统的推出，开发者可以构建充满数以亿计三角形的开放世界。但是，随着光线追踪游戏场景的几何复杂性呈爆炸式增长，为不同细节级别 (LOD) 每帧构建包围盒层次结构 (BVH) 的成本呈指数级增长，因此无法实现实时帧率。RTX Mega Geometry 可加速 BVH 的构建，与目前的标准相比，可对三角形进行多达 100 倍的光线追踪。
所有开发者将于本月底通过 NVIDIA Streamline 获得 DLSS 4 SDK。Streamline 简化了将新的 NVIDIA 技术集成到应用和游戏中的过程。新的 Transformer 模型向后兼容现有的 Super Resolution 和 Ray Reconstruction 集成。对于 Unreal Engine 5 开发者，DLSS 4 将于本月底登陆 NvRTX。 注册以接收 DLSS 更新 。
NVIDIA Reflex 是一项延迟降低技术，可同步 CPU 和 GPU 以实现出色的响应速度，从而在对延迟敏感的游戏中加快目标捕获速度、缩短反应时间并提高瞄准精度。新的 Reflex 2 引入了 Frame Warp，进一步降低延迟，根据最新的鼠标输入更新渲染的游戏帧，然后发送到显示器。预测性 inpainting 技术使用先前帧的颜色和深度数据来填充线程束留下的孔。因此，与原生渲染相比，Reflex Frame Warp 可将延迟降低高达 75%。Reflex 2 SDK 即将登陆 GeForce RTX 50 系列 GPUs，并将在后续更新中添加对其他 GeForce RTX GPUs 的支持。注册以接收 Reflex 更新。
借助 ACE 自主游戏角色重新定义游戏 AI
数十年来，游戏中一直使用 AI 这个术语。这些非玩家角色（NPC）通常遵循严格的规则，旨在模仿智能、遵循引导式故事情节，并以脚本形式与玩家进行交互。然而，随着智能语言模型的兴起，游戏 AI 已经为真正的智能革新做好准备。
NVIDIA 引入了 NVIDIA ACE 自主游戏角色 ，重新定义了游戏 AI。NVIDIA ACE 由生成式 AI 提供动力支持，可打造生动、动态的游戏世界，其伙伴能够理解并支持玩家目标，敌人能够动态适应玩家战术。
为实现这些自主角色，我们推出了能够以逼真决策所需的类似人类频率进行规划的新型 ACE 小语言模型 (SLMs)，以及用于视觉和音频的多模态 SLMs，使 AI 角色能够听到音频提示并感知环境。
复制人类决策需要游戏角色与玩家进行自然交互，感知环境，通过潜在选项推理，并在数百毫秒内战略性地规划和执行下一步行动。借助 GeForce RTX 50 系列 GPU 中的蒸馏创新技术和改进，多个 AI 模型能够在 GPU 上同时运行，为游戏角色提供自主性，同时更大限度地提高游戏的画质和性能。即将推出的新款 NVIDIA ACE 模型包括：
感知模型
- NemoAudio 4B Instruct 能够输入音频和文本并输出文本，能够描述游戏环境中的音景。
- Cosmos Nemotron 4B 128K Instruct 可将图像和文本导入并生成文本，并且能够进行简单的空间理解。
- Parakeet CTC XXL 1.1B 多语种可将多语种音频转录为文本。
- NV-OCR 可快速识别屏幕上的字符和文本，并将其转录为纯文本。
认知模型
- Mistral Nemo Minitron 8B 128K Instruct 是指令跟随功能的先进技术，可让游戏角色精确地进行角色扮演。
- Mistral Nemo Minitron 4B 128K Instruct 降低了准确性，同时减少了 VRAM 消耗。
- Mistral Nemo Minitron 2B 128K Instruct 是我们最小的版本 ，使用 1.5 GB 的 VRAM。
动作模型
- A2 Flow 是一个零样本文本转语音模型，支持多种语言。
感知、认知和动作均存储在经过优化的嵌入模型中，游戏角色可不断调用该模型以做出下一个决策。在智能体框架中实施这些模型将在实时游戏场景中推动类似人类的决策。
KRAFTON 的 PUBG Ally 展示了一个可协作的角色 (CPC)，该角色可根据实时交互战略性地规划和执行巧妙的战术，并与人类玩家动态协作以确保生存。 KRAFTON 的 InZOI 是他们即将推出的生活模拟游戏，展示了 Smart Zoi：角色通过全天采取的行动来调整自己的行为。 Wemade 的 MIR5 是他们即将推出的 MMORPG 游戏，它提供了一个智能的“突袭头目 (raid boss)”，可以从过去的战斗中学习，并根据玩家行为调整战术，从而在每次运行时创造更引人入胜的体验。 NetEase 的 NARAKA: BLADEPOINT MOBILE PC VERSION 拥有智能 AI 伙伴，可根据玩家的命令执行操作。
音频驱动的 AI 面部动画很快将得到重大更新，使角色更具表现力。NVIDIA 宣布推出一款基于 Audio2Face 实时扩散的全新架构，可提供更准确、更细致的唇部同步效果，改善动态和生动的情绪，以及自然的非语言反应。
适用于代理工作流的最新 NVIDIA ACE 设备端模型即将推出抢先体验版。使用 NVIDIA 游戏内推理 (IGI) SDK 开始 PC 部署，该 SDK 可将 PC 预配置为必要的 AI 模型、引擎和依赖项。它为 C++ 游戏和应用编排过程内 AI 推理，并支持跨不同硬件加速器的所有主要推理后端。
开始使用
GeForce RTX 50 系列 开启了渲染和 AI 的新时代。直接在着色器中训练和部署 AI，以获得更好的压缩和近似技术。借助突破性的 BVH 构建技术，构建更复杂的开放世界。利用新的数字人渲染技术实现实时性能。使用由 AI 提供支持的最新光线追踪算法来模拟精确的光线传输。将传统游戏角色转换为 AI 驱动的自主版本，打造全新游戏体验。通过游戏开发资源中心访问 RTX 套件、DLSS 4、Reflex 2 和 NVIDIA ACE 技术。
