什么是NVIDIA DLSS？NVIDIA DLSS的发展过程

本文将要介绍的一项黑科技叫做NVIDIA DLSS，它始于 3D 游戏，又被广大游戏玩家戏称为“大力水手”。如今它已更新发展到了 DLSS 3.5，并已登陆包括 NVIDIA Omniverse、D5、Chaos Vantage 在内的专业 GPU 渲染器，开始进军专业图形领域。
那么，这个 NVIDIA DLSS 究竟有何神奇之处？其“大力”又何以体现？,1►,什么是 NVIDIA DLSS？
NVIDIA DLSS，全称叫做 Deep Learning Super Sampling（深度学习超级采样）。由 NVIDIA RTX GPU 上的专用 AI 处理器（即 Tensor Core）提供支持，是一个经过改进的全新深度学习神经网络，能够在提高帧数的同时生成精美、清晰的实时渲染图像。
用最简单的话来说，DLSS 就像大力水手一般，靠吃 AI 算法这颗“菠菜”开挂，“脑补”出实时渲染中缺失的像素，从而提升实时渲染的帧数。开启 DLSS 之后，GPU 只需要先输出一个或多个低分辨率的画面，DLSS 就能调用 GPU 的 Tensor Core 进行 AI 运算，“脑补”出高分辨率画面并输出，以达到高分辨率下提升实时渲染帧数的效果。
展开来说 NVIDIA DLSS 深度学习超级采样这项技术的话，在 3D 游戏中，渲染的帧并非直接显示，而是先对其执行后期处理图像增强步骤。在此步骤中，将来自多个渲染帧的输入组合在一起，以在保留细节的同时，消除诸如锯齿等视觉失真现象。例如，时域抗锯齿 (TAA) 是目前最常用的图像增强算法之一，这是一种基于着色器的算法，使用运动矢量组合两帧，以确定在何处对前一帧进行采样。然而，这种图像增强过程从根本上来说很难正确实行。而这类没有清晰算法解决方案的图像分析和优化问题可通过应用 AI 来完美解决。为解决这一难题而开发的深度神经网络 (DNN) 模型被称为深度学习超级采样 (DLSS)。
DLSS 针对一组给定输入样本所产生的输出质量要比 TAA 高得多，虽然 TAA 以最终目标分辨率渲染，然后组合帧，而 DLSS 通过消除细节，能够以更低的输入样本数更快地渲染，这意味着以目标分辨率得到的结果与 TAA 结果的质量不相上下，但是只需执行大约一半的着色工作。在 DLSS 的训练过程中，DLSS 将有机会学习如何根据大量超高质量的示例生成所需的输出。为了训练网络，需要收集成千上万的“真值”参考图像，这些图像均采用黄金标准方法渲染，具有出色的图像质量，即 64 倍超级采样。
64 倍超级采样 (64xSS)是指我们在像素内以 64 个不同的偏移量进行着色，然后将输出组合在一起，生成具有理想细节并抗锯齿的优质图像，而不是对每个像素进行一次着色处理。同时还会捕捉与之相匹配的正常渲染的原始输入图像。接下来，开始训练 DLSS 网络来匹配 64xSS 输出帧，通过遍历每个输入，要求 DLSS 产生一个输出，测量其输出与 64xSS 目标之间的差值，并根据差值调节网络中的权重，这个过程称为反向传播。经过多次迭代后，DLSS 可以自行学习生成接近 64xSS 质量的图像，同时还避免出现影响 TAA 等传统方法的模糊、不清晰和透明问题。
总之，DLSS 是利用深度神经网络来提取所渲染场景的多维特征，并通过智能地组合多帧中的细节来构造高质量的最终图像，画质与传统渲染方式相差无几，但性能更高。
而利用专用的 Tensor Core 的 AI 渲染技术，可提供令人惊叹的强大性能，不仅能提升帧率，还能提供足够的性能优化空间，从而以较低的消耗增强了图形显示性能，提高了分辨率，甚至可以将分辨率提升至 8K。
2►,NVIDIA DLSS 的发展过程

▲ DLSS 各版本特性对比,目前，NVIDIA DLSS 已更新迭代到 DLSS 3.5 版本。下面就一起梳理下 DLSS 发展史中几次重大的更新。
DLSS 1
2018 年 8 月，随着 NVIDIA RTX 20 系列显卡的正式发布，NVIDIA DLSS 技术首次问世，并引入到了 NVIDIA Turing 架构的 GPU 显卡。NVIDIA 推出 NVIDIA DLSS 的初衷，是利用基于 AI 的超高分辨率技术重新定义实时渲染，在减少像素渲染的基础上，使用 AI 构建更清晰、更高分辨率的图像。
DLSS 2
2020 年 3 月，NVIDIA 发布了 NVIDIA DLSS 2， DLSS 也成为了 NVIDIA RTX 显卡的一项独立功能。
DLSS 2 也是由 RTX GPU 上的专用 AI 处理器 Tensor Core 提供支持，是一个经过改进的全新深度学习神经网络，能够提高帧速率，同时生成精美、清晰的实时渲染图像。DLSS 2 为实时渲染提供了充足的性能，有助于在开启光线追踪的效果下，提高输出的高分辨率帧数。

DLSS 2 在原始版本的基础上进行了以下增强>
出色的图像质量：DLSS 2 可在仅渲染四分之一到半数像素的前提下，提供与原始分辨率相媲美的画质。其采用全新时间反馈技术，能够实现更清晰的图像细节，同时提高帧与帧之间的稳定性。
在不同 RTX 显卡和分辨率上均具有出色的扩展性：全新 AI 网络能够更高效地使用 Tensor Cores，执行速度比原始版本快一倍。这不仅有助于提高帧率，还可消除以前显卡、设置和分辨率上的限制。
一个适用于所有游戏的网络：原始 DLSS 需要针对每个新游戏训练 AI 网络。DLSS 2 则使用非特定于某一游戏的内容开展训练，从而能够提供一个跨游戏使用的通用网络。这意味着游戏集成更快，最终将能支持更多 DLSS 游戏。
自定义化选项：DLSS 2 为用户提供“质量”(Quality)、“平衡”(Balanced) 和“性能”(Performance) 这 3 种画质模式来控制游戏的内部渲染分辨率；启用“性能”(Performance) 模式后，可实现高达 4 倍的超高分辨率（即从 1080p 到 4K）。这意味着用户选择更丰富，性能提升更显著。
DLSS 3
2022 年 10 月，NVIDIA 再次突破性地推出了 DLSS 3，开启了新的帧生成 (Frame Generation) 功能。
DLSS 3 以 DLSS 2 超分辨率技术为基础，结合使用光学多帧生成技术来生成全新帧，并运用 NVIDIA Reflex 低延迟技术来优化响应速度。DLSS 3 由基于 NVIDIA Ada Lovelace 架构的全新第四代 Tensor Core 和光流加速器 (Optical Flow Acceleration) 提供支持。

启用 DLSS 3 后，AI 会使用 DLSS 超分辨率技术重建第一帧的四分之三，并使用 DLSS 帧生成技术重建完整的第二帧。综合来看，DLSS 3 会重建所有显示帧的八分之七，使性能显著提升！

DLSS 3.5
2023 年 8 月，NVIDIA 发布了 DLSS 3.5。在继承了深度学习超采样 (DLSS)、深度学习抗锯齿 (DLAA) 以及随着 DLSS 3 上线的帧生成 (Frame Generation) 技术之外，DLSS 3.5 还引入了针对性改善实时光线追踪视觉表现的新特性：光线重建 (Ray Reconstruction) 技术。
DLSS 光线重建技术，这也是进阶版 AI 驱动的神经渲染器的一部分，通过将需要人工设计的降噪器替换为 NVIDIA 超级计算机训练的 AI 网络（在采样光线之间生成更高质量的像素），从而提升 RTX GPU 的光线追踪图像质量。

该功能可改善光线反射、全局光照和阴影等光线效果，打造更加身临其境、真实可感的实时渲染体验；同时，它还能对光线追踪计算机图形进行降噪，通过填补缺失的像素来更高效地合成最终图像。与 DLSS 3 相比，NVIDIA DLSS 3.5 的训练数据量增加了 5 倍，因此它能识别不同的光线追踪效果，并在何时使用时域累积和空间差值数据方面做出更明智的决策。

DLSS 3.5 还能提高实时 3D 创作应用的图像质量，并让专业 3D 创作者无需花费数分钟或数小时进行最终渲染，就能立即展示更优质的图像。
那么，大力水手 DLSS 的实时渲染实战表现究竟如何?持续关注，下期内容带您观战、为您解密！