通过文本实现实时图像编辑的快速反演

文本到图像的扩散模型可以根据用户提供的文本提示生成多样化、高保真的图像。这些模型的操作方法是：通过一系列降噪步骤，在用户提供的文本提示符的条件下，从高维空间映射随机样本 $z_{T}$ 。这将导致相应图像 $z_{0}$ 的表示。

这些模型还可用于更复杂的任务，例如图像编辑、学习描绘个性化概念或语义数据增强。在这种情况下，图像编辑是指根据文本提示对给定图像进行局部更改的任务，而图像的其他部分保持不变。

所有这些附加任务都涉及一个名为”inversion“的过程：给定图像表征 $z_{0}$ 及其相应的文本提示 $p$ ，您会寻找噪声种子 $z_{T}$ ，当输入降噪过程时，该种子会生成重建的图像 $z_{0}$ 。

最近提出了 Regularized Newton-Raphson Inversion (RNRI)，这是一种新的反演技术。RNRI 在快速收敛与出色的准确性、执行时间和内存效率之间取得平衡，首次实现了实时图像编辑，优于现有的反演方法。

GIF shows real-time editing of several images. Given a photo of a lion sitting in the grass, a text prompt is used to transform the lion into a raccoon while preserving the background. All edits involve two processes, inversion and generation, both being fast to make the full process interactive. — *a) 日落时分，一头狮子坐在草地上*

GIF shows real-time editing of several images. Given a photo of a cat sitting next to a glass vase with flowers, a text prompt is used to transform the cat into a fish while preserving the background. All edits involve two processes, inversion and generation, both being fast to make the full process interactive. — *a) 日落时分，一头狮子坐在草地上*

求解隐式方程的反演

反转扩散模型需要在可能的种子空间中搜索，以重建给定图像的种子。此搜索可能需要大量计算。

要了解如何高效实现此目标，请首先考虑前向（noising）过程。

从扩散模型中采样可视为求解普通微分方程。降噪扩散隐式模型（Denoising Diffusion Implicit Models）中提供的热门DDIM确定性调度程序通过以下方式对隐噪向量进行降噪：

方程 1

$z_{t-1}=\sqrt{\frac{\alpha_{t-1}}{\alpha_{t}}}z_{t} - \sqrt{\alpha_{t-1}} \cdot \Delta \psi(\alpha_{t})\cdot \epsilon_{\theta}(z_{t},t,p) \quad\quad$

在此方程式（Equation 1）中， $\alpha_t = 1-\beta_t$ 、 $\psi(\alpha) = \sqrt{\frac{1}{\alpha}-1}$ 和 $\Delta \psi(\alpha_t) = \psi(\alpha_t) - \psi(\alpha_{t-1})$ 。

DDIM 反演

为导出反转，首先重写第一个等式如下：

方程 2

$z_t = \sqrt{\frac{\alpha_t}{\alpha_{t-1}}}z_{t-1} + \sqrt{\alpha_{t}} \cdot \Delta \psi(\alpha_t) \cdot \epsilon_{\theta}(z_{t},t,p)$

这给出了 $z_{t}$ 中无法以封闭形式求解的隐式方程。DDIM 反演通过将 $z_{t}$ 替换为 $z_{t-1}$ 来近似该方程。

方程 3

$\approx \sqrt{\frac{\alpha_t}{\alpha_{t-1}}}z_{t-1} + \sqrt{\alpha_{t}} \cdot \Delta \psi(\alpha_t) \cdot\epsilon_{\theta}(\boxed{z_{t-1}},t,p)$

DDIM 反演是一种快速的方法，但通常是不准确的反演。

定点和梯度下降反演方法

几篇论文使用迭代方法改进了先前的近似值，以近似求解第二个方程。例如，使用固定点迭代直接求解方程是一种广泛应用于数值分析求解隐式函数的方法。有关详细信息，请参阅Effective Real Image Editing with Accelerated Iterative Diffusion Inversion。

与之相关的是，可以通过使用梯度下降的高阶项求解更精确的反演方程。有关更多信息，请参阅 On Exact Inversion of DPM-Solvers。

定点迭代和梯度下降方法提供比DDIM更高的准确性，但具有线性收敛率，并且可能需要数秒才能计算。

正则化 Newton-Raphson 反演方法

更快速、更准确的替代方案基于著名的 Newton-Raphson迭代法（NR）。

NR 是一种迭代查找方程系统根的方法。将 NR 朴素地应用于完整隐空间需要求解 $z_t = f(z_t)$ 。这一表述不切实际，因为它需要反转高维的 Jacobian 矩阵。

而是定义多变量标量函数 $\hat{r}: R^d \rightarrow R$ ：

方程 4

$\hat{r}(z_t) := ||z_t - f(z_t)||$

寻找其根 $\hat{r(z_t)}=0$ 。由于 $\hat{r(z_t)}$ 是标量函数，因此 Jacobian 矩阵是一个向量，可以快速计算。

我们可以快速完成方程 4 的求解，但由于方程未得到充分确定，因此无法保证其解能够很好地重建图像。此外，某些根 $\hat{r(z_t)}$ 可能超出扩散模型的分布范围。

为解决此问题，请在 NR 目标中添加正则化项：

方程 5

$q(z_{t}|z_{t-1}) := \mathcal{N}(z_{t};\mu_t=\sqrt{1-\beta_{t}}z_{t-1},\Sigma_t=\beta_{t}I)$

由于扩散过程中的每个噪声步骤都遵循高斯分布，因此会将其合并为 $z_t$ 值的先验值。将负对数似然添加为正则化惩罚项，从而形成目标：

方程 6

$\L(z_t) := ||z_t - f(z_t)|| - \lambda \log q(z_t | z_{t-1})$

可以使用自动微分引擎高效计算此函数的 Newton-Raphson 迭代，使用先前扩散时间步长的 $z_{t-1}$ 初始化过程。Regularized Newton Raphson Inversion（RNRI）将在 1–2 次迭代中收敛（对于隐一致性模型，约为 0.5 秒）。

图 2 将 COCO 验证集的重建图像（使用 PSNR 测量）的质量与计算反演所需的时间进行了比较。它显示 RNRI 在 PSNR 或运行时间方面比最近的方法有所改进。为了公平地进行时间比较，所有方法都在单个 NVIDIA A100 GPU 上测量运行时间。黑色虚线表示由 Stable Diffusion VAE 引起的固有失真引起的上限。