Magic Fixup 是一种新颖的照片编辑技术，其核心理念是通过分析动态视频来理解物体和环境如何随光照、视角和物理交互而变化，从而帮助用户以剪切和粘贴的方式编辑图片，并自动修复和美化这些编辑。这项技术特别强调从原始图像中转移细节并保持其身份特征，同时使之适应新布局所定义的光照和上下文条件。
Magic Fixup 解决了传统照片编辑复杂、耗时的问题，尤其是在处理光照调整、物体移动和视角变化等方面。它通过自动化这些过程，极大地简化了编辑流程，提高了效率。
主要功能特点
1. 逼真的图像合成
Magic Fixup 可以将用户的粗略编辑（例如，移动、复制或删除图像中的对象）转化为看起来非常真实的图像。这是通过精细地从原始图像转移细节并适应新布局的光照和环境来实现的。这意味着即使用户只做了一些简单的编辑，最终的图像也会看起来像是专业编辑过的。
2. 利用视频数据
利用视频数据是 Magic Fixup 的一个创新点。通过分析视频中的物体和相机的运动，这个技术能够学习世界如何随着视角、光照和物理交互而变化。这种学习方法允许 Magic Fixup 理解并模拟这些真实世界的动态，使编辑后的图像在各种条件下都保持逼真。
3. 精细细节传输
这个功能确保了从源图像到编辑图像的细节能够被精确地保留和转移。即便是在用户指定的新布局下，Magic Fixup 也能够保持图像部件的身份，并适应新的光照和环境条件。这就是说，编辑后的图像既保持了原图的精细特征，又融入了新的布局和环境。
4. 拼贴转换接口
Magic Fixup 开发了一种类似拼贴画的编辑界面，允许用户通过简单的2D变换、复制或删除来手动重排图像的部分，就像制作拼贴画一样简单。用户可以轻松选择图像的一部分，进行变换、复制或删除操作，而 Magic Fixup 会自动处理复杂的修复工作，使编辑看起来自然和逼真。
5. 快速编辑过程
与传统编辑工具相比，Magic Fixup 能在极短的时间内（5秒）完成复杂的编辑任务。这意味着用户不需要花费大量时间进行微调，就能获得专业级别的编辑效果。
工作原理
- 于视频的监督学习：通过分析视频数据，理解物体如何在不同光照和视角下变化，然后应用这些洞见来指导照片的自动编辑和修复。
- 扩散模型训练：使用基于扩散的模型来清理和美化粗略的图像编辑，确保最终输出与用户的预期布局一致，同时保持图像的逼真度。
以下是其主要工作原理的详细说明：
1. 基于视频的监督学习
Magic Fixup 利用动态视频作为强大的监督资源，从中学习对象和相机的运动如何在不同视角、光照条件和物理交互下导致世界的视觉变化。通过这种方式，模型能够理解和预测在用户指定布局下，如何逼真地合成图像。
- 构建图像数据集：从同一视频中提取的成对源帧和目标帧，使用随机选择的时间间隔，构建一个图像数据集。这些成对的帧帮助模型学习如何根据用户的粗略编辑（如移动对象）进行真实的图像合成。
2. 精细细节传输
为了保留编辑图像中的细节和身份特征，Magic Fixup 设计了一个生成模型，该模型能够从源帧向生成的图像传输细节，并且遵循用户指定的布局。这是通过以下两个步骤实现的：
- 预训练的扩散模型：模型从一个预训练的扩散模型开始，该模型已经能够生成高质量的图像。
- 细节传输：设计的模型明确使能源帧中的细节传输到生成的图像中，同时紧密遵循用户指定的布局。
3. 自动化修复和增强
Magic Fixup 通过自动化的方式修复用户的粗略编辑，使之变得逼真，主要通过以下技术实现：
- 扩散模型：使用扩散模型处理粗略编辑的图像，自动修正编辑引入的不自然之处，如光照不一致、边缘不匹配等问题。
- 二阶效应处理：模型能够处理编辑对象之间的光照和物理交互等二阶效应，比如正确地调整阴影和反射，使编辑后的图像看起来更自然。
4. 训练与优化
- 配对数据生成：通过从视频中提取图像对并自动对齐它们来生成训练数据，模拟用户在 Collage Transform 接口中可能进行的粗略编辑。
- 细节和布局的条件生成：训练过程中，模型学习如何在保留源图像细节的同时遵循用户定义的大致布局，生成逼真的编辑结果。
下面通过一个例子来详细解释它的工作原理和主要功能：
场景描述
想象一下，你有一张在公园拍摄的照片，其中包括一个坐在长椅上的人和远处的一棵树。现在，你想要通过编辑来创造一个全新的场景：将那个人移到树下，以创造一种在树荫下休息的印象，并且希望这个编辑看起来尽可能自然和逼真。
Magic Fixup 的工作流程
-
粗略编辑：首先，使用 Magic Fixup 提供的编辑工具，你可以通过简单的2D变换，如拖动和缩放，将图片中的人物切割出来并移动到树下的新位置。这个步骤产生的是一个粗略的编辑图像，可能在光照、阴影和物体边缘等方面与背景不太匹配，看起来不那么自然。
-
自动修正：接下来，Magic Fixup 的模型介入，它基于从大量动态视频中学到的知识，自动调整编辑过的图像，修正光照不一致、物体边缘粗糙等问题。模型会参考原始图像的细节，确保人物的纹理、光照和影子等与新位置的环境相匹配，生成一个逼真的最终图像。
功能亮点
- 细节保留：即使在调整人物位置后，Magic Fixup 也能够保留其衣物的纹理和光照效果，使其看起来自然融入新的背景中。
- 光照和阴影调整：根据新的布局，Magic Fixup 能够适应和修改光照效果，为移动的对象添加合适的阴影，增强图像的深度感和逼真度。
- 快速和直观的编辑：通过简单的界面和自动化的后处理，用户可以在几秒内完成编辑任务，无需专业的图片编辑技能。
案例展示
- 空间重组：用户可以在图像中重新排列场景的元素，例如移动物体或改变它们的位置。Magic Fixup 能够自动调整这些改动，包括修正光照、阴影等，以确保最终的图像看起来自然和逼真。
例子：假设有一张室内照片，你想把桌子从房间的一边移动到另一边。使用 Magic Fixup，你可以简单地在图像中移动桌子，并让软件自动处理光照和阴影的调整，使编辑后的场景看起来和谐。
- 视角编辑：通过改变图像中特定区域的视角和焦距，用户可以创造出深度和透视的变化。Magic Fixup 能够快速渲染这些视角上的变化，无需耗费手动编辑的时间和努力。
- 例子：若想将一张风景照片中的远处山脉看起来更接近一些，通过 Magic Fixup，可以轻松调整山脉的焦距，使其在视觉上显得更近，同时自动调整其余场景以保持整体的逼真度。
- 色彩编辑：Magic Fixup 允许用户通过使用部分透明的画笔对图像中的对象进行着色，即便模型没有专门接受过色彩编辑的训练。这种方法可以让色彩编辑变得更加直观和灵活。
- 例子：如果想要改变衣物的颜色，即使原图是黑白的，使用 Magic Fixup，用户可以直接在衣物上涂上新的颜色。软件将自动处理颜色过渡，确保着色自然融入原图中。
- Photoshop 修复：Magic Fixup 可以直接接受在 Adobe Photoshop 中进行的编辑，用户可以利用 Photoshop 强大的工具集进行复杂编辑，然后通过 Magic Fixup 自动修复和优化这些编辑，提高工作效率和编辑质量。
- 例子：在 Photoshop 中对一张图片做了复杂的调整，比如改变一个人物的姿势。将这个编辑导入到 Magic Fixup 后，它可以自动优化这些调整，确保编辑看起来自然和逼真，例如通过自动添加正确的阴影和光照效果来增强真实感。
- 在 Magic Fixup 的训练过程中，尽管开发者过滤掉了大多数非真实感视频数据以保证模型训练的质量，但他们注意到 Magic Fixup 仍然具有很强的泛化能力，能够适应新的领域和场景。这得益于其独特的细节提取网络，通过向模型提供参考图像，能够在编辑过程中保持图像的全局身份和一致性。考虑一个将现实风格的照片转换为具有特定艺术风格的场景，尽管 Magic Fixup 主要训练于真实感图像，但它通过保留原始图像的关键细节和全局风格，同样能够处理这种艺术风格的转换任务。例如，如果你有一张普通的街景照片，想要将其编辑成具有印象派画风的图像，Magic Fixup 可以帮助调整颜色和纹理，同时保留建筑和人物的基本形状和位置，从而实现这一目标。
项目及演示：https://magic-fixup.github.io/
Support authors and subscribe to content
This is premium stuff. Subscribe to read the entire article.