在这个教程中,我们将详细介绍如何使用ComfyUI IC-Light工作流来重新照明你的视频。通过一系列简单的步骤和设置,你可以生成高质量的重新照明视频。
使用步骤
- 上传源视频
- 点击并上传你想要改变光照效果的源视频。
- 视频要求:
- 大小不超过100 MB
- 长度不超过15-20秒
- 分辨率为720p或更低
- 如果需要跳过一些初始帧,可以使用跳帧节点。
- 上传光图视频或单个光图图像
- 点击并上传光图视频或单个光图图像。
- 输入加载上限和其他设置
- 确保光图视频的设置与源视频一致。
- 建议先使用帧加载上限为10进行测试。
- 输入新光照设置的提示
- 例如:阳光、霓虹灯等描述新光照效果的提示。
- 选择模型
- 建议选择现实模型(如SD 1.5模型)以获得准确的结果。
- 根据需要更改光图合成和其他设置
- 点击渲染
- 输出将保存在ComfyUI > Outputs中。
主要设置详解
输入_1 – 设置
- 采样器步骤: 确定ksampler渲染图像的总步骤数。默认值为26,不建议修改。
- 细节增强器: 增加最终渲染中的细微细节。使用值在0.1到1之间。
- 种子: 控制每个Ksampler的生成种子。
- 采样器CFG: 控制Ksampler的CFG值。
- 精炼器放大: 类似于高分辨率修复值,使用值在1.1到1.6之间以获得最佳效果。
提示
- 正面提示: 输入最佳描述新照明效果的图像提示。
- 负面提示: 配置为最佳结果,可编辑。
- 剪辑文本编码节点: 帮助编码文本以最大化质量,保持为“完整”。
模型和Loras
- 检查点: 选择任何现实的SD 1.5模型以获得准确结果,也可以选择任何SD 1.5模型以获得风格化结果。
- Loras: 可选,选择任何Loras,使用强度在0.5-0.7之间以获得最佳效果。
输入源视频
- 上传源视频
- 点击并上传源视频。
- 视频要求:
- 大小不超过100 MB
- 长度不超过15-20秒
- 分辨率为720p或更低
- 如果需要跳过一些初始帧,可以使用跳帧节点。
- 图像尺寸限制器
- 设置最大分辨率,建议值在800到1200之间。
- 设置最大分辨率,建议值在800到1200之间。
- 帧加载上限
- IMP:建议使用10进行测试,使用200-300帧在1000-1200分辨率下,如果有24GB内存。
- 如果要渲染所有帧,请使用 0。[但不推荐用于较长视频]
遮罩和深度设置
- 遮罩: 使用Robust Video Matting,默认设置即可。
- 深度控制网: 使用最新的DepthAnything v2模型,设置在75%。
- 为获得最佳效果,请使用 Co 适配器深度
光照图设置
- 上传光图: 点击并上传光图视频。自动缩放到源视频的尺寸。
- 确保它的长度大于或等于源视频的尺寸,否则会出错。
- 光图控制网: 使用模型来控制光图
- CN 强度和结束百分比:在这里使用低值,较高的值可能会导致曝光过度或光线过渡过于锐利。
动画差异设置
- Single Light Map :使用单个图像作为光照贴图,请取消这些节点的静音并将重新路由节点连接到“选择一个输入”节点。
- 加载Animatediff模型: 可以使用任何模型来实现不同的效果。
Animatediff 其他节点:您需要对 animatediff 有一些了解,以更改其他设置,您可以在这里找到它们
设置 SMZ:这是增加模型 Pipeline 更高质量的节点,所有设置都是预定义的,可以很好地工作。
光图和IC条件合成
以上顶部调整节点(灰色)用于控制 IC 灯光调节的调节,使其对比度较低并控制亮度。
- 生成新背景:
- 选择是否生成新背景,根据提示调整深度控制网的强度和结束百分比。
- 当禁用时,它将使用原始图像输入,并尝试根据“背景提示”将细节映射到与源视频背景类似的内容,如果在正面提示框中存在
[1girl, sunlight, sunset, white shirt, black short jeans, interior, room]
[一个女孩,阳光,日落,白色衬衫,黑色短裤,室内,房间]当启用生成新背景时:它将考虑深度生成新的背景 [1girl, sunlight, sunset, nature in the background, sky]
[一个女孩,阳光,日落,背景是大自然,天空]
深度控制网络的强度和末端百分比也降低到 45%,以在背景中留有开放区域。
- 光图在顶部:
- 当为 True 时,光照图将位于源视频的顶部并更加显著,当为 False 时,源视频将位于顶部,更加显著和明亮
- 主体影响区域:
- 混合模式:
- Multiply: 根据光图在顶部或底部使阴影区域变暗。
- Screen: 根据光图在顶部或底部使阴影区域变亮。
- 混合因子: 控制强度。
- 混合模式:
整体调整
- 控制最终处理光图的亮度、对比度、伽玛、色调。
- 图像重新映射: 使用此节点来控制整体全局亮度和整个图像的暗度。
– Higher min value will brighten the scene
– 更高的最小值将使场景变亮
– Lower Max values will make the Scene Darker and can convert the Brighter areas into morphing objects like the QrCode Monster CN
– 降低最大值将使场景变暗,并且可以将较亮的区域转换为变形对象,如二维码怪兽 CN
– Use mostly the Min value to 0.1 or 0.2 to light up a scene a little bit.
– 主要使用最小值为 0.1 或 0.2 来稍微照亮场景。
– Min Value 0 will have a pitch-black shadow for black pixels of the light map.
– 最小值 0 将使光照图中的黑色像素产生纯黑色阴影。
KSamplers(原始和精炼)
- IC Raw Ksampler: 从步骤8开始进行去噪。
- Ksampler Refine: 类似于Img2Img精炼器。
IC Raw Ksampler:与其他采样器不同,它从第 8 步开始而不是零,这是由于 IC 光条件(帧从第 8 步去噪)例如,一个结束步骤为 20