Concept Sliders 是一种用于扩散模型(如 Stable Diffusion)的LoRA 适配器,允许用户在图像生成过程中对特定概念进行精细控制。与依赖提示词生成图像的传统方法不同,Concept Sliders 通过引入可调整的“滑块”,用户可以在保持图像整体结构不变的情况下,调节某些特定属性(如眼睛大小、光照强度、风格等)的强度,从而实现更高精度的图像生成和编辑,而无需反复修改提示词。
- 概念滑动器: 为扩散模型中的特定概念创建滑动器,允许用户通过调整滑动器的数值来控制图像生成或编辑的特定特征,如年龄、性别、眼睛大小等。
- 支持多种扩散模型: 支持 SD1.x 和 SD2.x 版本的扩散模型训练,还包括 SD-XL 版本的扩展。
- 项目支持实验性的 FLUX-1 模型 滑动器训练,尽管该模型与 SDXL 架构不同,但可以用于尝试基于 FLUX 的滑动器。
- 文本滑动器: 基于文本描述的滑动器,通过输入描述如“我想让人看起来更高兴”,来生成相应的滑动器。
- 图像滑动器: 可以基于一组图像(如编辑前后的图片对)训练滑动器来实现图像编辑。
- 项目集成了 ControlNet 功能,使得社区用户可以通过该技术进一步增强滑动器的控制效果,扩展其应用场景。
主要功能:
- 精确调整图像中的概念:
- 通过 LoRA 适配器 对扩散模型进行微调,以创建用于精确控制特定图像特征的滑动器。例如,控制年龄、性别、表情等。
- 用户可以通过简单的滑动调整参数来控制图像中的某些元素,来实现对生成或编辑图像中具体特征的控制。例如,你可以让人物的眼睛变大或变小,或者调整画面中的光照强度。这种控制是连续的,你可以根据需求微调,直到满意为止。
- 文本概念滑块:
- 用户可以通过描述文本来生成滑动器。例如,输入 “我想让人看起来更高兴”,模型会生成一个用于调整“开心”程度的滑动器。
- 提供 GPT-4 生成滑动器的集成功能,使得创建滑动器更加便捷。
- 当你通过提示语生成图像时,通常会希望对某些属性进行更细致的调整,比如“年轻人”和“老年人”之间的过渡。文本概念滑块允许你通过输入简单的文字描述,训练模型记住这些概念,然后通过滑块来控制这个概念的强弱。例如,你可以让图像中的人物随着滑块移动逐渐变老,而不改变其他属性。
- 视觉概念滑块:
- 支持基于一组图像(例如:编辑前后的图像对)来训练滑动器,实现对特定视觉特征(如眼睛大小、面部特征等)的精确控制。
- 可用于对图像的属性进行细致编辑,例如放大眼睛、改变面部表情等。
- 有些视觉元素可能很难用文字描述,比如微小的面部表情变化或者不同的光影效果。对于这些难以用文字描述的概念,Concept Sliders 支持通过成对的图像训练滑块,你可以选择几张具有对比效果的图片,来训练模型识别这些细节,然后通过滑块来调节这些视觉元素。
Sliders can be created for concepts that can not be described in words. These sliders are created by artists by using 6-8 pairs of images.
可以为无法用语言描述的概念创建滑块。这些滑块由艺术家使用 6-8 对图像创建。 Stylespace latents can be transferred from styleGAN to Stable Diffusion XL.
Stylespace 潜伏可以从 styleGAN 转移到 Stable Diffusion XL。