一种新的技术,可以通过文本描述生成高质量的矢量图形。传统方法存在生成的图形路径交叉或不平滑的问题,而这种新方法通过一种双分支的神经网络(VAE)学习路径的几何属性和视觉特征,从而生成更清晰、更符合预期的矢量图形。这项技术不仅可以生成复杂的矢量图形,还能根据需要进行定制和优化,适用于多种数字艺术创作和设计应用。
- 生成高质量的矢量图形:生成的图形路径平滑、清晰,结构合理,易于编辑。
- 易于使用:通过简单的文字描述,就能生成复杂的矢量图形,不需要专业技能。
- 多种应用:方法可以用于矢量图形的自定义、将图像转换为矢量图形,以及创建矢量图形动画。
解决了什么问题
- 创建和编辑矢量图形的复杂性:
- 传统的矢量图形创作需要专业的设计知识和大量时间,现有的文本到矢量图形(T2V)生成方法在优化路径控制点时缺乏几何约束,导致路径交叉或不规则。
- 现有T2V方法的局限性:
- 现有方法直接优化矢量图形路径的控制点,常导致路径交叉或不规则。
- 图像矢量化过程中,文本到图像(T2I)模型生成的光栅图像过于复杂,难以转换为平滑的矢量图形。
- 创新方法:
- 提出了一种新的神经路径表示,通过设计一个双分支变分自编码器(VAE)来学习路径的潜在空间,结合了序列和图像模式。
- 采用两阶段路径优化方法,第一阶段利用预训练的文本到图像扩散模型,通过变分评分蒸馏(VSD)过程生成初始复杂矢量图形。第二阶段使用层次化图像矢量化策略精细化生成的SVG,以实现更清晰的元素和结构。
主要功能
- 自动生成矢量图形:根据文本描述生成符合几何约束的矢量图形。
-
可调整细节级别的SVG生成:通过调整路径数量,可以生成具有不同抽象水平的SVG。使用较少路径生成简单平坦的风格,增加路径数量则可以增加细节和复杂度。