FoleyCrafter 是一个能够为无声视频生成同步且逼真的声音效果的开源系统。用于自动生成与视频同步的高质量音效，从而实现身临其境的视听体验。它可以根据视频内容生成相关的声音，比如在视频里看到狗，FoleyCrafter 就会生成狗叫的声音。
它利用了一个预训练的文本到音频模型，并通过两个关键部分来实现这一目标：语义适配器和时间控制器。
语义适配器确保生成的声音与视频内容语义相关，而时间控制器则确保声音与视频的时间精确同步。
该系统可以通过文本提示来生成多样化的声音效果，适用于电影、游戏等领域。实验结果表明，FoleyCrafter 在生成高质量和精确同步的声音方面表现优异。
- 生成高质量声音：
- FoleyCrafter 可以为视频生成清晰、逼真的声音效果，不再需要人工添加声音。
- 声音与视频内容匹配：
- 它可以根据视频内容生成相关的声音，比如在视频里看到狗，FoleyCrafter 就会生成狗叫的声音。
- 声音与视频同步：
- FoleyCrafter 确保声音和视频是同步的，比如你在视频里看到一个门被关上，声音也会在同一时间出现。
- 用文字控制声音：
- 你可以用文字描述来生成声音，比如你输入“海浪声”，FoleyCrafter 就会生成海浪的声音。
- 适用于不同类型的视频：
- 不管是电影、动画还是游戏视频，FoleyCrafter 都能生成合适的声音效果，提升观众的体验。
- 操作简单：
- 只需提供视频和简单的文字描述，FoleyCrafter 就能自动生成你需要的声音效果。
工作原理
FoleyCrafter 通过预训练的文本到音频生成模型，结合语义适配器和时间控制器，实现高质量、语义对齐和时间同步的声音生成。
FoleyCrafter 基于一个预训练的文本到音频生成器，主要由两个组件组成：