ReSyncer是由清华大学、百度和南洋理工大学 S-Lab 实验室共同开发的一种新型框架,它能够生成非常逼真、与音频同步的口型视频,并且具备多种功能,如个性化调整、根据视频驱动的口型同步、改变说话风格以及进行人脸交换。
- 高保真度的音频同步口型视频:ReSyncer可以制作出非常逼真、准确地跟随音频同步的嘴部动作视频。
- 个性化微调:允许用户对生成的内容进行个性化调整,以满足不同的需求。
- 视频驱动的口型同步:除了音频,它还可以根据其他视频的嘴部动作来驱动同步,让新视频中的角色模仿已有视频中的说话动作。
- 说话风格迁移:ReSyncer可以将一个人的说话风格(如语气、节奏)迁移到另一个人身上。
- 人脸交换:它还可以在视频中替换说话者的面部,同时保持口型与音频的同步。