Runway 推出的一款生成式角色表演工具,Act-One可以通过使用视频和语音输入生成逼真的角色表演,是一种利用生成式模型创建真人动画和动画内容的新方法。
- 轻松制作角色动画:只需要用摄像头录下演员的表演,Act-One 就能把视频转换成虚拟角色的动画,比如演员的眼神、面部表情、动作节奏和说话方式都会被捕捉下来。
- 简单快捷:传统动画制作需要专门的设备和复杂的步骤,比如动作捕捉或面部建模,但用 Act-One,只要一台普通摄像头就能生成逼真的角色动画,大大简化了流程。
- 多种角色风格:Act-One 可以根据不同的参考图像,把同一个演员的表演变成各种风格的角色,无论是卡通还是逼真风格都可以。
Act-One 的核心功能与能力
1. 生成逼真的角色表演
- 输入类型:Act-One以视频和语音作为输入,通过演员的现场表演来驱动虚拟角色的动作和表情。
- 输出表现:它能生成动态的角色动画,保留演员的眼神、微表情、语调和动作节奏,确保最终生成的角色表现具备真实情感。
仅使用演员表演的简单视频即可将角色转换成生成动画风格。
视线、微表情、节奏和表达都忠实地呈现在最终生成的输出中。
2. 简化面部动画流程
- 传统的面部动画通常需要复杂的动作捕捉设备、手动面部建模和多步流程。而Act-One只需要单一摄像头捕捉演员表演,即可生成虚拟角色动画,极大简化了动画制作过程。
- 不需要额外的设备或手动面部建模,大幅降低了制作门槛。
使用简单的单摄像机设置捕捉演员的表演,可用于为生成的角色制作动画。
一个简单的家用摄像机设置可以捕捉演员的表演,从而为生成的角色制作动画。能保持声音同步和嘴型同步
3. 支持多样化角色表现
- Act-One 能够处理各种不同类型的角色,并将演员的表演准确转换为不同比例、不同风格的虚拟角色。这意味着,用户可以基于一个表演生成多种角色动画,从而实现更具创意的角色设计和演绎。
视频输入生成多种风格的角色动画
4. 多轮对话场景的生成
- Act-One 支持创建复杂的多轮对话场景,这在以前的生成式视频模型中较为困难。用户只需使用一个演员和一台摄像机,即可演绎多个角色的对话,并通过生成的虚拟角色实现多角色互动。
使用单个演员和摄像机设置一起编辑的多机位对话场景,以驱动两个独特的生成角色的表演。
5. 灵活的创意应用
- 工具的强大之处在于其多摄像机的对话场景处理能力,通过单一摄像机和演员实现多个角色的表演和编辑。
- 家庭摄像头生成动画:用户仅需在家用摄像头前进行表演,Act-One 就能生成专业级别的动画。
- 多模态输出:无论是单个角色的动画,还是包含多个角色的叙事场景,Act-One都能通过同一段表演生成多种不同风格和场景的角色表现。
Act-One 的应用场景
- 电影与动画制作:为创作者提供更高效的面部动画工具,适用于电影、短片、广告等的动画生成。
- 角色设计与开发:可以快速生成具有不同风格和表情的角色样本,帮助游戏开发者和艺术家快速创建角色原型。
- 叙事与创意内容:支持创作者用简单的设备生成多角色叙事视频,特别适合叙事性强的创意内容和社交媒体视频。