Runway推出新一代视频生成模型 Gen-3 Alpha，具备更高的保真度和一致性，能够生成逼真的人类角色和动态场景。它支持多种视频生成和控制工具，并提供精细的时间控制和高质量的图像。
Runway还引入了新的安全措施，确保生成内容的安全和可靠性，并与多家顶级娱乐和媒体公司合作进行定制开发。
功能与特点
- 多模态训练:
- Gen-3 Alpha是在全新的大规模多模态训练基础设施上进行训练的，能够处理和融合不同类型的数据（如文本、图像和视频），以生成高质量的多模态输出。
- 联合训练:该模型通过联合训练的方法，利用视频和图像数据进行学习。这种方法提高了模型在生成动态内容和静态内容时的表现能力，确保输出的连续性和一致性。
- 多种生成工具:
- 支持从文本到视频（Text to Video）、从图像到视频（Image to Video）、从文本到图像（Text to Image）的工具。
- 精细时间控制:
- 在训练过程中，使用了高度描述性和时间密集型的字幕，增强了模型对场景细节和时间变化的理解。这使得模型能够生成具有创意过渡和精确关键帧控制的内容。
- 通过细粒度的时间控制，Gen-3 Alpha可以实现对生成内容的精确关键帧设置和场景过渡。这种精细控制使得生成的视频在运动和连贯性方面有显著提升。
- 示例提示：一个蚂蚁从巢穴中出来的极近距离拍摄，镜头拉远，展示山丘之外的社区。
.
- 高质量的图像和视频生成:
- Gen-3 Alpha能生成表达丰富的、逼真的人类角色，提供广泛的动作、手势和情绪，开启了新的叙事机会。
- 示例提示：在电视机光照下的一名男子的电影宽幅肖像。
.
- 高级控制模式:
- Gen-3 Alpha支持多种高级控制模式，包括运动画笔（Motion Brush）、先进摄像头控制（Advanced Camera Controls）和导演模式（Director Mode），这些模式提供了更大的创作自由和控制力度。
- 高效计算和存储架构:
- 采用分布式计算和高效存储架构，确保在处理大规模数据时的性能和速度。这种架构设计支持模型的快速训练和生成，满足高效创作的需求。
一些案例：
细粒度的时间控制
Gen-3 Alpha 已经通过高度描述性、时间密集的字幕进行训练，从而实现了场景中元素的想象过渡和精确关键帧定位。
Photorealistic Humans 逼真的人类
Gen-3 Alpha 擅长生成具有广泛动作、手势和情感表达的人物角色，开启了新的叙事机会。
艺术美化
培训 Gen-3 Alpha 是一支跨学科团队的协作努力，由研究科学家、工程师和艺术家组成。它旨在解释各种风格和电影术语。
详细内容，更多案例：https://runwayml.com/blog/introducing-gen-3-alpha/