生数科技在中关村论坛未来人工智能先锋论坛上,与清华大学共同发布了中国首个长时长、高一致性、高动态性视频大模型——Vidu。这款模型被视为国内首个达到Sora级别的视频大模型。
官方称其核心技术U-ViT架构由团队于2022年9月提出,早于Sora采用的DiT架构,是全球首个Diffusion与Transformer融合的架构。2023年3月,团队开源了全球首个基于U-ViT融合架构的多模态扩散模型UniDiffuser,率先完成了U-ViT架构的大规模可扩展性验证。
主要特点和技术创新:
- 模型结构:Vidu 模型融合了 Diffusion 与 Transformer 技术,创新性地开发了 U-ViT 架构。
- 视频生成能力:Vidu 能够一键生成长达 16 秒、分辨率高达 1080P 的高清视频内容。
- 实际应用演示:在官方资料中,展示了一个视频示例,内容是“画室中的一艘船驶向镜头”,展现了船和海浪的逼真效果。
- 高级功能:Vidu 不仅能模拟真实物理世界,还具备丰富的想象力,支持多镜头生成和高时空一致性。
技术先进性:
- 全球首创:Vidu 的 U-ViT 架构是全球首个将 Diffusion 与 Transformer 融合的架构,早于其他类似模型使用的技术。
- 开源成就:2023年3月,团队开源了基于 U-ViT 架构的多模态扩散模型 UniDiffuser,这是全球首个此类模型,验证了 U-ViT 架构的大规模可扩展性。