Adobe 将推出新的生成式 AI 视频模型 Firefly Video Model 集成到其视频工具中

Adobe 将推出新的生成式 AI 视频模型Adobe Firefly Video Model ，专门用于视频生成和编辑。它将被集成到 Adobe 的视频工具（如 Premiere Pro）中，帮助视频编辑者更快、更高效地完成工作。这款新模型可以通过文本提示生成视频片段，如填补时间线中的缺失内容、移除不需要的对象、平滑跳剪过渡等，还支持创建动画、控制相机角度和运动等。

Firefly Video Model 的亮点在于：

• 支持复杂的镜头生成和操作，如使用提示生成详细的场景或补充缺少的镜头。
• 强调情感和电影风格的生成，可为场景添加火焰、烟雾、尘粒等特效，或通过颜色和光影调节镜头氛围。
• 生成动画和动态效果，如 2D、3D 动画，并与团队成员分享创意。

Adobe Firefly Video Model 的主要功能特点：

1. 文本生成视频（Text-to-Video）：

   • 通过简单的文本提示，用户可以生成高质量的视频片段，轻松填补时间线中的空缺。例如，通过描述场景（如“雪地中的驯鹿”或“火山喷发”），生成符合创意需求的镜头。

2. 镜头填充与扩展：

   • Firefly Video Model 支持生成缺失的镜头，并通过生成片段来平滑过渡。例如，它可以延长镜头时长，补齐素材，避免重新拍摄的麻烦。

3. 动态控制和相机操作：

   • 用户可以调节相机角度、运动和变焦，为生成的视频赋予更多的视觉效果。例如，用户可以生成无人机飞越沙漠的镜头，并控制镜头运动。

4. 多样化场景生成：

   • 支持生成自然风景、动画和特效，适合用于插入B-roll、创建过渡片段，或生成补充镜头。尤其擅长生成如火焰、烟雾、尘粒等氛围元素，并可与其他素材无缝融合。

5. 2D 和 3D 动画生成：

   • 支持生成和编辑2D 和 3D 动画，如手绘线条风格的动画或粘土动画等。它让创意团队可以迅速实现动画概念并与团队成员分享。

6. Image-to-Video 转换：图像到视频的转换：

   • Firefly Video Model 还支持将静态图片转换为动态视频片段，例如从图片生成全新的动态场景，或者从图像中放大或缩小生成新的视频镜头。

7. 实时效果和叠加：

   • 模型还支持生成透明背景特效（如火焰、烟雾等），并将其叠加到现有视频素材中，为视频增添更多视觉效果。

案例

通过 Firefly 的 Text-to-Video 功能，用户可以使用文本提示词、各种镜头控制和参考图像来生成与时间线无缝衔接的补充镜头（B-roll）。

生成的所有视频都是通过 Adobe 的 Firefly 视频模型在两分钟内生成的。

Prompt: Cinematic closeup and detailed portrait of a reindeer in a snowy forest at sunset. The lighting is cinematic and gorgeous and soft and sun-kissed, with golden backlight and dreamy bokeh and lens flares. The color grade is cinematic and magical.
提示：日落时雪林中驯鹿的电影特写和详细肖像。灯光如电影般绚丽、柔和、如阳光般，金色背光、梦幻般的散景和镜头光晕。色彩等级具有电影般的魔力。

Prompt: Slow-motion fiery volcanic landscape, with lava spewing out of craters. the camera flies through the lava and lava splatters onto the lens. The lighting is cinematic and moody. The color grade is cinematic, dramatic, and high-contrast.
提示：慢动作的炽热火山景观，熔岩从火山口喷涌而出。相机飞过熔岩，熔岩溅到镜头上。灯光具有电影感和喜怒无常。色彩等级具有电影感、戏剧性和高对比度。

Prompt: Miniature adorable monsters made out of wool and felt, dancing with each other, 3d render, octane, soft lighting, dreamy bokeh, cinematic.
提示：用羊毛和毛毡制成的微型可爱怪物，互相跳舞，3D 渲染，辛烷值，柔和的灯光，梦幻般的散景，电影。

Firefly 视频模型在生成自然世界的视频方面表现出色。当拍摄中缺少关键的设定镜头时，可以生成带有相机运动的场景，如风景、植物或动物。

Prompt: Footage of a camera on a drone flying over a desert with wind blowing over the dunes creating waves in the sand below.
提示：无人机上的摄像机飞越沙漠的镜头，风吹过沙丘，在下面的沙子上产生波浪。

需要更多补充镜头？可以根据参考帧生成片段，填补时间线中的空白。

Original footage: 原始镜头：

Generated clip: 生成的剪辑：

Prompt: Detailed extremely macro closeup view of a white dandelion viewed through a large red magnifying glass
提示：通过大红色放大镜观察白色蒲公英的详细极其宏观特写视图

Combined sequence: 组合顺序：

Prompt: Detailed extremely macro closeup view of a white dandelion viewed through a large red magnifying glass
提示：通过大红色放大镜观察白色蒲公英的详细极其宏观特写视图

通过 Firefly 视频模型，用户可以利用丰富的相机控制，如角度、运动和缩放，来生成完美视角的视频。

Prompt: Drone shot going between the trees of a snowy forest at sunset golden hour. The lighting is cinematic and gorgeous and soft and sun-kissed, with golden backlight and dreamy bokeh and lens flares. The color grade is cinematic and magical.
提示：无人机在日落黄金时段在白雪皑皑的森林的树林之间拍摄。灯光如电影般绚丽、柔和、如阳光般，金色背光、梦幻般的散景和镜头光晕。色彩等级具有电影般的魔力。您的提示越详细，模型就越能利用该深度来生成鼓舞人心的图像和幕后花絮。

Prompt: Cinematic closeup and detailed portrait of a man in the middle of a rainy street. the lighting is moody and dramatic. The color grade is blues and teals. the man is extremely realistic with detailed skin texture and stubble on his face. movement is subtle and soft. the camera doesn’t move. heavy film grain and textures. Beads of water slowly rolling down his face.
提示：电影特写镜头和一个男人在雨天街道中央的详细肖像。灯光喜怒无常且富有戏剧性。颜色等级为蓝色和青色。该男子极其逼真，脸上有细致的皮肤纹理和胡茬。动作微妙而柔和。相机不动。厚重的胶片颗粒和纹理。水珠慢慢地从他的脸上滚落下来。

Firefly 视频模型支持广泛的使用场景，包括生成火焰、烟雾、尘粒和水等环境元素，这些元素可以在黑色或绿色背景下生成，随后通过 Adobe 工具（如 Premiere Pro 或 After Effects）中的混合模式或抠像功能叠加到现有内容上。

Original footage: 原始镜头：

Galaxy far away in outer space.
银河系遥远的外太空。