支付宝发布 EchoMimicV2 ：从数字脸扩展到数字人可以通过图片+音频生成半身动画视频

支付宝发布 EchoMimicV2 ，从仅支持头部驱动的动画扩展到 半身动画 （包括头部、手势和上身动作）。 支持通过音频驱动半身人体动画生成。通过输 入一段音频、一张参考图片以及简单的手势序列 ，它可以生成包含 头部、手势和上半身动作 的动态视频。系统结合音频和动作的特征，生成自然、流畅且高度同步的半身动画。 [video width="1066" height="500" mp4="https://img.xiaohu.ai/2024/11/388372056-f544dfc0-7d1a-4c2c-83c0-608f28ffda25.mp4"][/video] 适用于虚拟主播、视频制作、动画生成等场景，能够让角色的动作与语音高度匹配，表现生动自然。 相较现有方法的优势： 输入要求更简化 ：相比传统的基于动作驱动或音频驱动的方法，输入条件更简单，使用更灵活。只需要一张参考图、一段音频和一些手势，就能生成高质量的动画，不用复杂的额外输入。 更高的动画质量 ：在定量和定性评估中均表现优异。 适用场景广泛 ：支持中英文音频驱动，适应多语言、多场景需求。 EchoMimicV1 介绍 https://xiaohu.ai/p/11120 EchoMimicV2 的更新 相比之前的版本， EchoMimicV2 在以下几个方面做了重要升级： 1. 从“只动头”到“半身动画” 更新内容 ：不再局限于只控制头部表情，现在可以生成包含头部、手势和上半身动作的半身动画。 好处 ：让人物的动作更加生动自然，更贴近真实的人类表现，比如虚拟主播可以用手势配合说话。 [video width="1536" height="768" mp4="https://img.xiaohu.ai/2024/11/ch_09.mp4"][/video] 2. 动作与声音匹配更精准 更新内容 ： 加入了 音频和动作动态融合 技术，让动作和声音的同步更加流畅。 声音中的语气和节奏也能体现在手势和表情变化中。 好处 ：人物的动作和说话的内容更贴合，看起来更真实。 [video width="1536" height="768" mp4="https://img.xiaohu.ai/2024/11/ch_05.mp4"][/video] 3. 解决数据不够的问题 更新内容 ：通过 头部数据的部分注意力机制 ，在训练时用头部数据弥补半身数据的不足。 好处 ：即使没有很多半身动作的数据，也能训练出一个很厉害的模型，省去额外采集数据的麻烦。 [video width="1536" height="768" mp4="https://img.xiaohu.ai/2024/11/ch_01.mp4"][/video] 4. 动画生成更细腻 更新内容 ：引入了 分阶段优化损失 的方法，分别针对动作流畅、表情细节和画面质量进行改进。 好处 ：生成的动画不仅动作自然，表情也很丰富，整体画面更干净，看不到明显的瑕疵。 [video width="1536" height="768" mp4="https://img.xiaohu.ai/2024/11/ch_02.mp4"][/video] 5. 输入更简单 更新内容 ：去掉了很多复杂的条件，只需要一张参考图片、音频和简单的手势序列就可以生成动画。 好处 ：操作更容易，对普通用户和开发者都更友好。 EchoMimicV2 技术亮点 音频-动作动态协调策略 (Audio-Pose Dynamic Harmonization) ： 动作采样 (Pose Sampling) ：通过对手势序列进行优化采样，确保半身动作的连贯性和自然表现。 音频扩散 (Audio Diffusion) ：结合音频信号生成更精准的动作细节，使音频内容与动画动作高度一致。 头部部分注意力机制 (Head Partial Attention) ： 针对半身数据稀缺的问题，将头部特征数据无缝集成到训练框架中。训练阶段使用头部数据优化模型，但推理阶段无需提供头部特定输入，从而降低使用门槛。 阶段特定去噪损失 (Phase-Specific Denoising Loss) ： 针对动画生成过程分阶段设计损失函数： 运动动态优化 ：生成流畅且具有表现力的动作轨迹。 细节增强 ：提升面部表情与手势的真实感。 低层次画质改进 ：确保最终视频画质的稳定性与清晰度。 轻量化设计 ： 通过减少冗余条件注入模块和优化模型架构，显著降低计算资源消耗，使其易于集成到实际应用中。 项目地址及演示： https://antgroup.github.io/ai/echomimic_v2/ 技术报告： https://arxiv.org/pdf/2411.10061 GitHub： https://github.com/antgroup/echomimic_v2 模型： https://huggingface.co/BadToBest/EchoMimicV2

Menu

分类目录

支付宝发布 EchoMimicV2 ：从数字脸扩展到数字人可以通过图片+音频生成半身动画视频

Related Posts

OOTDiffusion：支持半身、全身的开源的高分辨率虚拟试穿模型

MagicQuill：AI 驱动的图像编辑系统只需在图像上画几笔即可轻松编辑图像

Runway 推出视频扩展工具：Expand Video 可以无缝的为视频扩展画面

GetPickle AI是一款革新虚拟会议的AI工具让你的替身帮你开会你去干别的

Comfyui_Object_Migration：一致性换衣模型和工作流实物衣服一键穿上

ElevenLabs 推出构建语言对话AI代理的功能可使用其语音模型接入AI模型

Recommendeds

PhysDreamer：够识别和理解3D对象的物理材质属性并生成真实物理动态

基于模型的多智能体短视频推荐系统已经为数亿用户提供服务

将Llama-3 的上下文长度从8K扩展到超过100万

使用 PoSE 将 Llama 8B模型的上下文长度从8k扩展到64k

Paper Piano 纸钢琴：通过摄像头将任何一张纸变成一架钢琴

GPTEngineer：AI 开发工程师几秒钟内创建一个网站并可一键部署

GameNGen：一个完全由神经模型驱动的游戏引擎根据玩家操作实时生成游戏画面

HivisionIDPhotos ：轻量级且高效的AI证件照制作工具可以生成各种标准证件照

Magentic-One：微软发布用于解决复杂任务通用多智能体可自行编写和执行代码并进行人机交互

微软正式推出 Microsoft Designer 与 Microsoft 产品无缝集成随时随地进行图像设计

Welcome Back!

Retrieve your password

Add New Playlist

Are you sure want to unlock this post?

Are you sure want to cancel subscription?

Menu

分类目录

支付宝发布 EchoMimicV2 ：从数字脸扩展到数字人 可以通过图片+音频生成半身动画视频

Support authors and subscribe to content

加入会员

Related Posts

Recommendeds

Welcome Back!

Retrieve your password

Add New Playlist

Are you sure want to unlock this post?

Are you sure want to cancel subscription?

支付宝发布 EchoMimicV2 ：从数字脸扩展到数字人可以通过图片+音频生成半身动画视频