Follow-Your-Emoji：通过表情感知精细控制和生成动态表情丰富的肖像动画

Follow-Your-Emoji 是一个基于扩散模型的头像动画生成框架。可以将参考头像（例如照片、卡通人物、雕塑甚至动物）的表情和动作转换为动画。其主要特点是能够在保持原始头像身份特征的同时，生成自由风格和丰富表情的动画。 Follow-Your-Emoji通过使用MediaPipe提取面部的3D关键点生成2D表情感知标志，这些标志包含面部特征和瞳孔点但排除面部轮廓，作为运动表示引导动画生成过程，确保目标运动与参考肖像对齐，避免身份泄露，同时捕捉微妙表情变化，实现高保真、自然生动的肖像动画。 Follow-Your-Emoji 能做什么？ 身份保持 ：生成动画时，确保参考头像的身份特征不会丢失。 表情丰富 ：生成各种夸张和细微的表情，如大幅度的瞳孔运动。 多样化风格 ：支持多种风格的头像动画，包括卡通、现实人物、雕塑和动物等。 长时间动画 ：使用渐进生成策略，确保长时间动画的稳定性和一致性。 举例解释 卡通人物动画 ： 你有一张卡通人物的图片，并希望它能表现出不同的表情，比如开心、大笑、惊讶等。 Follow-Your-Emoji 可以根据你提供的这些表情标记序列，将卡通人物图片动画化，生成连续的动画片段，展示出卡通人物在不同场景下的表情变化。 现实人物动画 ： 假设你有一张自拍照，并希望能看到自己在说话时的表情变化。 Follow-Your-Emoji 可以利用你的照片和一段对话视频，将你的表情和动作映射到照片上，生成你在说话时的动画效果。 雕塑动画 ： 你有一个古代雕塑的图片，并想看到它表现出一些现代的表情，比如眨眼、微笑。 Follow-Your-Emoji 能够将这些表情应用到雕塑上，使雕塑看起来像在做这些表情，生成一个栩栩如生的动画片段。 动物动画 ： 你有一张宠物狗的照片，并想看到它在不同情境下的表情变化，比如兴奋地摇尾巴、开心地跳跃。 Follow-Your-Emoji 可以将这些动作和表情标记序列映射到狗的照片上，生成一段展示宠物狗不同情绪和动作的动画视频。 [video width="1920" height="978" mp4="https://img.xiaohu.ai/2024/06/follow-your-emoji-fine-controllable-and-expressive-freestyle-portrait-animation-1080-ytshorts.savetube.me_.mp4"][/video] 主要特点和优势 高保真度 ：生成的动画保留了参考头像的细节和身份特征，视觉效果出色。 灵活多样 ：支持多种风格和类型的头像，适用于不同的应用场景。 易于控制 ：用户可以通过提供简单的表情和动作标记序列来控制动画效果。 实际应用场景 虚拟角色动画 ：用于游戏、影视中的虚拟角色动画制作。 在线会议 ：生成与发言者表情同步的头像动画，用于增强在线会议的互动性。 增强现实 ：在AR应用中展示逼真的表情动画，提升用户体验。 个性化视频制作 ：用户可以制作自己或他人的个性化表情动画视频，分享给朋友或社交媒体。 详细功能介绍 1. 身份保持（Identity Preservation） 功能描述 ： 在生成动画时，系统能够保持参考头像的身份特征，不会因为动画的生成而丢失原有的面部特征。 实现方式 ： 采用表达感知标记来精确对齐目标动作与参考头像，避免身份信息泄露。 使用面部细粒度损失函数，通过计算真实与预测结果在面部掩码区域内的空间距离，确保面部细节和身份特征的保留。 示例 ： 如果用户提供自己的照片作为参考头像，生成的动画无论表情和动作如何变化，仍然可以清晰地辨认出是用户的面部特征。 2. 表情丰富（Rich Expression Generation） 功能描述 ： 系统能够生成各种细腻和夸张的表情，包括大幅度的瞳孔运动等复杂表情。 实现方式 ： 引入表达感知标记，使模型能够捕捉并重现复杂的面部表情变化。 通过面部细粒度损失函数，增强对细微表情的捕捉能力，确保表情的真实和丰富。 示例 ： 用户提供一张卡通人物的图片，系统可以生成该卡通人物从微笑到大笑再到惊讶的连续表情变化的动画。 3. 多样化风格支持（Support for Various Styles） 功能描述 ： 系统支持多种风格的头像动画生成，包括现实人物、卡通形象、雕塑和动物等。 实现方式 ： 利用广泛的训练数据和表达感知标记，模型可以适应并生成多种风格的头像动画。 示例 ： 用户提供一张古代雕塑的图片，系统可以生成雕塑微笑或眨眼的动画；或者用户提供一张宠物狗的照片，系统可以生成宠物狗兴奋地摇尾巴的动画。 4. 长时间动画生成（Long-Term Animation Generation） 功能描述 ： 系统能够生成长时间的动画，同时保持动画的稳定性和时间一致性。 实现方式 ： 采用渐进生成策略，先生成关键帧，然后通过插值生成长时间动画，确保动画在时间上的一致性和稳定性。 示例 ： 用户希望生成一段持续数分钟的动画，展示人物在不同场景下的表情和动作变化，系统能够生成连续且一致的动画片段。 5. 自由风格动画（Freestyle Animation） 功能描述 ： 用户可以通过提供标记序列，自由控制参考头像的表情和动作生成动画。 实现方式 ： 用户提供参考头像和目标表情、动作序列，系统根据这些输入自动生成符合要求的动画。 示例 ： 用户提供一张卡通形象的图片和一段跳舞的视频，系统生成该卡通形象按照视频中的动作跳舞的动画。 7. 进阶动画控制（Advanced Animation Control） 功能描述 ： 通过表达感知标记和面部细粒度损失函数，用户可以对生成的动画进行细粒度的控制，确保高质量的动画输出。 实现方式 ： 在生成过程中，用户可以指定细节，例如瞳孔运动、面部细节等，系统通过优化算法实现这些控制。 示例 ： 用户希望生成一段动画，精确控制人物的眼睛运动和嘴唇细微变化，系统可以根据用户的要求生成符合细节要求的动画。 技术方法 该项目通过表情感知标志（expression-aware landmark）引导生成动画，具体来说，使用MediaPipe提取的3D关键点生成2D标志，这些标志包括面部特征和瞳孔点，但不包括面部轮廓。这些标志作为运动表示，用于引导动画生成过程。 具体流程 3D关键点提取 ：利用MediaPipe从视频中提取面部的3D关键点。 2D标志生成 ：将这些3D关键点投影为2D标志，同时丢弃面部轮廓，保留面部特征和瞳孔点。 运动对齐 ：在推理过程中，这些2D标志用于确保目标运动与参考肖像的对齐，从而避免身份泄露。 表情细节捕捉 ：由于标志包含瞳孔点，模型能够捕捉到微妙的表情变化，如眼球运动。 表情感知标志的优点 避免身份泄露 ：通过准确对齐运动和面部特征，确保生成的动画保持参考肖像的身份特征。 增强表情生成 ：瞳孔点的包含使模型能够生成更加生动的表情，提升动画的真实感。 对各种风格的肖像有效 ：无论是卡通、雕塑还是动物肖像，表情感知标志都能有效引导动画生成。 1. 表达感知标记（Expression-Aware Landmark） 概述 ： 表达感知标记是Follow-Your-Emoji框架中的关键技术，用于捕捉和传递面部表情变化。通过精确对齐参考头像与目标动作，避免身份信息泄露。 实现方式 ： 3D关键点提取 ：利用MediaPipe工具从视频中提取3D关键点，这些关键点能够准确描述面部的立体结构。 2D投影 ：将3D关键点投影到2D平面上，生成2D标记。投影过程中去除面部轮廓，仅保留面部特征点，如眼睛、嘴巴等。 标记调整 ：进一步调整投影标记，去除不准确的面部轮廓，同时增加瞳孔点，以更好地捕捉瞳孔运动。 运动对齐 ：在推理阶段，利用这些标记自然对齐目标动作序列与参考头像，确保动作和表情的精确传递。 示例 ： 在一段视频中提取一张图片，并将其中的面部表情标记为3D关键点，然后投影到2D平面上，生成用于动画的2D标记序列。 2. 面部细粒度损失（Facial Fine-Grained Loss） 概述 ： 面部细粒度损失函数旨在提高模型对细微表情和面部细节的捕捉能力，确保生成的动画在身份保留和表情传递上的高质量。 实现方式 ： 面部掩码生成 ：利用3D关键点投影生成的2D标记，创建面部和表情区域的掩码。 表情掩码（Me） ：对每个关键点进行膨胀操作，生成表情区域掩码。 面部掩码（Mf） ：投影面部轮廓关键点，生成面部区域掩码。 损失计算 ：在这些掩码区域内计算真实图像与预测图像的空间距离。 综合损失 ：将面部细粒度损失与扩散模型的原始损失相结合，形成最终的训练目标。 示例 ： 在训练过程中，生成面部和表情区域的掩码，并计算这些区域内的预测值与真实值的差异，通过这种方式优化模型，使其在生成动画时更关注面部细节和表情变化。 3. 渐进生成策略（Progressive Generation Strategy） 概述 ： 渐进生成策略用于解决长时间动画生成中的一致性和稳定性问题。通过逐步生成关键帧和插值生成长时间动画，确保动画在时间维度上的一致性。 实现方式 ： 关键帧生成 ：首先生成视频的关键帧，这些关键帧包含了重要的表情和动作变化信息。 插值生成 ：在生成关键帧后，利用这些关键帧插值生成长时间动画，确保动画的平滑过渡。 遮罩策略 ：在训练过程中，随机遮罩输入视频的某些帧，以模拟关键帧生成和插值过程。 第一步遮罩 ：遮罩除第一帧和最后一帧之外的所有帧，训练模型生成关键帧。 第二步遮罩 ：以0.5的概率遮罩每一帧，训练模型生成插值帧。 示例 ： 在生成一段长时间动画时，先生成开始和结束的关键帧，然后插值生成中间的动画帧，使整个动画连贯且一致。 4. 表情训练数据集（Expression Training Dataset） 概述 ： 为了训练模型生成逼真的表情动画，引入了包含多种夸张表情和真实人物视频的数据集。 实现方式 ： 数据收集 ：收集包含18种夸张表情和115名受试者20分钟真实对话视频的数据。 数据预处理 ：对这些视频进行预处理，包括帧采样、尺寸调整和中心裁剪，确保数据质量和一致性。 模型训练 ：利用这些预处理后的数据训练模型，使其能够生成高保真度的表情动画。 示例 ： 训练过程中使用包含各种表情变化的视频数据，使模型能够学习和捕捉复杂的表情变化，并在生成动画时重现这些表情。 5. 基准测试EmojiBench（EmojiBench Benchmark） 概述 ： 为了评估模型的性能，引入了名为EmojiBench的全面基准测试，包含多样化的肖像图像、驱动视频和标记序列。 实现方式 ： 数据集构建 ：收集和生成410个不同风格的肖像，包括卡通、现实人物和动物等，确保数据集的多样性。 驱动视频 ：收集45段人头驱动视频，每段视频约5秒，包含丰富的头部动作和面部表情。 基准测试 ：利用EmojiBench评估模型在不同风格肖像和驱动动作下的表现，通过定量和定性指标验证模型的优越性。 示例 ： 使用EmojiBench中的测试数据生成动画，并与其他动画生成方法进行对比，展示Follow-Your-Emoji在视觉保真度、身份保留和动作渲染方面的优越性能。 案例 1. 单一动作 + 多重肖像 Single Motion + Multiple Portraits 定义 ： Single Motion + Multiple Portraits指的是使用单一的驱动视频或动作序列来驱动多个不同的参考头像生成动画。每个参考头像都会按照同一个动作序列表现出相同的动作和表情变化。 实现方式 ： 动作序列提取 ：从一个驱动视频中提取出动作序列，这些序列包括面部表情和头部运动等关键点信息。 多头像输入 ：提供多个不同风格的参考头像，这些头像可以是照片、卡通人物、雕塑或动物等。 动作驱动 ：将同一个动作序列应用到每个参考头像上，通过Follow-Your-Emoji的扩散模型生成对应的动画。 示例 ： 应用场景 ：假设有一段人头在说话的视频，提取这段视频中的动作序列，然后将这些动作应用到多个不同的参考头像上，如一张真实人物照片、一张卡通人物图片和一张动物头像，生成它们在说话时的动画效果。 所有不同的参考头像在动画中会表现出相同的动作和表情变化，例如同步的嘴唇运动和头部转动，但每个头像都保留其独特的风格和特征。 2. 单人肖像+多种动作 Single Portrait + Multiple Motions 定义 ： Single Portrait + Multiple Motions指的是使用单一的参考头像，并应用多个不同的驱动视频或动作序列生成多段动画。每个动作序列都会让同一个参考头像表现出不同的动作和表情变化。 实现方式 ： 参考头像选择 ：提供一个单一的参考头像，这个头像可以是照片、卡通人物、雕塑或动物等。 多动作序列提取 ：从多个不同的驱动视频中提取出动作序列，这些序列包括各种不同的面部表情和头部运动。 动作驱动 ：将不同的动作序列分别应用到参考头像上，通过Follow-Your-Emoji的扩散模型生成对应的动画。 示例 ： 应用场景 ：假设有一张人物照片，选择几段不同的视频，分别包含该人物在笑、惊讶、点头等不同的动作。将这些不同的动作序列应用到这张照片上，生成多段不同的动画，每段动画展示人物在做不同的动作。 效果展示 ：同一个参考头像会在不同的动画中表现出不同的动作和表情变化，每段动画都保留了参考头像的身份特征，但展示了不同的动态效果。 项目及演示： https://follow-your-emoji.github.io/ 论文： https://arxiv.org/abs/2406.01900

Menu

分类目录

Follow-Your-Emoji：通过表情感知精细控制和生成动态表情丰富的肖像动画

Related Posts

Meta AI提出了一种新的语言模型架构“Large Concept Model (LCM) 让模型更像人类思考

阿里巴巴推出QVQ-72B 一个基于Qwen2-VL-72B的新型多模态推理模型

Fireworks AI新功能能够将图像或PDF等非文本内容转化为LLM可理解的结构化文本

Hume AI推出全能文本与语音引擎 OCTAVE 根据文本实时生成特定人格特质的声音

Anthropic 公布了一种全新的 AI 越狱技术可以轻松破解所有前沿模型

INFP：基于音频驱动的双人对话中的互动头像生成能自动区分谁在说话，谁在听

Recommendeds

Suno v3发布：可以在生成2分钟的广播级音乐歌曲

DiffusionGPT：由LLM驱动的文本到图像生成系统集成多个专家图像生成模型

Hotshot ACT-1：一个全新的文本转视频模型更贴近生活现实

MotionFollower：将一个视频中的人物动作转移到另一个视频中的人物身上

Prompt 学习地图 13 | 框架思维 – ICIO 框架清晰描述模型要执行的任务

Midjourney“角色参考(Character Reference)”教程

Inflection AI发布Inflection-2.5模型只用四成功力就匹敌GPT 4

MindSearch：匹敌Perplexity.ai 模仿人类在网络上寻找和整合信息的AI搜索

Stable Diffusion 3论文：一种新的多模态扩散变换器（MMDiT）架构

『iOS 18.0 超详细体验报告』 52 项改进详细介绍以及BUG和升级方法

Welcome Back!

Retrieve your password

Add New Playlist

Are you sure want to unlock this post?

Are you sure want to cancel subscription?

Menu

分类目录

Follow-Your-Emoji：通过表情感知 精细控制和生成动态表情丰富的肖像动画

Support authors and subscribe to content

加入会员

Related Posts

Recommendeds

Welcome Back!

Retrieve your password

Add New Playlist

Are you sure want to unlock this post?

Are you sure want to cancel subscription?

Follow-Your-Emoji：通过表情感知精细控制和生成动态表情丰富的肖像动画