VideoDoodles：在视频中轻松任意的插入手绘动画并与视频内容无缝融合

在视频中插入手绘动画！传统上这是一项非常困难的任务，但 VideoDoodles 让它成为可能。

VideoDoodles是一种创新的交互式系统，允许用户在视频中添加手绘动画。这些动画不仅能跟随视频中的物体移动，还能自动调整大小和角度，看起来像是原本就属于视频中的一部分。这对于想要给视频增添个性化效果或教育性内容的创作者来说，非常有用。

该系统通过在3D场景中放置平面画布，使得用户可以将手绘动画与视频内容无缝融合。这些画布可以被精确跟踪，并根据视频中的视角和物体移动进行调整，从而让手绘动画看起来像是原本就属于视频场景的一部分。

VideoDoodles有什么用？

让视频更有趣： 你可以用它在视频里加上创意的手绘内容，比如画个搞笑的小人或者漂亮的彩虹，让视频更吸引人。

更好地解释内容： 比如在教学视频里，你可以用手绘动画来突出重点，让观众更容易理解你要表达的东西。

简单易用： 不管你是新手还是专业人士，都可以很快上手，用它做出专业水准的动画效果。

系统优势

3D效果的简化创建 ：系统将2D绘图与3D计算机视觉技术结合，使得即使是没有3D建模经验的用户也能轻松创建具有透视和遮挡效果的3D动画。

对新手友好 ：系统的设计目标之一是降低学习曲线，使得没有动画经验的用户也能快速上手并创建复杂的动画效果。

用户控制和自动化的平衡 ：系统在提供强大的自动化功能的同时，也让用户可以通过关键帧精确控制动画的效果，从而实现他们的创作意图。

[video width="1282" height="720" mp4="https://img.xiaohu.ai/2024/08/8月11日.mp4"][/video] 主要功能 3D平面画布 ： 系统允许用户在视频场景中放置3D平面画布，并在这些画布上进行手绘动画。这些画布是根据视频的3D场景定位的，用户可以通过简单的2D界面来进行操作，而系统会自动处理画布在3D空间中的位置和方向。也就是这些画布会根据视频中的透视和物体移动自动调整，确保动画的正确位置和角度。 支持动态和静态画布： VideoDoodles支持在场景中放置静态画布（固定在一个位置）和动态画布（跟随移动的物体）。用户可以根据需求选择不同类型的画布来实现各种动画效果。 自动跟踪和透视校正 ： 系统具备强大的3D跟踪能力，可以让画布与视频中的静态或动态对象保持一致。无论是摄像机移动还是物体运动，系统都会自动调整画布的透视效果，使得动画看起来就像嵌入在视频场景中一样自然。 允许用户将画布锚定在视频中的静态或动态物体上，使得动画能够跟随物体的移动和旋转，保持自然和逼真的效果。 遮挡处理 ： VideoDoodles能够自动处理遮挡效果。当视频中的物体挡住了动画时，系统会智能地进行遮挡处理，确保动画在视觉上与视频内容一致。 多种3D运动效果：通过对画布的3D追踪和旋转控制，系统可以实现多种复杂的3D动画效果，如物体绕动、动态缩放等，使得动画效果更具表现力。 快速创作和高效输出 该系统显著提高了视频涂鸦的创作效率：

快速上手 ：用户无需复杂的学习过程，即可在短时间内创建出复杂的动画效果，适合社交媒体的快速内容创作。 高效输出 ：无论是静态还是动态画布，系统都能够快速生成并渲染出最终的动画效果，满足专业用户对高效创作的需求。 简单易用的2D绘图界面 ： 简化的2D绘图界面 ：用户可以在2D界面上直接绘图，而不必担心透视变形的问题。系统会自动将绘图内容嵌入到视频中的3D场景中，并且生成正确的透视效果。 自动化与手动控制的平衡 ：系统在大部分情况下自动完成追踪和透视校正，用户只需提供少量的关键帧输入即可。如果需要，用户还可以手动调整画布的位置和方向，以实现更精确的动画控制。用户可以通过设定关键帧来控制画布的运动轨迹和方向。如果自动跟踪不满足要求，用户可以手动调整关键帧，进一步精细化动画效果。 专业功能的扩展 虽然系统针对初学者进行了优化，但它仍然保留了一些适合专业用户的功能：

精确的关键帧控制 ：系统允许用户通过关键帧精确控制画布的运动轨迹和方向，从而实现更复杂的动画效果。 与现有工具的集成 ：系统可以与现有的视频编辑工具配合使用，为用户提供更多的创作自由和可能性。 [video width="1920" height="1080" mp4="https://img.xiaohu.ai/2024/08/hot-hot-hot-1080-ytshorts.savetube.me_.mp4"][/video] 技术方法 1. 3D场景重建与预处理 系统首先通过从视频中提取深度信息和运动数据，构建出一个粗略的 3D 场景模型。这种重建允许系统理解视频中物体的相对位置和运动方向。 首先对输入的视频进行3D重建，这一步骤包括计算每一帧的相机姿态、深度图和光流（optical flow）。这些信息是通过最新的计算机视觉技术获取的，能够为后续的动画嵌入和跟踪提供精确的3D几何信息。 使用了 Robust Consistent Video Depth Estimation 方法来生成一致的3D场景深度重建。这一方法首先利用 COLMAP 工具进行相机姿态估计，然后结合深度预测网络计算单帧深度图，最后通过几何优化将这些深度图对齐到一致的世界坐标系中。 2. 平面画布的3D跟踪算法 用户可以在 3D 场景中放置平面画布，这些画布相当于在视频中绘制手绘动画的“画板”。系统支持将这些画布放置在静态或动态物体上，并根据场景的深度和透视效果进行自动调整。 关键帧驱动的3D跟踪 ： 用户可以在视频的某一帧中放置一个平面画布，并设定其位置和方向。系统会自动推导出画布在视频中其他帧的3D轨迹。为了达到这个目的，系统会将用户指定的关键帧作为硬约束，利用预处理阶段生成的场景运动和深度信息，通过优化算法来计算画布在每一帧中的3D位置。 基于场景流的3D轨迹优化 ： 系统会通过场景流（scene flow）估计来初步确定画布的3D轨迹，然后通过Poisson积分法进一步稳定和细化轨迹，以减少抖动和漂移。 3. 动态画布的姿态（orientation）跟踪 VideoDoodles 使用自定义的跟踪算法，将画布与视频中的物体关联起来。这个算法可以跟踪物体的运动和旋转，使得画布能够实时更新位置和角度，确保动画与视频内容一致。这种跟踪不仅包括简单的平移，还支持复杂的旋转和缩放。 系统支持动态画布，即画布可以随着视频中的物体移动而变化。为了实现这一功能，系统会根据用户设定的画布方向关键帧，以及场景中的运动方向，优化画布的旋转矩阵，使其与物体的运动轨迹保持一致。 VideoDoodles 借助了现有的计算机视觉技术，如深度估计和物体跟踪，来获取视频中的场景信息。这些信息被用来生成准确的 3D 重建和场景感知，从而支持更高精度的动画放置和跟踪。 姿态优化 ： 系统使用一种基于流形的信任域算法（Riemannian Trust Region）来优化旋转矩阵，使得画布的姿态能够平滑地跟随场景中的运动方向，同时用户可以通过设定关键帧来微调姿态。 4. 遮挡处理 系统能够识别视频中不同物体之间的遮挡关系，并自动处理手绘动画的遮挡效果。这意味着画布上的动画会在需要时被前景物体遮挡，增强了动画与视频场景的真实感。 5. 用户交互与2D绘图界面 VideoDoodles 提供了一个直观的 2D 界面，用户可以在其中直接操作 3D 场景中的画布。通过简单的拖拽和旋转操作，用户可以设置动画的位置和角度。此外，系统还支持实时预览，让用户可以立即看到动画效果。 虽然系统在后台进行了复杂的3D计算，但用户在前端只需通过简单的2D界面进行绘图。系统将画布与视频内容对齐，并在绘图过程中实时显示透视校正和遮挡效果。用户可以直接在这个界面中进行逐帧动画绘制，而无需考虑复杂的3D变换。 自动透视校正 ：用户在2D界面上进行绘制时，系统会将画布上的内容自动校正为与视频场景透视一致。 6. 基于关键帧的用户控制 用户可以在视频的不同帧上设置画布的位置和方向关键帧。系统会自动在这些关键帧之间进行平滑插值，生成连续的动画效果。这种方法大大减少了手动调整的工作量，并提高了动画制作的效率。 系统允许用户通过少量的关键帧设定来控制动画的3D轨迹和旋转，从而实现复杂的动画效果。用户可以在关键帧之间自由调整画布的位置、方向和深度，系统会自动计算这些关键帧之间的平滑过渡。 系统工作流程 输入视频处理 ：

系统首先接收一段输入视频，并对其进行预处理。这一步包括计算每帧的相机位姿、生成深度图以及计算光流（optical flow）。这些预处理步骤为后续的3D追踪和画布嵌入提供了必要的几何信息。 画布放置与配置 ：

用户可以在任意视频帧中放置静态或动态的画布。静态画布的放置只需要用户拖动和旋转画布，而动态画布的放置则需要用户在一个或多个关键帧中指定画布的位置和方向。系统会根据用户的输入自动计算出画布的3D轨迹和旋转。 画布上的绘图 ：

用户通过系统提供的2D绘图界面在画布上绘制动画。为了简化用户的绘图工作，系统将画布显示为正交、前视平行的视图，这样用户无需考虑透视变形。绘制完成的动画会自动嵌入到视频的3D场景中，并随着视频内容进行透视和遮挡处理。 关键帧与轨迹优化 ：

对于动态画布，系统通过用户指定的关键帧计算画布的3D运动轨迹。系统使用最短路径算法计算出初步的运动轨迹，然后通过Poisson积分优化该轨迹，使其在3D空间中更加平滑且稳定。用户可以在任何时候调整或添加关键帧，以精确控制画布的运动。 动画生成与输出 ：

当用户完成绘图和调整后，系统会将画布的动画与视频内容合成，并生成最终的视频输出。系统处理了所有的遮挡和透视变形，确保输出的动画自然且真实。 用户测试结果 测试包括7名参与者，其中5名是初学者，另外2名是专业动画设计师。这些参与者通过不同设备（如Wacom Cintiq 16平板、鼠标或触控板）参与测试。测试分为两个任务：

任务1 - 目标导向任务 ：参与者需要在10分钟内重现一个示例视频涂鸦。示例包含一个静态涂鸦和一个动态涂鸦，目的是让用户体验系统的主要功能。 任务2 - 开放式任务 ：参与者需要在30分钟内从15个短视频片段中选择两个，创作各自的独特视频涂鸦。 测试结果

快速上手与创作效率 ：

初学者在首次使用系统时仅花费约10分钟即可完成中等复杂度的涂鸦任务（平均耗时为10分30秒，标准差为3分07秒）。 用户在开放式任务中平均花费14分钟（标准差为7分05秒）来创作视频涂鸦，从中可以看出系统对于快速创作的支持性。 专业用户特别赞赏系统的速度和简便性，认为与传统工具相比，该系统能更快地实现令人满意的效果。 自动化与手动控制的平衡 ：

系统的自动化追踪功能显著减少了用户的工作量，使用户能够专注于创意和绘图本身。平均而言，参与者将49%的时间用于绘图（标准差为17%，最小/最大值分别为24%和89%）。 尽管如此，用户仍然能够通过关键帧精确控制画布的运动轨迹和方向。参与者平均在每个动态画布上设置了3.3个位置关键帧（标准差为3.0）和2.5个方向关键帧（标准差为1.8）。 对初学者和专业用户的吸引力 ：

初学者在任务中展示了快速掌握关键帧控制的能力，并成功创作了多帧动画。所有参与者都对他们的创作成果感到非常满意（满意度为5分制中的4.7分）。 专业用户则表示，虽然系统比传统工具更简便，但仍然提供了足够的控制力，特别是在关键帧的设置和画布的深度调整方面。 用户反馈与改进建议 ：

一些参与者希望系统能够直接在视频上绘图，而不是仅限于正交视图的绘图面板。其他用户则希望能够选择不同的画笔形状和纹理，以增强绘图的表现力。 专业用户指出，虽然系统的追踪功能已经非常出色，但更高级的追踪选项（如在After Effects中的精细像素级控制）仍然是他们所期望的。 系统限制与用户解决方案 ：

系统的平面画布限制了非平面涂鸦的创作，部分参与者通过放置多个画布或切换不同视角的涂鸦来应对这一限制。例如，参与者在描绘蒸汽云时放置了两个正交的画布。 项目地址： https://em-yu.github.io/research/videodoodles 论文：: https://www-sop.inria.fr/reves/Basilic/2023/YBNWKB23/VideoDoodles.pdf GitHub: https://github.com/adobe-research/VideoDoodles