Ultralight-Digital-Human 是一个创新的开源项目，使得数字人在移动设备上的实时应用成为可能，旨在实现超轻量级的数字人模型，其能够在移动设备上实时运行。
- 支持在移动设备上实时运行的超轻量级数字人模型
- 提供了详细的训练和推理步骤,用户可以轻松训练出自己的数字人
- 支持使用 wenet 和 hubert 两种不同的音频特征提取方式,满足不同场景需求
- 训练过程中可以使用同步网络(syncnet)获得更好的效果
应用场景:
- 用户可以在移动设备上实时生成数字人形象，用于社交应用、游戏和虚拟现实等场景。
技术细节:
- 该模型优化了算法，使其在低功耗设备上也能流畅运行。使用深度学习技术，结合图像和音频输入，实时合成数字人形象。
- 在训练和部署过程中，模型会进行压缩和剪枝，去掉冗余的参数，以减少模型的大小和计算需求。这有助于在移动设备上更流畅地运行。
- 支持多种音频特征提取方法，如 Wenet 和 Hubert，能够快速从音频中提取关键特征。这种高效的特征提取有助于减少处理时间和资源消耗。
- 通过优化的数据流和推理过程，该模型能够实时处理输入数据（如视频和音频），实现即时的数字人反应。
创新性:
- 与传统数字人模型需要高性能硬件不同，Ultralight-Digital-Human 可以在普通智能手机上实现复杂的数字人效果，极大地扩展了其应用的普及性。
- 支持多种操作系统和平台，能够在不同类型的智能手机上运行，增加了其普遍适用性。
注意事项
- 数据质量:
- 确保用于训练的视频和音频质量良好。视频中的人脸应清晰可见，音频应无杂音和干扰。
- 数据准备:
- 准备包含3-5分钟清晰人脸的视频，确保视频帧率符合要求（Wenet 为 20fps，Hubert 为 25fps）。
- 音频特征提取:
- 在训练前，确保已成功提取音频特征。错误的特征提取会影响模型训练效果。
- 训练参数调整:
- 在训练过程中，注意调整学习率、批量大小等参数。初始设置可能需要根据训练结果进行微调。
- 监控训练进度:
- 定期检查训练日志，监控损失值和准确率。如果损失不下降，可能需要调整参数或检查数据。
- 使用预训练模型:
- 尽量使用预训练的模型作为起点，这样可以加速训练并提高效果。