一个基于 AI 的全身运动捕捉和扩展现实(XR)解决方案,通过在线系统动画师(System Animator)提供动力。让你能够用自己的身体动作来控制一个虚拟角色,无论是在虚拟直播、视频制作还是元宇宙中的互动体验,都可以提供一种新的交互方式。 [video width="1280" height="720" mp4="https://img.xiaohu.ai/2024/03/X2Twitter.com_1769050857239425024720p.mp4"][/video] <strong data-immersive-translate-walked="3c8c9681-f451-48c5-bacb-ce4580705803">主要功能</strong> <ol> <li data-immersive-translate-walked="3c8c9681-f451-48c5-bacb-ce4580705803"><strong data-immersive-translate-walked="3c8c9681-f451-48c5-bacb-ce4580705803">全身 AI 运动跟踪</strong>:使用单个网络摄像头或媒体文件(图片/视频)支持全身运动跟踪。</li> <li data-immersive-translate-walked="3c8c9681-f451-48c5-bacb-ce4580705803"><strong data-immersive-translate-walked="3c8c9681-f451-48c5-bacb-ce4580705803">面部跟踪</strong>:"完美同步" / ARKit 兼容的 52 个混合形状,以实现真实的面部跟踪。</li> <li data-immersive-translate-walked="3c8c9681-f451-48c5-bacb-ce4580705803"><strong data-immersive-translate-walked="3c8c9681-f451-48c5-bacb-ce4580705803">3D 头像</strong>:支持使用任何 MMD/VRM 模型作为您的 3D 头像。</li> <li data-immersive-translate-walked="3c8c9681-f451-48c5-bacb-ce4580705803"><strong data-immersive-translate-walked="3c8c9681-f451-48c5-bacb-ce4580705803">运动捕捉记录</strong>:记录运动捕捉动作并将其导出到 BVH 或 VMD 动作格式。</li> <li data-immersive-translate-walked="3c8c9681-f451-48c5-bacb-ce4580705803"><strong data-immersive-translate-walked="3c8c9681-f451-48c5-bacb-ce4580705803">3D 动作加载</strong>:支持加载 VMD/FBX/BVH 格式的 3D 动作。</li> <li data-immersive-translate-walked="3c8c9681-f451-48c5-bacb-ce4580705803"><strong data-immersive-translate-walked="3c8c9681-f451-48c5-bacb-ce4580705803">动作导出</strong>:将 FBX/BVH 动作导出到 VMD 格式。</li> <li data-immersive-translate-walked="3c8c9681-f451-48c5-bacb-ce4580705803"><strong data-immersive-translate-walked="3c8c9681-f451-48c5-bacb-ce4580705803">自定义背景和 3D 场景</strong>:使用 2D 图片/视频、3D 全景和 3D 对象(.x/.glb 格式)自定义背景和 3D 场景。</li> <li data-immersive-translate-walked="3c8c9681-f451-48c5-bacb-ce4580705803"><strong data-immersive-translate-walked="3c8c9681-f451-48c5-bacb-ce4580705803">VMC-协议支持</strong>:支持 VMC-协议,在其他 VMC 启用的应用程序中(如 VSeeFace、Unity 和 Unreal Engine)动画化 3D 模型(仅限 Electron 模式)。</li> <li data-immersive-translate-walked="3c8c9681-f451-48c5-bacb-ce4580705803"><strong data-immersive-translate-walked="3c8c9681-f451-48c5-bacb-ce4580705803">透明背景</strong>:在视频捕捉应用程序(如 OBS)中支持无框窗口和透明背景(仅限 Electron 模式)。</li> </ol> [video width="1280" height="720" mp4="https://img.xiaohu.ai/2024/03/X2Twitter.com_1768692613459357696720p.mp4"][/video] <p style="text-align: center;">面部表情追踪</p> <strong data-immersive-translate-walked="3c8c9681-f451-48c5-bacb-ce4580705803">如何使用</strong> <ol> <li data-immersive-translate-walked="3c8c9681-f451-48c5-bacb-ce4580705803"> <p data-immersive-translate-walked="3c8c9681-f451-48c5-bacb-ce4580705803"><strong data-immersive-translate-walked="3c8c9681-f451-48c5-bacb-ce4580705803">网页应用版本</strong>:XR Animator 的网页应用版本在所有主要的桌面和智能手机网页浏览器上均可工作。在支持 web worker 和 OffscreenCanvas 的浏览器(例如 Chrome)上,它可以在一台中等性能的 PC 上实现 60fps 的视觉渲染和 30fps 的身体姿态检测。</p> </li> <li data-immersive-translate-walked="3c8c9681-f451-48c5-bacb-ce4580705803"> <p data-immersive-translate-walked="3c8c9681-f451-48c5-bacb-ce4580705803"><strong data-immersive-translate-walked="3c8c9681-f451-48c5-bacb-ce4580705803">Windows/Linux 应用版本</strong>:也提供了 Windows/Linux 应用版本(由 Electron 提供支持),提供了一些额外的功能(例如 VMC-协议、透明背景),这些功能仅在本机操作系统环境中可用。</p> </li> </ol> <strong data-immersive-translate-walked="3c8c9681-f451-48c5-bacb-ce4580705803">增强现实(AR)功能</strong> <ul> <li data-immersive-translate-walked="3c8c9681-f451-48c5-bacb-ce4580705803">XR Animator 和一些其他的 System Animator Online 演示支持在智能手机上的“增强现实”(AR)模式,渲染的 3D 模型看起来就像存在于真实世界中一样。AR 模式需要支持 Google 的 ARCore 技术、Chrome 浏览器和新的 WebXR API 的智能手机。</li> </ul> [video width="1280" height="720" mp4="https://img.xiaohu.ai/2024/03/X2Twitter.com_1768332522746974208720p.mp4"][/video] GitHub:<a href="https://github.com/ButzYung/SystemAnimatorOnline" target="_blank" rel="noopener">https://github.com/ButzYung/SystemAnimatorOnline</a> <span class="notranslate immersive-translate-target-wrapper" lang="zh-CN" style="" translate="no" data-immersive-translate-loading-id="648">作者:<a href="https://twitter.com/butz_yung" target="_blank" rel="noopener">@butz_yung </a></span>