NVIDIA 发布全套数字人服务可根据音频自动生成数字人的身体、面部和姿势

NVIDIA最近发布了一套名为NVIDIA ACE的生成式AI微服务，这些服务旨在加速数字人（虚拟人）的发展。 Avatar Cloud Engine（ACE）是英伟达开发的一项技术，旨在提供高质量、逼真的数字人（avatars）创建和管理服务。ACE 利用人工智能和图形技术，使得创建具有自然外观和行为的虚拟人类变得更加容易。 Avatar Cloud Engine（ACE）是一个云端平台，提供了创建和管理高质量数字人的工具和服务。它利用英伟达的图形处理单元（GPU）和人工智能技术，生成逼真的虚拟人类。这些数字人可以用于各种应用场景，如虚拟助手、娱乐、教育、客户服务等。 NVIDIA ACE 现已普遍适用于云端，并在 RTX AI 电脑上早期访问，被包括 Dell Technologies、ServiceNow、Aww Inc.、Inventec、完美世界游戏等公司在客户服务、游戏和医疗保健领域使用。 主要特点 高质量图形 ： ACE 利用英伟达的图形技术，生成高保真的数字人，包括逼真的面部表情、身体动作和皮肤纹理。 它能够处理复杂的光影效果，使得数字人的外观更加自然和真实。 人工智能驱动 ： 通过人工智能，ACE 能够实现自然的语音交互、情感表达和动作模拟。 它可以根据用户的输入生成相应的反应，使得互动更加生动和有趣。 云端计算 ： ACE 作为一个云端服务，能够利用强大的计算资源，支持大规模的数字人生成和管理。 用户无需购买昂贵的硬件设备，只需通过云端访问即可使用高性能的数字人生成服务。 实时交互 ： ACE 支持实时的数字人交互，使得数字人可以作为虚拟助手或客服代表，与用户进行即时沟通。 这种实时交互能力使得数字人在应用场景中更加实用和高效。 跨平台支持 ： ACE 提供了多种平台的支持，包括 PC、移动设备和 VR/AR 设备。 它可以无缝集成到现有的应用程序和服务中，提供一致的用户体验。 [video width="1280" height="720" mp4="https://img.xiaohu.ai/2024/06/6月3日-1-1.mp4"][/video] 现已普遍可用的 NVIDIA ACE 生成式 AI 技术套件包括： NVIDIA Riva ASR 、 TTS 和 NMT —用于自动语音识别、文本转语音转换和翻译 NVIDIA Nemotron LLM —用于语言理解和上下文响应生成 NVIDIA Audio2Face —基于音频轨道的逼真面部动画 NVIDIA Omniverse RTX —用于实时、路径追踪的逼真皮肤和头发 新宣布的技术包括： NVIDIA Audio2Gesture —用于根据音频轨道生成身体姿势，即将推出，使数字人的动作和声音协调一致。 NVIDIA Nemotron-3 4.5B —一个新的小语言模型（SLM），专为低延迟、设备端 RTX AI 电脑推理而设计，，能在设备上高效运行，让数字人的回应更加迅速准确。 “NVIDIA 的创始人兼 CEO Jensen Huang 说：“数字人将会彻底改变各个行业。NVIDIA ACE 提供给我们的开发者生态系统的多模态大语言模型和神经图形学的突破，正在将我们带向一个意图驱动计算的未来，与计算机的互动将像与人类互动一样自然。” 在 COMPUTEX 展会上展示了与 Inworld AI 合作开发的 Covert Protocol 技术演示 的更新版本。使用本地在 GeForce RTX 电脑上运行的 Audio2Face 和 Riva ASR，演示允许玩家通过对话语言与数字人非玩家角色（NPC）互动并影响其完成任务。

[video width="1280" height="720" mp4="https://img.xiaohu.ai/2024/06/6月3日-2-1.mp4"][/video] NVIDIA ACE生成式AI微服务的实际应用 1. 客户服务 公司：ServiceNow

应用示例 ： ServiceNow展示了一款生成式AI服务代理，这款代理能够与客户和员工进行自然的对话。通过使用NVIDIA ACE技术，虚拟客服可以处理零售、旅游等行业中的各种询问和服务请求。AI服务代理能够理解客户的问题并给出准确且自然的回答，大大提高了客户服务的效率和质量。

2. 游戏 公司：完美世界游戏

应用示例 ： 完美世界游戏在其新开发的神话题材游戏《Legends》中使用了NVIDIA ACE技术。玩家可以与游戏中的数字人进行互动，这些数字人不仅能够用英语和中文进行对话，还能根据声音生成逼真的面部表情和动作。通过Audio2Face和Nemotron LLM技术，游戏中的角色显得更加生动和真实，增强了玩家的沉浸感和游戏体验。

3. 医疗 公司：Inventec

应用示例 ： Inventec在其VRSTATE平台中使用NVIDIA ACE技术来提升医疗咨询服务。虚拟医疗代理可以与患者进行互动，提供健康信息和咨询服务。通过Audio2Face技术，这些虚拟代理能够根据音频生成逼真的面部表情，使互动更加自然和人性化，减轻了患者的焦虑感。特别是在远程医疗场景中，虚拟医疗代理的应用能够大大提升患者的体验和满意度。

[video width="1920" height="1080" mp4="https://img.xiaohu.ai/2024/06/X2Twitter.com_17746445305429401611080p.mp4"][/video] 4. 虚拟人 公司：Aww Inc.

应用示例 ： Aww Inc.是一家专注于虚拟人的公司，他们在2018年推出了首位虚拟明星Imma。Imma已经成为全球多个品牌的代言人，活跃于50多个国家。Aww Inc.计划使用NVIDIA ACE的Audio2Face微服务，实现实时动画和互动，进一步提升用户的交互体验。通过这些技术，虚拟人能够进行更加自然和逼真的对话和表情变化，增强了品牌代言的效果。

5. 企业解决方案 公司：戴尔科技

应用示例 ： 戴尔科技推出了Dell Generative AI Solution for Digital Assistants，这一解决方案允许企业使用智能数字助理与客户进行自然的对话。这些助理可以在零售、医疗和客户服务等多个行业中应用，提升了客户互动的效率和满意度。通过NVIDIA ACE技术，数字助理能够理解和回应客户的需求，为企业提供了更加智能和高效的客户服务工具。

NVIDIA 艺术团队使用基于 ACE 构建的生成式 AI 工具，包括 Synthesia 和 Hour One ，制作了一个由文本生成的视频“数字 Jensen”头像。 [video width="1920" height="1080" mp4="https://img.xiaohu.ai/2024/06/X2Twitter.com_17906704453077401601080p.mp4"][/video] Synthesia 家的数字人

该多语言头像具有黄仁勋独特的声音和风格，由 ElevenLabs 的专有 AI 语音和语音技术生成，支持普通话和英语。NVIDIA 还与专注于 AI 语音技术的 NVIDIA Inception 成员 Voicemod 合作，创作了黄仁勋演讲的 结束主题曲 。 观看 黄仁勋的 COMPUTEX 主题演讲 ，了解 ACE 内容的最新情况。