Google DeepMind 发布了一项新的生成式 AI 技术，这项技术被应用在了 MusicFX DJ 和更新后的 Music AI Sandbox 中，旨在大幅提升音乐创作的效率和灵活性。
提供了多种功能，包括风格嵌入、实时流媒体生成、音乐循环生成等，为音乐人和普通用户提供了更高效、更灵活的创作环境。
MusicFX DJ
核心功能：MusicFX DJ是一款专为实时音乐生成设计的AI工具，用户可以通过文本提示组合不同的音乐概念，操作像DJ一样简单。从而实时生成新的音乐内容。这一工具不仅适合专业音乐人，也适合无音乐背景的用户，让每个人都能参与创作。
主要更新：
- 多提示词输入：用户可以输入多个提示词，同时还可以选择具体的乐器、音乐风格和氛围，生成定制化的音乐。这种灵活的提示输入方式让用户可以根据不同的需求生成多样化的音乐内容。
- 实时流媒体生成：模型可以在实时流媒体中进行音乐生成。当用户通过文本提示或其他控制指令调整音乐风格、节奏或乐器时，AI模型会迅速响应并生成相应的音乐变化。像是一个可以现场演奏的“虚拟乐器”，用户可以实时调整音乐元素，就像在实际演奏中即兴创作一样。为此，DeepMind 训练模型在前 10 秒的音乐基础上生成接下来的 2 秒，使得模型能够连续产生音乐，保证创作过程的流畅性。
流程图显示 MusicFX DJ 如何生成连续的音乐流，从先前的剪辑创建下一个剪辑，同时通过文本提示和滑块控制以权衡其重要性。
- 更直观的控制：用户可以自由组合不同的音乐元素，比如混合不同的乐器、风格和氛围，探索全新的音乐风格或即兴表演。新界面和优化后的控制让用户可以实时调整音乐的音色、节奏和旋律。
- 风格嵌入：MusicFX DJ 的“风格嵌入”功能允许用户通过滑块设置文本提示，从而调整生成音乐的风格和特性。这种嵌入机制可以更好地控制生成音乐的多样性和一致性。
- 创作体验的提升：用户可以选择添加或去除贝斯、鼓等乐器，也可调整音乐的明亮或暗淡、重复或随机、平滑或粗糙的音质，并控制音乐的调性和节奏，使其更容易与其他音乐作品合奏或协作。
- 生产级音质：得益于DeepMind音频研究团队的最新创新，包括新的神经音频编解码器和优化的网络架构，MusicFX DJ现已实现48kHz的立体声实时流式传输，达到专业制作所需的音质标准。
Music AI Sandbox
功能概述：这是一套为音乐人、制作人和词曲作者设计的实验性工具，能够加速工作流程。Music AI Sandbox 可以帮助创作者快速生成歌曲草图，并提供多轨视图，帮助用户更好地编辑和完善音乐作品。它提供了多种创作工具，包括循环生成、声音变换和多轨编辑等，适合创作灵感的快速捕捉与拓展。
多功能特性：
- 音乐循环生成：用户可以生成特定的音乐循环，用于歌曲的不同部分或用于创作新元素。
- 声音转换：可以对已有的声音进行多种转换，使声音具备不同的效果和特征。
- 声音修复（In-painting）：在音频的修复和改进方面也具有创新功能，可以对音频中有缺陷的部分进行自动填充和修复。
即将上线的新功能：
- 新版的Music AI Sandbox将引入多轨视图，使创作者能够更精确地组织和调整乐曲的各个部分。用户可以使用这些工具创作乐曲草稿，并通过环生成、音频填充和声音变换等功能更好地打磨和连接音乐片段。
- 未来，Sandbox的部分成功元素将被整合到Google的主流产品中，使更多创作者能够享受到这些生成式音乐技术带来的创作便捷。
原文：https://deepmind.google/discover/blog/new-generative-ai-tools-open-the-doors-of-music-creation