ChatMusician: 能够理解和生成音乐的大语言模型

https://img.xiaohu.ai/2024/02/2月27日-1.mp4

通过根据给定的文本提示、和弦序列、旋律线索、音乐主题或形式等条件。
 
ChatMusician能自动生成结构完整、风格多样的音乐作品。
 
包括单声部旋律、和声编配,乃至完整的乐曲结构设计。
 
同时它还能理解和分析音乐理论的各个方面。
ChatMusician通过持续的预训练和微调LLaMA2,结合了文本兼容的音乐表示方式——ABC符号,使得模型能够像处理语言文本一样理解和生成音乐。

主要功能

  1. 音乐生成: ChatMusician能够根据给定的文本提示、和弦序列、旋律线索、音乐主题或形式等条件,自动生成结构完整、风格多样的音乐作品。这包括单声部旋律、和声编配,乃至完整的乐曲结构设计。性能超过GPT-4基线。

  2. 音乐理解: 该模型不仅能创作音乐,还能理解和分析音乐理论的各个方面,如和声分析、旋律结构、音乐形式等。这使得ChatMusician可以在音乐教育和理论分析中发挥作用。在专门设计的大学级音乐理解基准测试MusicTheoryBench上,ChatMusician在零样本设置中超过了LLaMA2和GPT-3.5,展示了其在音乐理论理解方面的优异性能。

Support authors and subscribe to content

This is premium stuff. Subscribe to read the entire article.

加入会员

加入会员查看更多会员内容和教程。
超过1000+的会员内容,每天更新。