SpeechGPT2：一个端到端的语音对话语言模型 能够感知和表达情感

SpeechGPT2 是由复旦大学计算机学院开发的一个端到端的语音对话语言模型，类似于 GPT-4o。它能够感知和表达情感，并根据上下文和人类指令提供多种风格的语音响应，如说唱、戏剧、机器人、搞笑和低语等。为了处理冗长的语音序列，SpeechGPT2 使用了一种超低比特率的语音编解码器 (750bps)，能够建模语义和声学信息。

预训练数据包括超过10万小时的学术和野外收集的语音数据，这些数据涵盖了丰富的语音场景和风格。