Meta发布 Meta Spirit LM 一个可以在语音和文本之间进行无缝转换的多模态语音模型

Meta Spirit LM 是Meta推出的一个开源的 多模态语言模型 ，其设计目的是能够在 语音 和 文本 之间进行无缝转换。它通过结合语音和文本数据，支持跨模态的生成任务。 也就是它能够听懂语音，把它变成文字；也可以根据文字生成语音，并且能保持语音中的情感和语气，使生成的语音更加自然生动。可以在文本和语音之间来回转换。 语音和文字互相转换 ： 它可以同时处理语音和文字数据。例如，它能够把说话的内容转成文字（就像字幕一样），也可以把文字变成带有情感的语音（像机器人讲话一样）。 两种模式 ： Base版本 ：可以处理语音的基本转换，适合一般的语音识别和生成任务。 Expressive版本 ：使用 音调和风格标记 （pitch and style tokens）来捕捉语音中的情感，如兴奋、愤怒、惊讶等，并生成带有这种情感的语音，使得生成的语音更加自然、真实。可以根据语音中的情感（如开心、愤怒、惊讶等）生成带有情感的语音，使机器说话更加自然。 [video width="720" height="720" mp4="https://img.xiaohu.ai/2024/10/twittervid.com_AIatMeta_942d6e.mp4" preload="auto"][/video] 主要功能 语音与文本生成 ： SPIRIT-LM 能够生成文本或语音序列，输入可以是文本、语音或二者的组合。模型能够根据输入模式切换生成模式。例如，它能够从文本生成语音，也能够根据语音输入生成相应的文本。 跨模态任务 ： 模型可以执行多种跨模态任务，包括： 自动语音识别（ASR） ：将语音输入转换为文本输出。 文本转语音（TTS） ：将文本输入转换为语音输出。 语音与文本的混合生成 ：根据输入的模式自由生成文本或语音，并能够在生成过程中切换模态。 少样本学习 ： SPIRIT-LM 支持通过少量训练样本进行任务学习，特别是在跨模态任务中，它无需大量数据就可以执行诸如文本生成、语音生成、分类等复杂任务。 情感保持 ： SPIRIT-LM 能够在文本或语音输入中保留情感特征，并在生成的文本或语音中保留这种情感表达。这使得模型在情感丰富的对话、情感识别等任务中表现优异。 跨模态情感生成 ： SPIRIT-LM-EXPRESSIVE 版本特别关注语音中的情感表达，通过使用音调和风格单元，生成的语音不仅能传递语义，还能传递情感。这种功能使得它非常适合用于需要丰富语音表达的场景，如虚拟助手、语音生成等。 模型的工作机制： SPIRIT-LM 的输入可以是纯文本、纯语音或者文本和语音的混合序列。模型通过交替训练语音和文本数据，使其能够在生成时无缝切换两种模态。 模型采用了一种词级别的交替方法来处理语音和文本。在训练过程中，模型会随机在对齐的语音-文本序列中的单词边界处切换模态，使得语音和文本混合成为一个连续的标记序列。 通过这种跨模态的训练，模型不仅能够生成纯文本或纯语音，还能在跨模态转换任务中表现出色，如语音转文本（ASR）、文本转语音（TTS）、情感语音生成等。 核心优势： 跨模态生成能力 ：SPIRIT-LM可以在文本和语音之间流畅地进行转换，生成内容能够在这两种模态中自由切换。 少样本学习 ：模型具有强大的少样本学习能力，能够通过少量示例学习新任务，并在语音识别、文本生成等任务中表现出色。 情感与表现力 ：特别是SPIRIT-LM-EXPRESSIVE版本，通过增加音调和风格单元，能够生成更加富有情感和表现力的语音，保持文本和语音之间的情感一致性。 案例展示 SPIRIT-LM 提供了多个生成案例，展示了其跨模态生成和情感表达的能力。 跨模态生成案例 输入（文本提示） ：“The largest country in the world is...” 生成（文本继续） ：模型会生成后续文本，例如“the northwest corner of Wyoming. It is located in the Greater Yellowstone area...” 生成（语音继续） ：如果指定语音生成，模型将使用语音模式继续生成与输入文本相关的内容。 输入（文本提示） ：“Here's a story about a llama that can speak...” 生成（语音继续） ：SPIRIT-LM 通过语音生成方式，继续故事情节，能够保持输入文本的连贯性和语义一致性。 [video width="1520" height="1080" mp4="https://img.xiaohu.ai/2024/10/1019Area.mp4"][/video] 情感表现生成案例（SPIRIT-LM-EXPRESSIVE） 在 SPIRIT-LM-EXPRESSIVE 中，模型能够根据输入的情感信息，生成具有相应情感的语音或文本。以下是一些例子： 输入（情感语音提示） ：“I am absolutely thrilled to be embarking on this new journey...” 生成（语音继续） ：模型生成语音时保持了输入的情感色彩，延续了兴奋的情感基调。 输入（愤怒情感的文本提示） ：“This is unbelievable! My brand new car, ruined!...” 生成（文本或语音继续） ：模型能够生成表达愤怒的文本或语音，保持一致的情感语调。 输入（悲伤情感的语音提示） ：“I can't believe she's gone. I feel so lost without her...” 生成（语音继续） ：模型继续生成带有悲伤情感的语音，传递出深刻的情感。 [video width="1740" height="1080" mp4="https://img.xiaohu.ai/2024/10/10192Area.mp4"][/video] 多样化情感风格 SPIRIT-LM-EXPRESSIVE 版本不仅能够理解情感，还能够通过不同的音调和风格生成具有表现力的语音。例如，通过改变输入语音的语调和风格，模型能够生成富有不同情感色彩的继续内容，如“愤怒”、“悲伤”或“兴奋”等。 [video width="2168" height="1080" mp4="https://img.xiaohu.ai/2024/10/Area1019.mp4"][/video] 论文： https://arxiv.org/abs/2402.05755 GitHub： https://github.com/facebookresearch/spiritlm 案例展示： https://speechbot.github.io/spiritlm/

Menu

分类目录

Meta发布 Meta Spirit LM 一个可以在语音和文本之间进行无缝转换的多模态语音模型

Related Posts

Gemini Teacher：基于 Gemini 2.0的英语口语练习助手实时发音纠正和建议

Livekit推出一个开源的精准语音轮次检测模型可精准识别用户是否说完话

微软开源了一款金融市场预测工具 MarS 能够实现逼真的市场模拟

MidJourney 推出个性化档案和情绪版新功能记住你的风格喜好

Google视频和图像生成模型更新包括Veo 2、Imagen 3和一个新工具Whisk

Google发布 2024年值得关注的Chrome扩展程序

Recommendeds

微软Office全家桶大更新 Excel 中集成 Python 推出 Pages和Copilot Agents等众多功能

Perplexity 接入 Yelp 的评论数据融入到其聊天机器人服务中

快手发布“可灵”视频大模型类似Sora技术路线能生成超过120秒 1080P视频

MindEye2：仅需1小时训练数据就能从大脑活动中重建所见图像

TurboEdit：基于文本提示实现亚秒级实时图像编辑相比传统方法实现了 6到630倍的速度提升

IC-Light 升级为IC-Light V2-Vary 可更灵活地调整光源位置和强度

FILM-7B：解决大语言模型在长上下文信息的中间丢失问题

Hand Talk: 将语音和文字翻译为手语帮助听障人士获取信息

超200位知名音乐人签署公开信呼吁阻止AI对人类创造力的攻击

Runway 推出一款生成式角色表演工具可以把视频转换成任意风格虚拟角色动画并且保持表情语音口型同步

Welcome Back!

Retrieve your password

Add New Playlist

Are you sure want to unlock this post?

Are you sure want to cancel subscription?

Menu

分类目录

Meta发布 Meta Spirit LM 一个可以在语音和文本之间进行无缝转换的多模态语音模型

Support authors and subscribe to content

加入会员

Related Posts

Recommendeds

Welcome Back!

Retrieve your password

Add New Playlist

Are you sure want to unlock this post?

Are you sure want to cancel subscription?