SignLLM :世界上第一个通过文字描述生成手语视频的多语言手语模型

SignLLM 是首个多语言手语数据集及其生成模型,旨在通过先进的人工智能技术生成和翻译多种手语。该项目引入了首个多语言手语数据集,名为 Prompt2Sign,并基于此数据集开发了多种生成手语的模型。

Prompt2Sign 数据集,包括美国手语(ASL)和其他七种手语。此数据集将大量视频转化为便于模型训练的格式,优化了如 seq2seq 和 text2text 等翻译模型的训练。基于该数据集,SignLLM 提出了首个多语言手语生成(SLP)模型,具备从输入文本或提示生成手语手势的两种新模式。

Support authors and subscribe to content

This is premium stuff. Subscribe to read the entire article.

加入会员

加入会员查看更多会员内容和教程。
超过1000+的会员内容,每天更新。
退出移动版