SignLLM 是首个多语言手语数据集及其生成模型,旨在通过先进的人工智能技术生成和翻译多种手语。该项目引入了首个多语言手语数据集,名为 Prompt2Sign,并基于此数据集开发了多种生成手语的模型。
Prompt2Sign 数据集,包括美国手语(ASL)和其他七种手语。此数据集将大量视频转化为便于模型训练的格式,优化了如 seq2seq 和 text2text 等翻译模型的训练。基于该数据集,SignLLM 提出了首个多语言手语生成(SLP)模型,具备从输入文本或提示生成手语手势的两种新模式。