Home 开源项目案例库 AI 论文 将 Gemma 2B 的上下文窗口扩展到 1000万的技术方法 by 小互 5月 ago Share on FacebookShare on Twitter Gemma-10M 模型使用一种称为 Infini-Attention 的技术,将 Gemma 2B 的上下文窗口扩展到 10M。其主要方法是通过循环局部注意力和压缩记忆,实现长距离依赖关系的保留。 特性:Support authors and subscribe to contentThis is premium stuff. Subscribe to read the entire article.Login if you have purchased 加入会员 加入会员查看更多会员内容和教程。 超过1000+的会员内容,每天更新。 开通会员 Categories: AI 论文, AI 项目 Related Content 全球首创桌面双轮足式 AI 机器人 接入ChatGPT 能跑、能看、能说、倒不了... by 小互 2024年10月18日 Perplexity AI 推出了两个全新功能:内部知识搜索 和 Spaces 更加方便易用 by 小互 2024年10月18日 Google NotebookLM 推出企业版和个性化控制 你可以自定义AI播客内容 by 小互 2024年10月18日 Hallo 2:根据单张图像和音频输入能够生成长达一小时的4K分辨率人像视频 by 小互 2024年10月18日 AMT-APC:自动生成钢琴伴奏模型 将任意音乐转换成与原曲匹配钢琴伴奏 by 小互 2024年10月18日