Google DeepMind 将Gemini 1.5 Pro安装到机器人上实现机器人的记忆导航能力

Google DeepMind 的机器人团队展示了将Google Gemini 1.5 Pro安装到机器人里面，通过Gemini 1.5 Pro 的长上下文窗口提升机器人的导航能力。 实验表明，机器人能够使用人类指令、视频导览和常识推理，成功记住和找到特定位置。 研究团队通过“ 多模态指令导航与长上下文VLMs和拓扑图 ”的方法，使机器人能够执行不同任务。这些机器人在先前的项目中已熟悉了办公室环境，并通过“多模态指令导航演示”熟悉了空间。随后，团队利用分层视觉-语言-动作（VLA）技术，将环境理解和常识推理结合，使机器人能够响应书面、绘图命令以及手势指令。 在展示视频中，员工使用“OK, Robot”启动指令，机器人成功地执行了多项任务，如带领员工前往绘画板和按照白板上的指令导航到特定区域。机器人在超过50次与员工的互动中，成功率达到了约90%。 Gemini 1.5 Pro 的长上下文窗口提高了机器人记住和导航环境的能力。 实验显示机器人能使用人类指令、视频导览和常识推理找到空间中的位置。 机器人能够记住特定区域的关键位置并导航到这些位置。 系统架构通过视频帧创建拓扑图，帮助机器人在没有地图的情况下找到路径。 提供多模态指令（如地图草图、音频请求和视觉线索）能提高机器人的任务执行能力。 机器人在9000多平方英尺的区域内执行57种任务，成功率达到了约90%。 [video width="800" height="800" mp4="https://img.xiaohu.ai/2024/07/X2Twitter.com_GSNfrMYbAAA55GOgif.mp4"][/video] 案例1：一位 Google 员工要求机器人带他去一个可以画画的地方。“好的，”机器人戴着俏皮的黄色蝴蝶结回答道，“给我一分钟。我在用 Gemini 思考……”然后机器人带着这位员工走到了一块墙大的白板前。 [video width="1080" height="1080" mp4="https://img.xiaohu.ai/2024/07/7月12日.mp4"][/video] 案例2：先带着机器人在现实世界的特定区域进行了一次参观，重点介绍了需要记忆的关键地点，比如“刘易斯的办公桌”或“临时办公区域”。然后，机器人被要求带领刚才已经去过的这些地点。 [video width="1080" height="1080" mp4="https://img.xiaohu.ai/2024/07/7月12日-1.mp4"][/video] 一张简单的地图显示了如何到达“蓝色区域”。机器人再次思考片刻，然后长途跋涉到达了一个机器人测试区。“我已经成功地按照白板上的指示行事了，”机器人自信地宣布，这种自信是大多数人类只能梦想拥有的。 在这些视频之前，机器人通过团队称之为“带有演示巡回的多模态指令导航（MINT）”的方式熟悉了环境。实际上，这意味着带机器人在办公室周围走动，同时用语音指出不同的地标。接下来，团队利用分层视觉-语言-行动 (VLA) 来“结合环境理解和常识推理能力”。一旦这些过程结合起来，机器人可以响应书写和绘制的命令，以及手势。 多模态指令导航与长上下文VLMs和拓扑图 在研究如何让机器人更智能地导航时，一个重要的目标是让它们能理解人类的多种指令，比如语言和图片指示，然后执行相应的任务。Google DeepMind的团队开发了一个叫做Mobility VLA的项目，试图通过结合先进的视觉语言模型（VLMs）和拓扑图技术，实现这个目标。 主要内容 ： 多模态指令导航（MINT）任务 ： 什么是MINT ：这是指让机器人通过理解多种指令（如语言和图片），在一个环境中导航并完成任务。例如，机器人可以听懂你说“带我去会议室”，或者看懂你在地图上标记的路径，并准确到达目的地。 方法介绍 ： 视觉语言模型（VLMs） ：这是一种先进的人工智能技术，能够理解图像和语言信息。通过这种技术，机器人可以“看懂”和“听懂”环境中的信息，并进行合理的判断。 拓扑图 ：这是一种表示环境中各个地点及其连接关系的方法。就像是一个详细的地图，帮助机器人进行有效的路径规划。 实验验证 ： 模拟环境实验 ：在模拟环境中，研究团队测试了机器人的导航能力。结果显示，使用VLMs和拓扑图结合的方法，机器人能够成功完成任务，并且路径规划更加高效。 真实环境实验 ：在实际的办公环境中，机器人根据口头指令和书面指令进行导航。实验结果表明，机器人能够准确理解指令并顺利到达目的地，成功率超过90%。 研究成果 ： 理解和执行复杂任务 ：机器人能够通过多种指令（语言和图片）执行复杂的导航任务。 高效导航 ：利用拓扑图，机器人可以更高效地规划路径，减少行走时间。 通用性强 ：在不同环境中，机器人都表现出色，证明了该方法的普适性和可靠性。 未来方向 ： 提高理解能力 ：继续优化机器人在复杂环境中理解和执行指令的能力。 扩展应用领域 ：将这项技术应用到无人驾驶、智能家居等更多领域，提高自动化水平。 推广到其他任务 ：将这套方法推广到其他人工智能任务中，如任务规划和语义理解，进一步提升智能系统的性能。 论文： https://arxiv.org/pdf/2407.07775v1

Menu

分类目录

Google DeepMind 将Gemini 1.5 Pro安装到机器人上实现机器人的记忆导航能力

Related Posts

Livekit推出一个开源的精准语音轮次检测模型可精准识别用户是否说完话

微软开源了一款金融市场预测工具 MarS 能够实现逼真的市场模拟

MidJourney 推出个性化档案和情绪版新功能记住你的风格喜好

Google视频和图像生成模型更新包括Veo 2、Imagen 3和一个新工具Whisk

Google发布 2024年值得关注的Chrome扩展程序

Xai 发布 Grok-2 模型新版本速度提升3倍多语言指令遵循能力更强

Recommendeds

Flawless：利用AI创建与原版电影一样沉浸和真实的唇形同步配音版本

MoneyPrinterTurbo：利用大语言模型一键生成1分钟长的短视频

AnimateDiff-Lightning：快如闪电的视频生成模型速度提升十倍

Snap 发布第五代 Spectacles AR 眼镜内置AI 可通过语音提示直接生成 3D 动画

CURE：借助庞大的患者数据训练能准确预测治疗结果的AI模型

GPT-Academic：专门针对论文阅读、写作润色优化的学术GPT

V-Express：根据单张个人照片生成视频并能通过多种信号控制视频内容

Apple Intelligence背后基础模型：一个约30亿参数的设备端模型和一个服务器端大模型

Deepgram 推出了全新的AI语音代理API 能够进行实时自然的语音对话

Magi: 自动将漫画转录成文字并自动生成剧本

Welcome Back!

Retrieve your password

Add New Playlist

Are you sure want to unlock this post?

Are you sure want to cancel subscription?

Menu

分类目录

Google DeepMind 将Gemini 1.5 Pro安装到机器人上 实现机器人的记忆导航能力

Support authors and subscribe to content

加入会员

Related Posts

Recommendeds

Welcome Back!

Retrieve your password

Add New Playlist

Are you sure want to unlock this post?

Are you sure want to cancel subscription?

Google DeepMind 将Gemini 1.5 Pro安装到机器人上实现机器人的记忆导航能力