Google DeepMind 将Gemini 1.5 Pro安装到机器人上实现机器人的记忆导航能力

Google DeepMind 的机器人团队展示了将Google Gemini 1.5 Pro安装到机器人里面，通过Gemini 1.5 Pro 的长上下文窗口提升机器人的导航能力。 实验表明，机器人能够使用人类指令、视频导览和常识推理，成功记住和找到特定位置。 研究团队通过“ 多模态指令导航与长上下文VLMs和拓扑图 ”的方法，使机器人能够执行不同任务。这些机器人在先前的项目中已熟悉了办公室环境，并通过“多模态指令导航演示”熟悉了空间。随后，团队利用分层视觉-语言-动作（VLA）技术，将环境理解和常识推理结合，使机器人能够响应书面、绘图命令以及手势指令。 在展示视频中，员工使用“OK, Robot”启动指令，机器人成功地执行了多项任务，如带领员工前往绘画板和按照白板上的指令导航到特定区域。机器人在超过50次与员工的互动中，成功率达到了约90%。 Gemini 1.5 Pro 的长上下文窗口提高了机器人记住和导航环境的能力。 实验显示机器人能使用人类指令、视频导览和常识推理找到空间中的位置。 机器人能够记住特定区域的关键位置并导航到这些位置。 系统架构通过视频帧创建拓扑图，帮助机器人在没有地图的情况下找到路径。 提供多模态指令（如地图草图、音频请求和视觉线索）能提高机器人的任务执行能力。 机器人在9000多平方英尺的区域内执行57种任务，成功率达到了约90%。 [video width="800" height="800" mp4="https://img.xiaohu.ai/2024/07/X2Twitter.com_GSNfrMYbAAA55GOgif.mp4"][/video] 案例1：一位 Google 员工要求机器人带他去一个可以画画的地方。“好的，”机器人戴着俏皮的黄色蝴蝶结回答道，“给我一分钟。我在用 Gemini 思考……”然后机器人带着这位员工走到了一块墙大的白板前。 [video width="1080" height="1080" mp4="https://img.xiaohu.ai/2024/07/7月12日.mp4"][/video] 案例2：先带着机器人在现实世界的特定区域进行了一次参观，重点介绍了需要记忆的关键地点，比如“刘易斯的办公桌”或“临时办公区域”。然后，机器人被要求带领刚才已经去过的这些地点。 [video width="1080" height="1080" mp4="https://img.xiaohu.ai/2024/07/7月12日-1.mp4"][/video] 一张简单的地图显示了如何到达“蓝色区域”。机器人再次思考片刻，然后长途跋涉到达了一个机器人测试区。“我已经成功地按照白板上的指示行事了，”机器人自信地宣布，这种自信是大多数人类只能梦想拥有的。 在这些视频之前，机器人通过团队称之为“带有演示巡回的多模态指令导航（MINT）”的方式熟悉了环境。实际上，这意味着带机器人在办公室周围走动，同时用语音指出不同的地标。接下来，团队利用分层视觉-语言-行动 (VLA) 来“结合环境理解和常识推理能力”。一旦这些过程结合起来，机器人可以响应书写和绘制的命令，以及手势。 多模态指令导航与长上下文VLMs和拓扑图 在研究如何让机器人更智能地导航时，一个重要的目标是让它们能理解人类的多种指令，比如语言和图片指示，然后执行相应的任务。Google DeepMind的团队开发了一个叫做Mobility VLA的项目，试图通过结合先进的视觉语言模型（VLMs）和拓扑图技术，实现这个目标。 主要内容 ： 多模态指令导航（MINT）任务 ： 什么是MINT ：这是指让机器人通过理解多种指令（如语言和图片），在一个环境中导航并完成任务。例如，机器人可以听懂你说“带我去会议室”，或者看懂你在地图上标记的路径，并准确到达目的地。 方法介绍 ： 视觉语言模型（VLMs） ：这是一种先进的人工智能技术，能够理解图像和语言信息。通过这种技术，机器人可以“看懂”和“听懂”环境中的信息，并进行合理的判断。 拓扑图 ：这是一种表示环境中各个地点及其连接关系的方法。就像是一个详细的地图，帮助机器人进行有效的路径规划。 实验验证 ： 模拟环境实验 ：在模拟环境中，研究团队测试了机器人的导航能力。结果显示，使用VLMs和拓扑图结合的方法，机器人能够成功完成任务，并且路径规划更加高效。 真实环境实验 ：在实际的办公环境中，机器人根据口头指令和书面指令进行导航。实验结果表明，机器人能够准确理解指令并顺利到达目的地，成功率超过90%。 研究成果 ： 理解和执行复杂任务 ：机器人能够通过多种指令（语言和图片）执行复杂的导航任务。 高效导航 ：利用拓扑图，机器人可以更高效地规划路径，减少行走时间。 通用性强 ：在不同环境中，机器人都表现出色，证明了该方法的普适性和可靠性。 未来方向 ： 提高理解能力 ：继续优化机器人在复杂环境中理解和执行指令的能力。 扩展应用领域 ：将这项技术应用到无人驾驶、智能家居等更多领域，提高自动化水平。 推广到其他任务 ：将这套方法推广到其他人工智能任务中，如任务规划和语义理解，进一步提升智能系统的性能。 论文： https://arxiv.org/pdf/2407.07775v1

Menu

分类目录

Google DeepMind 将Gemini 1.5 Pro安装到机器人上实现机器人的记忆导航能力

Related Posts

Comfyui_Object_Migration：一致性换衣模型和工作流实物衣服一键穿上

ElevenLabs 推出构建语言对话AI代理的功能可使用其语音模型接入AI模型

Stripe 推出 Stripe Agent Toolkit：让 AI 代理能自动进行支付帮你购物、订机票等

Mistral AI 发布了全新的 Pixtral Large 开源模型超越 GPT-4o、Gemini-1.5 Pro 和 Claude-3.5 Sonnet

Perplexity 推出全新 AI 驱动购物助手：Shop Like a Pro 支持搜索结果一键下单

Mistral AI推出了更新版的Le Chat 支持在聊天中进行搜索、上传 PDF、编程、图像生成等

Recommendeds

OpenAI 推出 SearchGPT 将 AI 与实时网络信息结合提供生成式UI结果

字节跳动发布AI开发工具：豆包MarsCode 无需配置环境实现云端编码开发

Adobe Premiere Pro 引入 AI 视频编辑和Sora等AI视频模型

韩国游戏公司打造全新模拟养成游戏《inZOI》玩家可将现实中的物品搬到游戏中

Prompt 学习地图 25 | 理论&实践 – CoT 逐步思考和推理

Morph Studio：将Stability AI生成的视频片段编织成一部电影

快手发布“可灵”视频大模型类似Sora技术路线能生成超过120秒 1080P视频

LSLM：一种新的语音模型可以在和边你说话的同时继续倾听你说话实时回复你

Udio官方FAQ教程：如何使用 Udio 制作音乐？

STRUCT CHEM：提高大语言模型解决复杂化学问题的能力

Welcome Back!

Retrieve your password

Add New Playlist

Are you sure want to unlock this post?

Are you sure want to cancel subscription?

Menu

分类目录

Google DeepMind 将Gemini 1.5 Pro安装到机器人上 实现机器人的记忆导航能力

Support authors and subscribe to content

加入会员

Related Posts

Recommendeds

Welcome Back!

Retrieve your password

Add New Playlist

Are you sure want to unlock this post?

Are you sure want to cancel subscription?

Google DeepMind 将Gemini 1.5 Pro安装到机器人上实现机器人的记忆导航能力