Cradle,一个具有强大推理能力的代理框架,旨在探索通用计算机控制领域,以《荒野大镖客2》(Red Dead Redemption II)这款复杂的AAA级游戏作为案例研究。项目的核心目标是开发一种多模态代理(Agent),这种代理能够通过与人类相同的通用界面(即屏幕图像作为输入,键盘和鼠标操作作为输出)来执行复杂的计算机任务。
项目主要内容和目标:
-
通用计算机控制(GCC):提出了一种新的设置,即通过仅使用计算机的屏幕图像(可能还包括音频)作为输入,并产生键盘与鼠标操作作为输出,构建能够掌握任何计算机任务的基础代理。这种方式模仿了人类与计算机的互动方式。