Cradle：仅靠屏幕图像输入 AI模仿人类玩《荒野大镖客2》

Cradle，一个具有强大推理能力的代理框架，旨在探索通用计算机控制领域，以《荒野大镖客2》（Red Dead Redemption II）这款复杂的AAA级游戏作为案例研究。项目的核心目标是开发一种多模态代理（Agent），这种代理能够通过与人类相同的通用界面（即屏幕图像作为输入，键盘和鼠标操作作为输出）来执行复杂的计算机任务。

项目主要内容和目标：

• 通用计算机控制（GCC）：提出了一种新的设置，即通过仅使用计算机的屏幕图像（可能还包括音频）作为输入，并产生键盘与鼠标操作作为输出，构建能够掌握任何计算机任务的基础代理。这种方式模仿了人类与计算机的互动方式。