AutoGen Studio 是微软研究院开发的一款低代码工具，旨在帮助开发者快速原型设计、调试和评估由多个人工智能代理（Multi-Agent Systems）组成的复杂系统,类似dify、coze…
多代理系统涉及多个自主AI代理协同工作，完成复杂任务，而传统上开发这种系统需要大量的编程知识。AutoGen Studio 通过提供用户友好的拖放界面，让开发者能够快速构建和原型设计多代理系统，即使开发者的编程经验有限。
它通过直观的拖放界面和Python API，使开发者能够轻松配置和组合生成式AI模型与工具，从而解决一些复杂的长时任务。
- 多代理系统的复杂性：多代理系统通常需要开发者手动配置大量参数，包括代理的模型选择、使用的工具或技能、代理之间的交互顺序等。这使得开发和调试这些系统变得复杂且容易出错。AUTOGEN STUDIO 通过提供可视化界面，简化了这些配置过程，使开发者能够更直观地构建和调试系统。
- 高门槛的代码驱动开发：传统的多代理系统开发通常依赖于编写大量代码，这对非编程背景的开发者构成了高门槛。AUTOGEN STUDIO 提供了无代码的开发环境，使得即使是没有编程经验的用户也可以构建复杂的多代理系统。
- 调试和优化的困难：在多代理系统中，理解和优化代理的行为非常困难，特别是在系统出现问题时。AUTOGEN STUDIO 提供了实时调试工具和详细的行为分析报告，帮助开发者更好地理解系统的运行，并进行必要的调整和优化。
AutoGen Studio 的核心方法围绕其可视化界面展开，使开发者能够定义和整合各种组件，如AI模型、技能和内存模块，形成全面的智能体工作流。这种设计方法允许用户通过直观地排列这些元素来构建复杂的系统，从而显著减少原型设计和测试多智能体系统所需的时间和精力。该工具还支持使用JSON声明式指定智能体行为，方便复制和共享工作流。通过提供一组可重用的智能体组件和模板，AutoGen Studio 加速了开发过程，使开发者能够专注于改进他们的系统，而不是底层代码。
- 低代码开发环境：
- 提供直观的拖放界面，允许开发者通过图形化的方式定义和组合多代理系统的工作流。
- 支持定义AI模型、工具（如Python函数或API）、记忆组件等，然后将这些组件组合成完整的工作流。
- 多代理对话框架：
- 支持复杂工作流的多代理对话，允许代理之间进行自动化的交流和协作。这些代理可以与大型语言模型（LLM）、工具和人类进行交互，完成各种任务。
- 开发者可以配置多代理系统中的各个代理，包括选择代理使用的生成式AI模型、定义代理的任务、设置代理之间的交互顺序等。
- 支持多种工作流模式，如自主聊天模式（自动化的代理对话）和顺序聊天模式（按顺序处理任务）。
- 可重用的代理组件：
- 提供一个组件库视图，包含各种可重用的模型、工具、智能体和工作流模板。用户可以从组件库中导入、扩展和重新使用这些组件，极大地加速了多智能体工作流的开发过程。
- 性能监控和调优：
- 提供交互式的调试工具，允许开发者实时观察和评估智能体的行为。开发者可以查看智能体之间的消息传递、生成的文件（如图片、代码、文档等），并使用内置的性能分析工具监控智能体的任务执行情况，如生成内容的质量、工具调用频率和成功率等。
- 内置高级分析工具，允许开发者实时监控和优化系统性能，包括跟踪代理之间的消息交换、AI模型的成本，以及工具使用的成功率等。
- 提供实时测试功能，允许开发者在构建过程中立即测试工作流并查看结果。
- 内置调试工具，能够实时监控代理之间的消息交换，生成的内容，以及各个代理的操作。
- 提供性能分析工具，包括任务执行的消息数量、模型消耗的Token、使用的工具次数及其成功与否的状态。
- 工作流部署测试导出（Deployment）：
- 支持将构建的工作流导出为JSON配置文件，方便集成到其他Python应用中。
- 允许通过命令行工具将工作流部署为API服务，或者打包为Docker容器进行大规模部署。
- 测试: AutoGen Studio允许用户在任务上交互式测试工作流，并查看生成的文档、代码等成果，还可以查看代理工作流的“内部独白”和性能信息。
- 导出: 用户可以下载自己创建的技能、代理和工作流配置，或将工作流导出为JSON配置文件以便在其他应用中使用。
- 性能分析与优化（Profiling and Optimization）：
- 提供对代理系统性能的详细分析，包括任务完成时间、资源消耗等指标。
- 允许开发者通过调试工具调整代理配置，以优化系统性能和降低运行成本。
- 多种API接口：
- 提供Web API、Python API和命令行接口，支持开发者通过多种方式与AUTOGEN STUDIO进行交互。这些API允许开发者在不同的开发环境中使用AUTOGEN STUDIO的功能，从而增强系统的灵活性和可扩展性。
使用与评价
AUTOGEN STUDIO 被用户评价为一个非常实用的工具，特别是对于那些希望在无需编写大量代码的情况下快速开发多代理系统的用户而言。其直观的用户界面、强大的调试工具以及可扩展的组件库，显著降低了多代理系统开发的门槛。
1. 使用情况
自发布以来，AUTOGEN STUDIO 已经得到了广泛的使用和测试，主要体现在以下几个方面：
- 广泛的用户基础：自发布在GitHub上以来，AUTOGEN STUDIO 已被下载超过 20 万次。用户来自不同的背景，包括初学者、软件工程师以及研究人员等，他们使用该工具来开发多代理系统应用。
- 迭代改进：AUTOGEN STUDIO 在使用过程中不断收集用户反馈，并基于反馈进行了多次迭代更新。例如，通过用户报告的问题和建议，开发团队对系统的许多核心功能进行了优化，如组件定义的自动化、组件和工作流的测试功能等。
- 案例使用：论文中提供了一个详细的案例，展示了一个初级软件工程师（Jack）如何使用 AUTOGEN STUDIO 来快速构建和部署一个生成儿童书籍的多代理系统。通过这个案例，可以看到 AUTOGEN STUDIO 如何帮助用户定义代理、测试工作流并进行优化，最后将其部署为API服务。
2. 用户反馈与评价
在使用过程中，AUTOGEN STUDIO 收到了大量来自用户的反馈，主要集中在以下几个方面：
- 组件定义与复用：早期版本中，用户在定义和复用组件时遇到了一些困难。开发团队通过引入数据库层来管理组件，使得这些组件能够被持久化和跨会话复用，解决了这一问题。
- 组件自动化生成：用户在使用过程中发现手动定义组件（如模型、工具等）较为繁琐。为此，开发团队增加了从描述自动生成工具的功能，并集成了一个用于编辑工具的IDE，这显著提升了用户的开发效率。
- 调试功能的需求：多代理系统的调试非常复杂，特别是在工作流中有多个代理协同工作时。AUTOGEN STUDIO 通过引入调试工具和可视化性能分析模块，帮助用户更好地理解代理的行为和工作流的执行情况，极大地提高了系统的可用性。
- 工作流测试和优化：用户在测试过程中希望能够快速迭代和优化他们的工作流。AUTOGEN STUDIO 提供了在构建视图中立即测试工作流的功能，以及一个游乐场视图，用于更系统地测试和比较多个会话的表现。这些功能得到了用户的广泛好评。
系统设计和用户界面
1. 系统设计
AUTOGEN STUDIO 的系统设计分为前端用户界面（UI）和后端API两个主要部分，每个部分都承担了特定的功能。
1.1 前端用户界面（UI）
- 构建视图（Build View）：用户可以在此视图中通过拖放操作来定义和组合多代理系统的工作流。该视图支持用户定义代理的各个组件，如模型、技能（工具）和记忆库，并将这些组件组合成完整的工作流。
- 游乐场视图（Playground View）：此视图用于交互式任务执行和工作流调试。用户可以创建会话，将工作流附加到会话中，并运行任务。支持比较多个会话结果，以便用户评估不同工作流的表现。
- 画廊视图（Gallery View）：此视图是一个模板库，包含了各种可重用的代理组件和工作流模板，用户可以导入、扩展和重新利用这些模板，以加速开发过程。
1.2 后端API
- Web API：基于FastAPI构建的REST接口，支持HTTP GET、POST和DELETE方法。通过这些接口，用户可以管理各种实体（如技能、模型、代理、记忆库、工作流和会话），并执行任务。
- Python API：提供对AUTOGEN STUDIO核心功能的编程访问，开发者可以使用Python脚本直接操作工作流、代理等，进行更复杂的系统集成和自动化任务。
- 命令行接口（CLI）：提供命令行工具，用于启动用户界面、运行工作流、部署为API服务等操作。用户可以通过命令行轻松部署工作流到不同的平台（如Docker容器、云服务）。
2. 用户界面
AUTOGEN STUDIO 的用户界面设计以用户体验为核心，分为以下几个主要部分：
2.1 构建视图（Build View）
- 组件定义与组合：用户可以在此视图中通过拖放操作来定义低级别的组件（如模型、技能、记忆库），并将它们组合成代理。随后，这些代理可以进一步组合成工作流。每个实体（如模型、技能）都可以保存到数据库中，以便在界面的不同部分重复使用。
- 工作流构建：工作流的构建是通过将已定义的代理和其他组件拖放到一个可视化的布局画布上来实现的。用户可以指定代理之间的交互顺序、终止条件等工作流参数。
2.2 游乐场视图（Playground View）
- 交互测试：在此视图中，用户可以对工作流进行交互测试，即时查看任务执行结果。用户可以查看各个代理的操作、生成的内容（如文本、图片等），并通过可视化工具观察代理之间的消息交换和行为。
- 调试与分析：此视图还提供了详细的调试工具和性能分析模块，用户可以监控任务执行过程中的各种指标，如代理调用的工具次数、生成模型的Token使用情况等，以优化系统性能。
2.3 画廊视图（Gallery View）
- 模板库：此视图提供了各种预定义的代理、技能、模型和工作流模板，用户可以直接导入这些模板并进行自定义。模板库使得用户能够快速开始工作，而不必从头开始定义所有组件。
- 共享与重用：用户还可以将自定义的模板保存到画廊中，或导出并与他人共享，这促进了开发者社区的合作与知识共享。
AutoGen Studio 目前正在积极开发中，正在快速迭代…
GitHub：https://github.com/microsoft/autogen/tree/main/samples/apps/autogen-studio
技术报告：https://arxiv.org/abs/2408.15247
开发文档：https://microsoft.github.io/autogen/docs/autogen-studio/getting-started/