MindSearch：匹敌Perplexity.ai 模仿人类在网络上寻找和整合信息的AI搜索

MindSearch是由上海人工智能实验室开发的一个基于大语言模型（LLM）和搜索引擎相结合的系统，旨在模仿人类在网络上寻找和整合信息的过程。性能可与 Perplexity.ai Pro 相媲美，能够处理超过 300 个网页的长上下文信息。而且是开源的，你可以轻松用它部署来构建您自己的搜索引擎。 🤔 任何问题 ：MindSearch 能帮助你解决生活中遇到的各种问题。 📚 深度知识探索 ：通过浏览数百个网页，提供广泛而深入的答案。 🔍 透明的解决方案路径 ：提供思考路径和搜索关键词，让回答更可信、更实用。 💻 多种用户界面 ：支持 React、Gradio、Streamlit 和本地调试，用户可根据需要选择。 🧠 动态图构建过程 ：将查询分解为图中的子问题节点，并根据搜索结果逐步扩展图。 MindSearch解决了现有搜索引擎无法完全满足复杂人类意图的问题，通过分解问题、分层检索和高效信息整合，使得系统能够在短时间内处理大量信息。 传统搜索引擎在处理复杂的人类意图匹配上存在诸多问题，主要包括： 复杂请求的分解困难 ：大语言模型（LLMs）无法将复杂请求分解为原子查询，导致难以准确和完整地检索相关信息。 海量搜索结果的处理难度 ：搜索结果通常非常庞大，需要专门的预选择步骤。 输入长度限制 ：迭代的网页搜索内容可能迅速超过LLM的最大输入长度。 [video width="1914" height="1080" mp4="https://img.xiaohu.ai/2024/08/mindsearch-mimicking-human-minds-is-the-secret-of-deep-ai-searcher-1080-ytshorts.savetube.me_.mp4"][/video] MindSearch的工作原理 MindSearch 采用多代理协作的设计，使各个代理在各自的任务范围内并行工作： 设计 ：通过将大量信息处理任务分配给不同的代理，实现高效处理。 优势 ：能够处理超过 300 个网页的长上下文信息。 1.多代理框架： 主要包括两个关键组件：WebPlanner 和 WebSearcher 任务分配 ：WebPlanner将子问题分派给多个WebSearcher，每个WebSearcher独立处理一个子问题，减少了单个代理的负担。 信息整合 ：WebPlanner从所有WebSearcher收集信息，并在推理图中逐步添加节点和边，直到最终生成完整的回答。 WebPlanner：模拟人类思维的高层规划者，负责将复杂问题分解成多个子问题，构建一个有向无环图（DAG）来表示问题解决的路径。 角色 ：充当高级规划器。像团队经理一样，分解复杂问题并规划搜索步骤。 功能 ： 复杂问题的分解 ：将复杂问题分解为多个子查询，类似于图节点。WebPlanner通过自然语言处理技术理解用户的复杂查询，并将其分解为更简单、易于处理的原子子问题。例如，对于“如何在大城市中有效开展垃圾分类？”这个问题，WebPlanner可能会分解成多个子问题，如“垃圾分类的最佳实践是什么？”、“大城市垃圾分类面临哪些挑战？”、“有哪些成功的案例？”等。 有向无环图（DAG）的构建 ：根据 WebSearcher 的搜索结果，动态扩展图结构。每个子问题作为DAG中的一个节点，初始查询作为开始节点，最终答案作为结束节点。WebPlanner根据子问题之间的逻辑关系建立节点之间的边，形成一个问题解决路径图。 WebSearcher：执行具体的网络信息检索任务，分层次地从多个网页中获取有价值的信息，并将结果反馈给WebPlanner。 角色 ：执行细粒度的网页搜索。像多个搜查员，分别在网络上找答案，并将有用的信息汇总给WebPlanner。 功能 ： 查询生成 ：WebSearcher根据WebPlanner分配的子问题，生成多个相关的查询。这些查询会覆盖子问题的不同方面，以确保检索到的信息全面且相关。 搜索API调用 ：WebSearcher通过调用各种搜索API（如Google、Bing、DuckDuckGo）执行查询，获取相关的网页URL、标题和摘要。 内容聚合与过滤 ：将搜索结果中的网页URL、标题和摘要聚合在一起，并利用LLM筛选出最有价值的网页进行详细阅读。 深入阅读和摘要 ：WebSearcher读取筛选出的网页内容，并生成详细的回答，将有用信息反馈给WebPlanner。 2. 动态问题解决路径 有向无环图（DAG）： 有向无环图（Directed Acyclic Graph，简称DAG）是一种特殊类型的图结构，它具有以下两个主要特征： 有向性（Directed）： 图中的每一条边都有一个方向，从一个顶点指向另一个顶点。 无环性（Acyclic）： 图中不存在从某个顶点出发经过若干条边又回到该顶点的路径，即不存在任何环路。 结构与性质 顶点（Vertices）： DAG由一组顶点组成，这些顶点可以表示任务、事件或状态。 边（Edges）： DAG中的边表示顶点之间的依赖关系或顺序。每条边都有方向，从一个顶点指向另一个顶点。 无环性： DAG的重要性质是无环性，确保了在遍历图时不会陷入无限循环。 使用场景 DAG在计算机科学和数据分析中有广泛的应用，常见的使用场景包括： 任务调度： 在任务调度中，DAG可以表示任务之间的依赖关系，确保任务按照正确的顺序执行。 版本控制： 在版本控制系统中，DAG用于表示代码的不同版本及其变更历史。 数据处理管道： 在数据处理管道中，DAG用于描述数据处理步骤的依赖关系，确保数据按正确的流程处理。 推理过程： 在推理和决策过程中，DAG可以用来建模问题的分解和解决路径。 MindSearch中的应用 将问题解决过程建模为DAG，节点代表独立的搜索任务，边表示任务之间的依赖关系。 图中的每个节点代表一个独立的搜索任务，边表示任务之间的逻辑关系。 WebPlanner通过生成Python代码来动态添加和连接节点，逐步扩展DAG。 代码生成与执行： WebPlanner通过生成Python代码来动态构建和扩展DAG。 在每一步，WebPlanner根据当前的搜索结果和生成的代码来决定下一步的搜索策略。 在MindSearch中，DAG被用于建模问题的解决路径，具体如下： 问题分解： WebPlanner将用户提出的复杂问题分解成多个子问题，并通过DAG表示这些子问题之间的依赖关系。 路径规划： DAG中的节点代表独立的搜索任务，边表示任务之间的顺序和依赖关系。通过DAG，WebPlanner能够规划和管理复杂问题的解决步骤。 动态扩展： WebPlanner通过生成和执行Python代码动态添加节点和边，逐步扩展DAG，以反映不断演进的搜索和推理过程。 示例 假设我们有一个需要解决的问题Q，WebPlanner将其分解为三个子问题A、B和C，其中A是初始问题，B依赖于A的结果，C则依赖于B的结果。DAG的表示如下： A -> B -> C 在这个例子中： 节点A、B、C代表三个独立的搜索任务。 边A -> B表示B的任务依赖于A的结果。 边B -> C表示C的任务依赖于B的结果。 通过这种结构，MindSearch能够有条不紊地分解和解决复杂问题，确保每个子任务按照正确的顺序执行，并最终汇总结果生成最终答案。 WebPlanner通过代码规划逐步解决问题的具体示例。在每一步中，WebPlanner输出一系列想法和生成的代码。代码执行后会产生搜索结果反馈给WebPlanner。最后一步，WebPlanner直接给出最终回答，不再生成代码。 3. 分层搜索策略 粗到细的选择策略： WebSearcher首先生成多个相似的查询，以扩大搜索范围，确保覆盖尽可能多的相关信息。 这些查询通过搜索引擎（如Google、Bing、DuckDuckGo）执行，返回包含网页URL、标题和摘要的初步结果。 细化与总结： WebSearcher从初步结果中选择最有价值的网页进行详细阅读。 详细阅读后，WebSearcher将重要信息总结并反馈给WebPlanner。 4. 高效上下文管理 为了确保在复杂的多步骤信息处理过程中，不丢失重要的上下文信息，MindSearch采用了有效的上下文管理策略： 上下文前缀 ：在执行每个WebSearcher时，会将其父节点和根节点的响应作为前缀添加到当前任务中。这保证了每个WebSearcher在处理其子问题时，能够参考之前的相关上下文，避免信息丢失。 集中任务 ：每个WebSearcher只需关注分配给它的子问题，避免了处理其它不相关内容的干扰，从而提高了信息处理的准确性。 任务分配与上下文保持： WebPlanner将大问题分解成多个小任务，分配给不同的WebSearcher。 每个WebSearcher只处理其分配的小任务，避免上下文信息过载。 WebPlanner保持整体上下文，通过图的结构和代码生成来整合各个小任务的结果。 5. 快速信息整合 当所有子问题的回答收集完毕后，WebPlanner将这些信息整合成最终的回答： 节点和边的动态添加 ：在信息整合过程中，WebPlanner根据搜索结果和问题的逻辑关系，动态更新DAG，添加新的节点和边，逐步逼近最终答案。 最终回答生成 ：当所有子问题的答案都已收集并整合完毕后，WebPlanner通过DAG的终节点生成最终的完整回答，并返回给用户。 并行处理： 由于WebSearcher可以并行处理多个子任务，MindSearch能够在短时间内处理大量信息。 整个过程高效且迅速，能够在3分钟内整合超过300个网页的信息，相当于人类专家3小时的工作量。 6.具体工作示例 以下是一个具体的工作示例，展示MindSearch如何处理复杂的用户查询： 用户输入 ：用户提出问题“如何在大城市中有效开展垃圾分类？” WebPlanner分解问题 ： 子问题1：垃圾分类的最佳实践是什么？ 子问题2：大城市垃圾分类面临哪些挑战？ 子问题3：有哪些成功的垃圾分类案例？ WebSearcher执行搜索 ： WebSearcher1执行子问题1的搜索，生成多个查询，调用搜索API，筛选并阅读网页，生成详细的最佳实践回答。 WebSearcher2执行子问题2的搜索，生成多个查询，调用搜索API，筛选并阅读网页，生成大城市垃圾分类挑战的回答。 WebSearcher3执行子问题3的搜索，生成多个查询，调用搜索API，筛选并阅读网页，生成成功案例的回答。 信息整合 ： WebPlanner收集WebSearcher1、2、3的回答，将其整合成一个完整的回答。 更新DAG，添加相关节点和边，最终生成综合的解决方案。 最终输出 ：返回给用户一个详细且全面的回答，包括最佳实践、面临的挑战和成功案例。 通过上述步骤，MindSearch模拟人类的思维过程，高效地完成复杂信息搜寻和整合任务。 MindSearch的性能 MindSearch在多个维度上展示了其优越的性能，特别是在信息搜索和整合任务中的深度、广度和准确性方面。 1. 实验评估 开放集问答（Open-Set QA）： 评估方法： 通过人工挑选的100个实际问题，对MindSearch、Perplexity.ai和ChatGPT-Web进行比较。 评估标准： 人类专家根据以下三个方面对回答进行评分： 深度（Depth）： 回答的详尽程度和对问题的深入探讨。 广度（Breadth）： 回答涉及的范围和不同方面的覆盖情况。 准确性（Factuality）： 回答的准确性和基于事实的程度。 结果分析： MindSearch在深度和广度上显著优于其他工具，提供了更详细和全面的回答。 尽管在准确性方面表现稍逊，但总体表现依然优越。 人类评估者更偏好MindSearch的回答，这表明其在处理复杂信息任务时具有竞争力。 在深度、广度和生成响应的准确性三个方面，对 ChatGPT-Web、Perplexity.ai（Pro）和 MindSearch 的表现进行比较。评估结果基于 100 个由人类专家精心设计的现实问题，并由 5 位专家进行评分*。 * 所有实验均在 2024 年 7 月 7 日之前完成。 2. 闭集问答（Closed-Set QA） 评估任务： 数据集： Bamboogle、Musique和HotpotQA。 模型对比： GPT-4o（闭源模型）和InternLM2.5-7b-chat（开源模型）。 结果分析： GPT-4o： 无搜索引擎（w/o Search Engine）： 基础性能较好，但在复杂任务中表现有限。 ReAct Search： 增加了搜索引擎的辅助，性能有所提升。 MindSearch： 在所有任务中表现最优，显著提升了回答的准确性和全面性。 InternLM2.5-7b-chat： 无搜索引擎（w/o Search Engine）： 基础性能较低。 ReAct Search： 性能有明显提升。 MindSearch： 在所有任务中表现最优，特别是在开源模型中展示了其增强知识和减少幻觉的能力。 3. 快速信息整合 效率： MindSearch能够在3分钟内从超过300个网页中收集和整合信息，这相当于人类专家大约3小时的工作量。 多代理设计和并行处理使得信息整合过程高效快速。 4. 用户偏好 用户反馈： 通过人类评估者的主观评价，MindSearch的回答在深度、广度和整体质量上更受欢迎。 这表明MindSearch不仅在技术上具有优越性能，而且在用户体验上也表现出色。 结论 MindSearch在信息搜索和整合任务中展示了卓越的性能，通过多代理框架和高效的上下文管理，实现了快速、准确和全面的回答。实验评估结果和用户反馈都表明，MindSearch在AI搜索引擎领域具有很强的竞争力。 项目地址： https://mindsearch.netlify.app/ GitHub： https://github.com/InternLM/MindSearch

Menu

分类目录

MindSearch：匹敌Perplexity.ai 模仿人类在网络上寻找和整合信息的AI搜索

Related Posts

Runway 推出视频扩展工具：Expand Video 可以无缝的为视频扩展画面

GetPickle AI是一款革新虚拟会议的AI工具让你的替身帮你开会你去干别的

Comfyui_Object_Migration：一致性换衣模型和工作流实物衣服一键穿上

ElevenLabs 推出构建语言对话AI代理的功能可使用其语音模型接入AI模型

Stripe 推出 Stripe Agent Toolkit：让 AI 代理能自动进行支付帮你购物、订机票等

Mistral AI 发布了全新的 Pixtral Large 开源模型超越 GPT-4o、Gemini-1.5 Pro 和 Claude-3.5 Sonnet

Recommendeds

基于大语言模型的知识库问答系统支持自动爬取在线文档兼容多个大模型

LSLM：一种新的语音模型可以在和边你说话的同时继续倾听你说话实时回复你

Search4All ：开源的 AI 搜索引擎分分钟打造你的Perplexity AI搜索引擎

OpenAI 官方发布： ChatGPT 学生写作指南指导学生如何正确使用GPT

ChatGPT 记忆功能上线能记住你和GPT互动的所有内容

F5-TTS ：支持多语言切换、速度控制、情感表达具有零样本生成能力的TTS系统

Whomane：不到100美金AI Pin替代一个开源的人工智能可穿戴相机设备

GPTEngineer：AI 开发工程师几秒钟内创建一个网站并可一键部署

Project Astra详细介绍：Google的全能AI助手能听、能看并能实时回答任何问题

ToucanTTS：支持语言种类最多的 TTS 模型支持超过7000种语言的语音合成

Welcome Back!

Retrieve your password

Add New Playlist

Are you sure want to unlock this post?

Are you sure want to cancel subscription?

Menu

分类目录

MindSearch：匹敌Perplexity.ai 模仿人类在网络上寻找和整合信息的AI搜索

Support authors and subscribe to content

加入会员

Related Posts

Recommendeds

Welcome Back!

Retrieve your password

Add New Playlist

Are you sure want to unlock this post?

Are you sure want to cancel subscription?