OpenAI、斯坦福、微软等多所机构筛选出1565篇论文 发布大模型提示技术报告

来自全球多所大学和科技公司的研究人员们共同完成了一项重要的工作,他们系统地整理了关于生成性人工智能(GenAI)如何通过“提示”技术与用户交互的所有知识。这个项目的名称为:“提示技术报告”(The Prompt Report)。

该项目由马里兰大学、OpenAI、斯坦福大学、微软、范德堡大学、普林斯顿大学、德州州立大学、伊坎医学院等共同完成。

简单来说,这个项目收集并分析了大量关于如何使用提示词更好地与AI系统互动的研究。AI系统需要通过特定的“提示”来完成任务,就像你给一个机器人下达指令一样。

研究团队从各种学术资源中筛选出超过1,500篇相关论文,整理出了不同类型的提示技术,并创建了一个易于理解和使用的目录。

解决了什么问题? 虽然提示技术已经被广泛研究和使用,但在不同的研究和应用中,人们使用的术语和方法并不统一,这让大家很困惑。通过这个项目,研究人员们整理出了一套标准术语和方法,使得不论是开发者还是普通用户,都能更清楚地知道如何给AI下达有效的指令。

要解决了以下几个问题:

  1. 提示技术定义不明确:在生成性人工智能(GenAI)领域,提示技术的术语和定义尚不统一,导致研究和应用中存在混淆和误解。论文通过建立一个结构化的提示技术分类法,明确了不同提示技术的定义和使用场景。
  2. 提示技术分类混乱:现有的提示技术分类不够系统,难以全面了解和应用。论文通过系统性地审查文献,分类并整理了各种提示技术,提供了一个详细的提示技术目录,包括基于文本的、多语言的和多模态的提示技术。
  3. 提示技术应用效果不明确:尽管提示技术被广泛研究和应用,但其实际效果和最佳实践尚不明确。论文通过案例研究展示了不同提示技术的应用效果,提供了实际操作中的经验和结果,帮助开发者和用户更好地理解和使用提示技术。

主要内容:

  1. 文献综述:研究团队系统性地审查了相关文献,采用了PRISMA方法,从三个主要学术数据库(arXiv、Semantic Scholar和ACL)中共处理了4797条记录,最终筛选出1565篇与提示技术相关的论文。
  2. 提示技术分类:论文中详细介绍了58种基于文本的提示技术。此外,还收集并整理了许多多模态(如图像、音频)和多语言的提示技术。
  3. 提示技术的扩展应用:除了基础的提示技术外,论文还审查了如何扩展这些技术来创建更复杂的系统,比如如何评估生成的内容,以及设计出更加安全和可靠的提示。
  4. 案例研究:论文通过两个实际案例研究展示了这些提示技术的应用:
    • 案例研究1:使用MMLU基准测试,测试了六种不同的提示技术,并分析了格式对结果的影响。
    • 案例研究2:在自杀危机综合症(SCS)标签任务中应用提示技术,展示了如何通过提示工程提升任务的准确性。

这篇论文为研究人员和开发者提供了一个全面的提示技术目录和实用指南,帮助他们更好地理解、应用和优化生成性人工智能系统中的提示技术。

以下是详细内容


1. 引言

1.1 什么是提示?

提示是提供给生成式人工智能(GenAI)模型的输入,用于指导其输出。提示可以是文本、图像、声音或其他形式的媒体。通过自然语言进行提示使这些模型容易交互,并在各种使用场景中灵活应用。有效地构建、评估和执行提示对于使用这些模型至关重要。更好的提示在广泛的任务中可以带来更好的结果。

1.2 术语

1.2.1 提示的组成部分

提示通常包含以下几个常见组件:

1.2.2 提示术语

术语在提示文献中迅速发展,存在许多定义不清或冲突的术语。本文提供了一个全面的术语表,覆盖了提示社区中常用的术语,并详细定义了每个术语。主要术语包括:

图1.1展示了提示领域的主要类别及其相互关系,涵盖了基于文本、多语言和多模态的提示技术,以及代理和评估方法。

1.3 提示的简史

提示技术的概念在GPT-3和ChatGPT时代之前就已经存在。GPT-2(Radford et al., 2019a)已经使用了提示,首次在生成式AI中使用提示的概念由Fan等人(2018)提出。然而,提示的概念之前有相关概念,如控制码(Pfaff, 1979;Poplack, 1980;Keskar et al., 2019)和写作提示。

提示工程这一术语最近由Radford等人(2021)和Reynolds与McDonell(2021)提出。然而,各种论文在没有明确提出提示工程这个术语的情况下也进行了提示工程的研究(Wallace et al., 2019;Shin et al., 2020a),包括Schick和Schütze(2020a,b);Gao等人(2021)对非自回归语言模型的研究。

最早的提示研究将提示定义为一种不同于当前使用方式的方式。例如,Brown等人(2020)将“Translate English to French: llama”中的单词“llama”视为提示,而“Translate English to French:”则是“任务描述”。然而,最新的研究(包括本文)将传递给LLM的整个字符串视为提示。

2. A Meta-Analysis of Prompting (提示技术的元分析)

2.1 Systematic Review Process (系统审查过程)

2.1.1 The Pipeline (流程)

为了系统地收集本文的数据集,作者们进行了一个基于PRISMA(Preferred Reporting Items for Systematic Reviews and Meta-Analyses)过程的系统文献综述(Page et al., 2021)。主要数据来源包括arXiv、Semantic Scholar和ACL,使用一组44个与提示和提示工程密切相关的关键词进行检索。以下是数据采集和过滤的步骤:

2.1.2 文本提示技术

2.2 Text-Based Techniques (文本提示技术)

2.2.1 In-Context Learning (ICL)(上下文学习)

Support authors and subscribe to content

This is premium stuff. Subscribe to read the entire article.

加入会员

加入会员查看更多会员内容和教程。
超过1000+的会员内容,每天更新。
退出移动版