麻省理工大学开发出一种对大模型校准的方法校准模型输出答案准确性

麻省理工学院和MIT-IBM Watson AI实验室的研究人员开发了一种名为温度计“Thermometer”的新校准方法，旨在防止大语言模型（LLMs）对错误答案过于自信。该方法通过在大语言模型之上构建一个较小的辅助模型来进行校准。 这个方法比传统方法更高效，且保持模型的准确性，使其能够在之前未见过的任务中生成更好的校准响应。 背景 ：LLMs被广泛应用于各种任务，从翻译文章到识别金融欺诈。然而，尽管这些模型具有令人难以置信的能力和多功能性，它们有时会生成不准确的响应。 挑战 ：LLMs不仅会给出错误答案，而且有时会对这些错误答案过于自信，或者对正确答案信心不足。这种情况使得用户难以判断模型的响应是否可靠。 传统校准方法的局限性： 单任务校准 ：传统的机器学习模型通常设计用于执行单一任务，其校准方法也是针对单一任务的。 多任务应用 ：由于LLMs可以应用于各种不同的任务，使用传统方法对其进行单任务校准可能会影响模型在其他任务上的表现。 计算开销 ：校准LLMs通常需要对模型进行多次采样以获取不同的预测，然后聚合这些预测以获得更好的校准置信度。然而，由于LLMs拥有数十亿个参数，这种方法的计算成本非常高。 Thermometer方法： 温度缩放 ：研究人员利用了一种称为温度缩放的经典校准方法来调整模型的置信度，使其与预测准确性一致。在这个上下文中，“温度”是一个用于调整模型置信度的缩放参数。 辅助模型 ：Thermometer通过在LLM之上运行一个辅助模型，自动预测校准所需的温度参数。该辅助模型通过使用一些具有代表性的任务的数据集进行训练，但一旦训练完成，它可以在相似类别的新任务中泛化，无需额外的标记数据。 代表性数据集 ：例如，一个Thermometer模型可以通过多个选择题的数据集（如包含代数问题和医学问题的集）进行训练，然后用于校准回答几何或生物问题的LLM。 工作原理 THERMOMETER通过一个辅助模型来校准LLMs的输出。这个辅助模型学习如何调整LLMs的输出概率，使它们更准确地反映真实情况。这样，当模型说它对某个答案有80%的把握时，这个80%更有可能是准确的。 详细方法 温度缩放 当模型做出预测时，它会给出一个置信度，比如“我90%确定这个答案是正确的”。但是，模型的这个置信度可能并不总是准确的。 温度缩放（Temperature Scaling）引入了一个“温度”参数（比如1.2），这个参数可以调整模型的置信度，使其更接近真实情况。 例如，如果温度是1.2，那么90%的置信度可能会被调整为75%，使其更真实。 学习温度 THERMOMETER的方法是通过训练数据来学习这个“温度”。我们有很多不同任务的数据，通过这些数据，模型可以学习到每个任务需要的温度。 这个过程类似于一个智能温度计，可以根据不同的环境调整温度。 识别网络 识别网络是一个计算“温度”的小工具。它会根据输入数据，给出一个合适的温度值。这就像一个温度计，会根据你所在的地方告诉你当前的温度。 训练过程 我们把不同任务的数据分成两部分，一部分用来训练，另一部分用来验证。 在训练过程中，识别网络会不断调整自己的参数，直到找到最合适的温度。 测试过程 在测试时，我们把新任务的数据输入识别网络，它会告诉我们这个任务的温度。 然后，我们用这个温度来调整LLMs的输出，让它的置信度更准确。 具体步骤 建立识别网络 ：设计一个小工具，输入数据，输出温度值。 训练识别网络 ：用很多任务的数据来训练这个小工具，让它学会给出准确的温度。 校准模型输出 ：在新任务中，用识别网络给出的温度调整模型的输出置信度。 评价校准效果 ：用一些标准方法来评估校准后的效果，确保模型预测的置信度更准确。 THERMOMETER的方法通过这些步骤，让大语言模型的预测置信度更可靠，相当于给模型装上了一个智能温度计。这样，当模型说“我90%确定”时，这个90%就更有可能是真实的90%。 主要优势： 高效性 ：Thermometer方法不需要多次训练运行，只略微降低LLM的速度，并且保持模型预测的准确性。 精确校准 ：在多个任务上的测试结果显示，Thermometer生成了更好的校准不确定性度量，同时计算需求更少。 通用性 ：研究人员发现，如果他们为较小的LLM训练一个Thermometer模型，它可以直接应用于同一家族内较大的LLM进行校准。 信息来源： https://news.mit.edu/2024/thermometer-prevents-ai-model-overconfidence-about-wrong-answers-0731 论文： https://arxiv.org/pdf/2403.08819

Menu

分类目录

麻省理工大学开发出一种对大模型校准的方法校准模型输出答案准确性

Related Posts

Livekit推出一个开源的精准语音轮次检测模型可精准识别用户是否说完话

微软开源了一款金融市场预测工具 MarS 能够实现逼真的市场模拟

MidJourney 推出个性化档案和情绪版新功能记住你的风格喜好

Google视频和图像生成模型更新包括Veo 2、Imagen 3和一个新工具Whisk

Google发布 2024年值得关注的Chrome扩展程序

Xai 发布 Grok-2 模型新版本速度提升3倍多语言指令遵循能力更强

Recommendeds

OpenAI官方提示指南获得更好结果的六种策略

Stickerbaker：一个开源的「贴纸生成器」几秒钟生成一个精美的贴纸

Stability AI 推出一套全面的 API 服务帮你快速创建AI图像工具

儿童图书插图提示示范为儿童创作引人入胜的插图

Meta AI 研究员：网络上的文本基本都是“狗屎” Llama 3 没有使用任何人类书写的答案全是合成数据

Meta AI推出 Meta MovieGen AI 视频生成模型抛弃扩散模型使用Transformer架构

Stable AI 为 Stable Assistant 添加了两个新功能搜索替换图像中的对象生成3分钟音频

Jina AI 推出专门将原始 HTML 转换为干净的 Markdown 的小型语言模型

Meta AI 发布Orion AR眼镜眼镜集成了能够感知周围环境的AI 目标是替代智能手机

Mistral AI 和NVIDIA 发布 Mistral NeMo 12B 参数模型该模型旨在支持企业应用

Welcome Back!

Retrieve your password

Add New Playlist

Are you sure want to unlock this post?

Are you sure want to cancel subscription?

Menu

分类目录

麻省理工大学开发出一种对大模型校准的方法 校准模型输出答案准确性

Support authors and subscribe to content

加入会员

Related Posts

Recommendeds

Welcome Back!

Retrieve your password

Add New Playlist

Are you sure want to unlock this post?

Are you sure want to cancel subscription?

麻省理工大学开发出一种对大模型校准的方法校准模型输出答案准确性