麻省理工大学开发出一种对大模型校准的方法校准模型输出答案准确性

麻省理工学院和MIT-IBM Watson AI实验室的研究人员开发了一种名为温度计“Thermometer”的新校准方法，旨在防止大语言模型（LLMs）对错误答案过于自信。该方法通过在大语言模型之上构建一个较小的辅助模型来进行校准。 这个方法比传统方法更高效，且保持模型的准确性，使其能够在之前未见过的任务中生成更好的校准响应。 背景 ：LLMs被广泛应用于各种任务，从翻译文章到识别金融欺诈。然而，尽管这些模型具有令人难以置信的能力和多功能性，它们有时会生成不准确的响应。 挑战 ：LLMs不仅会给出错误答案，而且有时会对这些错误答案过于自信，或者对正确答案信心不足。这种情况使得用户难以判断模型的响应是否可靠。 传统校准方法的局限性： 单任务校准 ：传统的机器学习模型通常设计用于执行单一任务，其校准方法也是针对单一任务的。 多任务应用 ：由于LLMs可以应用于各种不同的任务，使用传统方法对其进行单任务校准可能会影响模型在其他任务上的表现。 计算开销 ：校准LLMs通常需要对模型进行多次采样以获取不同的预测，然后聚合这些预测以获得更好的校准置信度。然而，由于LLMs拥有数十亿个参数，这种方法的计算成本非常高。 Thermometer方法： 温度缩放 ：研究人员利用了一种称为温度缩放的经典校准方法来调整模型的置信度，使其与预测准确性一致。在这个上下文中，“温度”是一个用于调整模型置信度的缩放参数。 辅助模型 ：Thermometer通过在LLM之上运行一个辅助模型，自动预测校准所需的温度参数。该辅助模型通过使用一些具有代表性的任务的数据集进行训练，但一旦训练完成，它可以在相似类别的新任务中泛化，无需额外的标记数据。 代表性数据集 ：例如，一个Thermometer模型可以通过多个选择题的数据集（如包含代数问题和医学问题的集）进行训练，然后用于校准回答几何或生物问题的LLM。 工作原理 THERMOMETER通过一个辅助模型来校准LLMs的输出。这个辅助模型学习如何调整LLMs的输出概率，使它们更准确地反映真实情况。这样，当模型说它对某个答案有80%的把握时，这个80%更有可能是准确的。 详细方法 温度缩放 当模型做出预测时，它会给出一个置信度，比如“我90%确定这个答案是正确的”。但是，模型的这个置信度可能并不总是准确的。 温度缩放（Temperature Scaling）引入了一个“温度”参数（比如1.2），这个参数可以调整模型的置信度，使其更接近真实情况。 例如，如果温度是1.2，那么90%的置信度可能会被调整为75%，使其更真实。 学习温度 THERMOMETER的方法是通过训练数据来学习这个“温度”。我们有很多不同任务的数据，通过这些数据，模型可以学习到每个任务需要的温度。 这个过程类似于一个智能温度计，可以根据不同的环境调整温度。 识别网络 识别网络是一个计算“温度”的小工具。它会根据输入数据，给出一个合适的温度值。这就像一个温度计，会根据你所在的地方告诉你当前的温度。 训练过程 我们把不同任务的数据分成两部分，一部分用来训练，另一部分用来验证。 在训练过程中，识别网络会不断调整自己的参数，直到找到最合适的温度。 测试过程 在测试时，我们把新任务的数据输入识别网络，它会告诉我们这个任务的温度。 然后，我们用这个温度来调整LLMs的输出，让它的置信度更准确。 具体步骤 建立识别网络 ：设计一个小工具，输入数据，输出温度值。 训练识别网络 ：用很多任务的数据来训练这个小工具，让它学会给出准确的温度。 校准模型输出 ：在新任务中，用识别网络给出的温度调整模型的输出置信度。 评价校准效果 ：用一些标准方法来评估校准后的效果，确保模型预测的置信度更准确。 THERMOMETER的方法通过这些步骤，让大语言模型的预测置信度更可靠，相当于给模型装上了一个智能温度计。这样，当模型说“我90%确定”时，这个90%就更有可能是真实的90%。 主要优势： 高效性 ：Thermometer方法不需要多次训练运行，只略微降低LLM的速度，并且保持模型预测的准确性。 精确校准 ：在多个任务上的测试结果显示，Thermometer生成了更好的校准不确定性度量，同时计算需求更少。 通用性 ：研究人员发现，如果他们为较小的LLM训练一个Thermometer模型，它可以直接应用于同一家族内较大的LLM进行校准。 信息来源： https://news.mit.edu/2024/thermometer-prevents-ai-model-overconfidence-about-wrong-answers-0731 论文： https://arxiv.org/pdf/2403.08819

Menu

分类目录

麻省理工大学开发出一种对大模型校准的方法校准模型输出答案准确性

Related Posts

Comfyui_Object_Migration：一致性换衣模型和工作流实物衣服一键穿上

ElevenLabs 推出构建语言对话AI代理的功能可使用其语音模型接入AI模型

Stripe 推出 Stripe Agent Toolkit：让 AI 代理能自动进行支付帮你购物、订机票等

Mistral AI 发布了全新的 Pixtral Large 开源模型超越 GPT-4o、Gemini-1.5 Pro 和 Claude-3.5 Sonnet

Perplexity 推出全新 AI 驱动购物助手：Shop Like a Pro 支持搜索结果一键下单

Mistral AI推出了更新版的Le Chat 支持在聊天中进行搜索、上传 PDF、编程、图像生成等

Recommendeds

李飞飞的空间智能公司World Labs正式成立获得 2.3 亿美元融资估值10亿美金

Napkin AI ：一键将任意文本转换成信息图、流程图、图表等视觉内容

Prompt 学习地图 21 | 认知误区 – 许愿式提示词

Figure 机器人接入ChatGPT后获得自我推理等惊人能力

Stickerbaker：一个开源的「贴纸生成器」几秒钟生成一个精美的贴纸

F5-TTS ：支持多语言切换、速度控制、情感表达具有零样本生成能力的TTS系统

Stability AI 推出Stable Assistant 聊天机器人能聊天能生图能出视频

阿里云发布其第一个MoE模型：Qwen1.5-MoE-A2.7B 匹敌7B性能

Canva推出了一系列新功能和工具 16 项重要更新介绍

MobiLlama：一个0.5B大小能在手机上运行的小型语言模型

Welcome Back!

Retrieve your password

Add New Playlist

Are you sure want to unlock this post?

Are you sure want to cancel subscription?

Menu

分类目录

麻省理工大学开发出一种对大模型校准的方法 校准模型输出答案准确性

Support authors and subscribe to content

加入会员

Related Posts

Recommendeds

Welcome Back!

Retrieve your password

Add New Playlist

Are you sure want to unlock this post?

Are you sure want to cancel subscription?

麻省理工大学开发出一种对大模型校准的方法校准模型输出答案准确性