DataGemma：利用真实世界数据解决人工智能幻觉

Google最新推出的 DataGemma 模型旨在通过与Google Data Commons（数据共享平台）的连接，一个包含大量真实数据的数据库，解决AI模型的“幻觉”问题，使得模型在生成答案时依赖可信的、真实的统计信息，从而提高准确性。 Data Commons是一个一个庞大的、不断扩展的公共数据平台，里面充满了可靠的公共信息，包含了全球可信组织（如联合国、世卫组织和各国统计局）提供的数据。这个平台汇集了超过2400亿个数据点，涉及健康、经济、人口统计和环境等领域。你可以使用我们的 AI驱动自然语言界面 与之互动。例如，你可以探索 非洲哪些国家的电力接入率提升最快 ，或查询 收入与美国各县糖尿病发病率的关系 ，或其他你感兴趣的主题。 这些数据经过整理，任何人都可以通过简单的语言进行查询，获得可靠的信息。 DataGemma通过提供来自可信数据源的真实统计信息，使大语言模型（LLM）的输出更具准确性。 DataGemma的工作原理 DataGemma模型主要通过两种方法让AI生成的回答更准确：

RIG（检索插入生成） ：在AI回答问题之前，它会先从Data Commons中检索相关的真实数据，然后再生成答案。例如，如果你问“全球可再生能源的使用是否增加？”，DataGemma会从Data Commons中获取相关数据，确保答案基于事实。

RAG（检索增强生成） ：这种方法不仅让AI在回答问题时获取更多背景信息，还能生成更详细的回答。AI会先查找相关的上下文数据，然后再开始回答问题。这进一步减少了AI生成错误信息的可能性。

1. RIG（检索插入生成） RIG方法的核心是 在生成答案之前先检索相关的真实数据 。具体过程如下： 当用户向AI提问时，DataGemma会主动检查问题中是否涉及统计数据或具体的事实信息。 如果问题中包含这些元素，DataGemma会先到Data Commons（Google的可信数据平台）中检索相关的准确数据。 之后，AI在生成回答时会将这些真实数据插入到答案中，确保答案基于可信赖的来源。 示例 ： 当用户问“全球可再生能源的使用是否增加？”时，DataGemma会从Data Commons中找到有关全球可再生能源使用的最新数据，并将其用于生成准确的回答。

[video width="1440" height="810" mp4="https://img.xiaohu.ai/2024/09/DataGemmaAI-LLMs-DataGemma-AI-open-models-connecting-LLMs-to-Googles-Data-Commons.mp4" loop="true" autoplay="true" preload="auto"][/video] 2. RAG（检索增强生成） RAG方法让AI在生成回答之前不仅检索数据，还能获取更多的背景信息和上下文，从而生成更详细、更准确的答案。其工作流程如下：

在用户提问后，DataGemma会先从Data Commons中检索与问题相关的背景数据，帮助AI理解问题的全貌。 通过更长的上下文窗口，AI能够结合这些背景信息生成更加详细和完善的回答，减少错误的可能性。 示例 ： 同样的问题“全球可再生能源的使用是否增加？”通过RAG方法，DataGemma不仅提供数据，还会根据相关背景（如不同国家的能源使用情况）生成一个更全面的回答，并且回答可能包括数据来源的脚注或解释。

[video width="1440" height="810" mp4="https://img.xiaohu.ai/2024/09/DataGemmaAI-LLMs-DataGemma-AI-open-models-connecting-LLMs-to-Googles-Data-Commons-1.mp4" loop="true" autoplay="true" preload="auto"][/video] 3. Data Commons如何支持这两种方法 Data Commons 是DataGemma背后的数据支持平台，包含了全球可信赖的公共数据源，例如联合国、世界卫生组织（WHO）和疾病控制与预防中心（CDC）等。这个数据库涵盖多个领域（如健康、经济、环境等），并通过与DataGemma的结合，让AI能够随时访问这些可信数据，用来生成更可靠的答案。

通过这种方式， DataGemma确保AI生成的答案不再仅仅依赖于训练数据，而是结合了实时、准确的外部数据 ，从而减少了幻觉现象（即模型生成错误答案）的发生。RIG和RAG这两种方法共同作用，帮助AI模型在回答涉及事实和数据的问题时更具准确性和可靠性。

在RIG和RAG方法上的初步研究结果令人振奋。当处理数字事实时，模型的准确性得到了显著提升，这意味着在研究、决策或满足好奇心等多种应用中，用户将会遇到更少的幻觉现象。你可以在我们的 研究论文 中探索这些结果。

RAG 查询和响应的插图。支持的真实统计数据作为来自数据公共的表格引用。*为简洁起见，显示部分响应。

研究人员和开发人员也可以使用这些快速入门笔记本开始使用 DataGemma，适用于 <a href="https://colab.research.google.com/github/datacommonsorg/llm-tools/blob/master/notebooks/datagemma_rig.ipynb" rel="noopener" data-immersive-translate-walked="b7abe625-85d1-4ceb-98cf-a44744639e6b" data-analytics-onclick="{"event":"page interaction","category":"in-article links","action":"link click","label":"https://colab.research.google.com/github/datacommonsorg/llm-tools/blob/master/notebooks/datagemma_rig.ipynb"}">RIG 和 <a href="https://colab.research.google.com/github/datacommonsorg/llm-tools/blob/master/notebooks/datagemma_rag.ipynb" rel="noopener" data-immersive-translate-walked="b7abe625-85d1-4ceb-98cf-a44744639e6b" data-analytics-onclick="{"event":"page interaction","category":"in-article links","action":"link click","label":"https://colab.research.google.com/github/datacommonsorg/llm-tools/blob/master/notebooks/datagemma_rag.ipynb"}">RAG 方法。要了解更多关于数据共享和 Gemma 如何协同工作的内容，请阅读 研究文章 。