Meta 发布开源模型 Llama 3，以及新版本Meta AI 助手

Meta 发布开源模型 Llama 3，包括预训练和指令调优的8B和70B两种参数的模型以及新版本 AI 助手。

正式版 Llama3 预计今年 7 月推出，具有多模态能力。Meta 为 Llama3 植入新的计算机编码功能，输出文本和图像，计划将其应用于雷朋 Meta 智能眼镜。Meta 与谷歌建立合作伙伴关系，在 AI 助手的答复中包括实时搜索结果。

Llama 3 与 Llama 2 相比实现了重大飞跃，并在广泛的行业基准上展示了 SOTA 性能。除了推理、代码生成和指令跟踪等功能得到改进外，这些模型还大大降低了错误拒绝率，提高了对齐度，增加了模型响应的多样性。Meta为此创建了2个2.4万个GPU集群，让Llama3模型在其中的1.6万个GPU上同时训练！

Meta称Llama 3 8B 和 70B 模型只是为 Llama 3正式版所做努力的开始。他们目前正在开发的最大型号为 400B+ 参数，虽然它们仍在积极开发中，但他们对这项工作的发展趋势感到非常兴奋。

Meta Llama 3的详细主要性能特点：

1. 模型规模和类型：

   • 参数规模：Meta Llama 3提供了8B（80亿）和70B（700亿）两种规模的模型。
   • 模型类型：这些模型是预训练和指令调优的生成文本模型，优化用于对话和其他语言处理任务。

2. 模型架构：

   • 自回归语言模型：Llama 3采用自回归方法生成文本，基于优化的变换器（Transformer）架构。
   • Grouped-Query Attention（GQA）：在模型中使用了分组查询注意力机制，提高了在大规模参数下的推理可扩展性。

3. 训练和数据处理：

   • 训练数据量：Llama 3使用超过15万亿的tokens进行预训练，训练集是Llama 2的七倍，包括四倍的代码量。
   • 细粒度调优：模型通过监督式微调（SFT）和结合人类反馈的强化学习（RLHF）进行指令调优，以更好地符合人类对有用性和安全性的偏好。
   • 预训练数据集中有5%的非英文数据集，总共支持的语言高达30种

4. 性能和基准测试：

   • 全面性能提升：Llama 3在多个自动化基准测试中表现出色，包括对话、问答、推理等多种任务。
   • 基准对比：相比于以前的模型（如Llama 2），Llama 3在多项任务中显示出显著的性能提升。

在开发Llama 3的过程中，Meta团队不仅关注了模型在标准基准测试上的表现，还特别优化了模型在现实世界场景中的性能。为此，他们开发了一个新的高质量人类评估集。这个评估集包含1800个提示，涵盖了12个关键用例：提供建议、头脑风暴、分类、封闭式问题回答、编码、创意写作、信息提取、扮演角色/人物、开放式问题回答、推理、改写和总结。为了防止模型在这个评估集上意外过拟合，连Meta自己的模型团队也无权访问这些数据。

下面的图表展示了这些类别和提示在人类评估中的汇总结果，与Claude Sonnet, Mistral Medium和GPT-3.5进行了对比。

基于此评估集的人类注释者偏好排名突出显示了我们的70B指令跟随模型在现实世界场景中相比同规模的竞争模型具有强大的性能。这些结果表明，Llama 3在复杂的语言处理任务中具有优异的表现能力，特别是在高级语言理解和生成应用中，显示出其先进的AI技术水平。

详细介绍：https://ai.meta.com/blog/meta-llama-3/

模型下载：https://llama.meta.com/llama3/

在线体验：meta.ai

Llama-3-70B-Instruct 已经登陆Hugging Chat ，可以在上面直接使用了！

下载：https://t.co/5icSZuMpYy

Meta AI助手

Meta同时还发布了由Meta Llama 3驱动的Meta AI助手，现在可以在Facebook、Instagram、WhatsApp和Messenger上使用。

Meta AI现以英语在美国之外的十多个国家推出，包括澳大利亚、加拿大、加纳、牙买加、马拉维、新西兰、尼日利亚、巴基斯坦、新加坡、南非、乌干达、赞比亚和津巴布韦。用户可以通过Meta AI推荐餐厅、安排周末活动、协助学习等。

Meta AI还整合了搜索功能，可以直接在Facebook、Instagram、WhatsApp和Messenger中访问网络上的实时信息，无需切换应用。例如，在Messenger的群聊中计划滑雪旅行时，可以直接使用Meta AI查找从纽约到科罗拉多的航班并确定最不拥挤的周末。

以下是一些具体的应用场景，展示了如何利用Meta AI来帮助你：

1. 餐厅推荐：

   • 场景：计划与朋友们外出晚餐。
   • Meta AI作用：你可以询问Meta AI推荐哪些餐厅有日落美景并提供素食选项。

2. 周末出游规划：

   • 场景：组织一个周末远足。
   • Meta AI作用：询问Meta AI哪些音乐会将在周六晚上举行，帮助你找到合适的活动。

3. 学习辅助：

   • 场景：为考试做准备。
   • Meta AI作用：如果你需要解释遗传特征是如何工作的，可以向Meta AI寻求帮助。

4. 装修灵感：

   • 场景：搬进你的第一套公寓。
   • Meta AI作用：要求Meta AI“想象”你希望的美学风格，它将生成一些灵感照片，帮助你购买家具。

此外，Meta AI还通过新推出的网站 meta.ai 提供支持，你可以在电脑前进行各种任务时使用Meta AI：

• 数学问题帮助：如果你在数学问题上遇到困难，Meta AI可以提供帮助。
• 专业邮件撰写：需要帮助使工作邮件听起来更专业？Meta AI也能提供支持。
• 对话记录保存：你还可以登录并保存与Meta AI的对话，以便将来参考。
• 创意图片生成：Imagine功能Meta AI引入了Imagine功能，加速图片生成，现在在WhatsApp和Meta AI网页体验中以测试版推出。
  用户输入文本即可实时看到图片生成，并随输入改变而变化。
• 高质量图片和定制化体验生成的图片质量更高，能更好地融入文字。用户还可以要求Meta AI以新的风格迭代图片、制作动画或转换成GIF。此外，Meta AI还在美国通过Ray-Ban Meta智能眼镜提供，并即将在Meta Quest推出。
• Meta AI in Feed您还可以在浏览 Facebook Feed 时访问 Meta AI。看到感兴趣的帖子？您可以在帖子中直接向 Meta AI 询问更多信息。因此，如果您看到一张冰岛北极光的照片，您就可以向 Meta AI 询问一年中什么时候最适合观赏极光。

详细介绍：https://about.fb.com/news/2024/04/meta-ai-assistant-built-with-llama-3/