Hugging Face发布了一个完全开源的端侧模型SmolLM 可在手机上运行

SmolLM 是由 Hugging Face 推出的一个小型语言模型系列，具有 135M、360M 和 1.7B 参数的模型。 SmolLM 能够在本地设备（如智能手机和笔记本电脑）上高效运行。超越 MobileLLM、Phi1.5 和 Qwen2 小型模型。 135M 参数模型 ：适用于内存受限的设备，如智能手机和小型嵌入式系统。 360M 参数模型 ：适用于中等内存设备，如高端智能手机和普通笔记本电脑。 1.7B 参数模型 ：适用于高内存设备，如服务器和高性能计算机。 目前已有的微软Phi系列、阿里巴巴的Qwen2（小于2B参数）和Meta的MobileLLM展示了小型模型在设计和训练得当时可以取得令人印象深刻的结果。然而，这些模型的数据策划和训练的具体细节大多未公开。 SmolLM公开了其数据策划和训练的详细信息，为研究人员和开发者提供了更多的透明度和可操作性。 模型架构和训练 模型架构 SmolLM 模型系列包括 135M、360M 和 1.7B 参数的模型，每个模型的架构设计均有所不同，但均采用了先进的技术和优化策略： 135M 和 360M 模型 ： 设计 ：类似于 MobileLLM，采用分组查询注意力（Grouped-Query Attention, GQA）机制。 优先深度 ：这些模型优先增加深度而非宽度，从而提升模型性能。 嵌入共享 ：使用嵌入共享（Embedding tying）技术。 上下文长度 ：2048 个 token 的上下文长度，可通过长上下文微调进一步扩展。 1.7B 模型 ： 设计 ：采用更传统的架构设计，注重模型的全面性能。 上下文长度 ：同样为 2048 个 token，并支持长上下文微调。 所有模型均使用在 SmolLM-Corpus 上训练的词汇表，词汇表大小为 49152。 优质训练数据集 SmolLM-Corpus ：包含高质量的训练数据集，包括 Cosmopedia v2、Python-Edu 和 FineWeb-Edu，覆盖了多种主题和应用场景。 Cosmopedia v2 ：合成教科书和故事，涵盖 34,000 个主题。 Python-Edu ：从 The Stack 提取的教育 Python 示例，优化了代码生成性能。 FineWeb-Edu ：从 FineWeb 数据集中筛选出的教育网页样本，提升了常识和世界知识能力。 1、Cosmopedia v2 数据来源 ：Cosmopedia v2 是一个增强版的数据集，包括由 Mixtral-8x7B-Instruct-v0.1 生成的3000多万本合成教科书、博客文章和故事。 数据生成策略 ： 使用强大的模型（如 llama3-70B-Instruct 和 Qwen1.5-72B-Chat）生成数据，以增加数据多样性。 通过优化提示（prompts）策略生成高质量的内容。具体方法包括： 使用预定义的34,000个主题列表（基于 BISAC 图书分类标准）进行数据生成。 从 FineWeb 样本中提取主题和相应的网页样本，增强数据集的多样性和覆盖范围。 数据组成 ： Cosmopedia v2 包含 28B 个令牌的合成教科书和故事。 数据集分布在34,000个不同主题上，确保内容的广泛性和深度。 2、FineWeb-Edu 数据来源 ：FineWeb-Edu 是从 FineWeb 数据集中过滤得到的，包含了1.3T令牌的教育网页数据。 数据处理 ： 使用 Llama3-70B-Instruct 生成的注释来训练教育质量分类器，过滤和保留最具教育性的网页内容。 FineWeb-Edu 数据集经过了去重处理，最终保留了 220B 令牌的数据。 数据集优势 ： FineWeb-Edu 在流行的基准测试中表现优异，展示了基于合成数据训练的分类器的强大性能。 3、 Stack-Edu-Python 数据来源 ：从 The Stack 数据集中提取的 500,000 个 Python 样本。 数据处理 ： 使用 Llama3 对这些样本进行注释和分类，仅保留评分为 4 及以上的样本，共 4B 令牌。 数据集优势 ： 经过严格筛选和分类的 Python 样本，显著提高了模型在编码任务上的性能。 训练细节 模型规模 SmolLM提供了三种规模的模型：135M、360M和1.7B参数。 135M和360M模型分别在600B令牌的数据上训练，1.7B模型在1T令牌的数据上训练。 超参数选择 使用梯形学习率调度器（trapezoidal learning rate scheduler），冷却阶段占总训练时间的20%。 135M和360M参数模型采用了类似于MobileLLM的架构设计，优先考虑深度而非宽度，并引入了Grouped-Query Attention（GQA）。 1.7B参数模型采用更传统的架构设计，所有模型都使用嵌入绑定和2048个令牌的上下文长度。 性能评估 SmolLM 模型在多种基准测试中表现出色，具体性能评估结果如下： 常识推理与世界知识基准测试 SmolLM-135M ： 超越了当前最佳的少于 200M 参数的模型 MobileLM-125M，尽管训练数据量仅为 MobileLM 的 600B tokens，而 MobileLM 训练了 1T tokens。 SmolLM-360M ： 超越了所有少于 500M 参数的模型，包括 MobileLM-350M 和 Qwen2-500M，尽管训练数据量仅为 600B tokens。 SmolLM-1.7B ： 超越了所有少于 2B 参数的模型，包括 Microsoft 的 Phi1.5、MobileLM-1.5B 和 Qwen2-1.5B。 代码生成性能（Python 编程测试） SmolLM-1.7B ：在 Python 编程测试（pass@1）中取得了 24 分，表现优异。尽管 Qwen2-1.5B 报告了更高的得分，但 SmolLM-1.7B 仍然展示了其在代码生成任务中的强大能力。 指令微调性能 通过在公开的指令数据集上进行微调，SmolLM 模型在 IFEval 基准测试中表现良好，展示了在实际应用中的高效性。 评估总结 SmolLM-135M ： 在少于 200M 参数的模型中表现最佳。 SmolLM-360M ： 在少于 500M 参数的模型中表现最佳。 SmolLM-1.7B ： 在少于 2B 参数的模型中表现最佳，特别是在代码生成任务中表现出色。 内存占用 SmolLM 模型设计为小型，可以在多种硬件配置上运行，适用于从智能手机到笔记本电脑等设备。具体内存占用如下： SmolLM-135M ：适用于内存较小的设备。 SmolLM-360M ：适用于中等内存的设备。 SmolLM-1.7B ：适用于高内存的设备。 官方介绍： https://huggingface.co/blog/smollm SmolLM 模型集合 SmolLM-Corpus 数据集 WebGPU 演示

Menu

分类目录

Hugging Face发布了一个完全开源的端侧模型SmolLM 可在手机上运行

Related Posts

GetPickle AI是一款革新虚拟会议的AI工具让你的替身帮你开会你去干别的

Comfyui_Object_Migration：一致性换衣模型和工作流实物衣服一键穿上

ElevenLabs 推出构建语言对话AI代理的功能可使用其语音模型接入AI模型

Stripe 推出 Stripe Agent Toolkit：让 AI 代理能自动进行支付帮你购物、订机票等

Mistral AI 发布了全新的 Pixtral Large 开源模型超越 GPT-4o、Gemini-1.5 Pro 和 Claude-3.5 Sonnet

Perplexity 推出全新 AI 驱动购物助手：Shop Like a Pro 支持搜索结果一键下单

Recommendeds

Perplexity发布 Pro Search 高级搜索功能支持多步推理、先进的数学和编程能力

OpenAI 推出 SearchGPT 将 AI 与实时网络信息结合提供生成式UI结果

使用 PoSE 将 Llama 8B模型的上下文长度从8k扩展到64k

Jina-ai/Reader：将任何网页URL转换为大语言模型友好的输入格式

教程：借助伪代码让 ChatGPT 一次生成一套绘本图像

FLUX 1.1 Pro Ultra 发布支持高达 4 兆像素的分辨率每张图片仅需约 10 秒

DuckDuckGo 推出私密 AI聊天机器人承诺不会使用你的数据训练模型

MovieLLM: 用AI合成电影数据用来训练AI对长视频理解

OpenAI 宣布推出Whisper large-v3-turbo 语音转录模型速度提高了8倍

Video-MME: 首个多模态大模型视频分析综合评估基准

Welcome Back!

Retrieve your password

Add New Playlist

Are you sure want to unlock this post?

Are you sure want to cancel subscription?

Menu

分类目录

Hugging Face发布了一个完全开源的端侧模型SmolLM 可在手机上运行

Support authors and subscribe to content

加入会员

Related Posts

Recommendeds

Welcome Back!

Retrieve your password

Add New Playlist

Are you sure want to unlock this post?

Are you sure want to cancel subscription?