Sailor：是一套为东南亚国家量身定制的语言模型

主要功能特点

1. 多语言支持：专注于东南亚语言，包括印尼语、泰语、越南语、马来语和老挝语，以及英语和中文，覆盖SEA地区的多样化语言环境。
2. 不同模型大小：提供从0.5B到7B不同大小的模型版本，以满足从轻量级到高性能的不同计算和应用需求。
3. 高性能：在SEA语言的问答、常识推理、阅读理解等任务上表现出色，通过基准测试展示了其在多种任务上的强大性能。
4. 开放使用：模型对研究和商业用途开放，无限制使用，但需遵守Qwen 1.5许可证。

训练方法

1. 持续预训练：Sailor模型基于Qwen 1.5模型进一步进行了持续预训练，涵盖了200亿到400亿个标记，包括印尼语、泰语、越南语、马来语、老挝语、英语和中文七种语言，以适应东南亚多样化的语言环境。
2. 数据策划和清理：训练语料库大量利用了公开可用的语料库，如SlimPajama、SkyPile、CC100和MADLAD-400。通过积极的数据去重和仔细的数据清理，确保了高质量的数据集。
3. 系统实验确定权重：通过系统实验来确定不同语言的权重，确保了模型在各个语言上都能获得良好的训练效果，同时保持对英语和中文的高水平支持。

性能基准测试结果

Sailor模型在多个高质量基准测试上进行了评估，包括问答、常识推理、阅读理解和考试等不同任务，展现了其在SEA语言上的强大性能。