阿里巴巴推出Qwen1.5-32B 模型 兼顾效率和准确性

阿里巴巴推出Qwen1.5-32B 模型 Qwen1.5-32B 是Qwen1.5语言模型系列的最新成员，这个系列致力于在性能、效率和内存占用之间找到理想的平衡。

Qwen1.5-32B在模型架构上除了加入分组查询注意力（GQA）外，与Qwen1.5系列的其他模型几乎没有区别，因此在模型服务中具有更高的推理效率潜力。在与其他大约30B参数或更大模型尺寸的性能比较中，Qwen1.5-32B在多项任务中展现出竞争性能，包括MMLU、GSM8K、HumanEval和BBH。尽管与72B参数模型相比有轻微性能下降，但Qwen1.5-32B在大多数任务中仍然优于其他30B模型，如Llama2-34B和Mixtral-8x7B。