阿里巴巴推出Qwen1.5-32B 模型 Qwen1.5-32B 是Qwen1.5语言模型系列的最新成员,这个系列致力于在性能、效率和内存占用之间找到理想的平衡。
Qwen1.5-32B在模型架构上除了加入分组查询注意力(GQA)外,与Qwen1.5系列的其他模型几乎没有区别,因此在模型服务中具有更高的推理效率潜力。在与其他大约30B参数或更大模型尺寸的性能比较中,Qwen1.5-32B在多项任务中展现出竞争性能,包括MMLU、GSM8K、HumanEval和BBH。尽管与72B参数模型相比有轻微性能下降,但Qwen1.5-32B在大多数任务中仍然优于其他30B模型,如Llama2-34B和Mixtral-8x7B。