Transformer-Lite：在手机 GPU上高效部署大语言模型

Transformer-Lite是一款专为移动设备设计的推理引擎，由OPPO AI研究中心开发，它旨在将大语言模型有效地运行在手机或平板电脑上。通常，这些模型需要强大的云服务器支持才能运行，但Transformer-Lite通过一系列优化技术，使得这些模型能够直接在用户的设备上高效运行，无需依赖远程服务器。

解决的问题 推理速度慢 ：在没有Transformer-Lite之前，想要在移动设备上运行大语言模型，面临的最大问题之一就是速度慢，因为这些模型计算需求高，而移动设备的计算资源有限。

用户体验差 ：推理速度慢导致的延迟影响了用户体验，用户可能需要等待较长时间才能获取到模型的输出结果。

内存和存储限制 ：移动设备相比云服务器拥有更低的内存和存储容量，直接运行大型模型会占用大量资源，影响设备其他应用的正常使用。

它通过集成四种优化技术，提高了LLM在移动设备上的推理速度和用户体验。

主要功能 支持动态形状模型推理 ：通过基于符号表达式的方法，Transformer-Lite支持动态形状的模型推理，使其能够灵活处理不同长度输入的需求，增强了模型的适应性和效率。也就是支持根据输入数据的实际大小动态调整模型结构，优化资源使用效率。

运算符优化和执行优先级设置 ：该引擎对模型运算符进行优化并设置执行优先级，以提高推理速度并减少手机卡顿，优化了用户体验。

FP4量化方法(M0E4) ：Transformer-Lite采用FP4量化方法减少反量化的性能开销，使矩阵乘法更加高效，同时保持模型精度。

KV缓存复制优化 ：通过基于子张量的技术优化KV缓存复制过程，减少了内存使用和提升了推理速度，避免了在连续推理过程中的不必要的内存操作。

兼容性和便捷性 ：Transformer-Lite设计为兼容高通和MTK处理器，支持直接使用从训练框架（如PyTorch）导出的ONNX模型，简化了LLM的部署过程，使得在移动设备上部署大型模型变得更加方便。

性能提升 ：通过以上优化技术，Transformer-Lite在预填充速度和解码速度方面显著优于现有的CPU和GPU推理解决方案，实现了高效的LLM部署，为用户提供了更流畅的体验。

易于部署 ：允许开发者轻松将从训练框架（例如PyTorch）导出的ONNX模型部署到移动设备上。

评估结果 Transformer-Lite在不同的移动设备和大型语言模型上进行了性能评估。评估结果显示：

兼容性 ：评估了多个不同架构和参数大小的LLM，从2B到14B参数的模型都在Transformer-Lite上进行了测试，展示了其广泛的兼容性和灵活性。能够支持市场上主流的移动处理器，包括高通和MTK。

性能评估 ：为了全面评估Transformer-Lite的性能，使用了不同架构和参数大小（从2B到14B）的大型语言模型进行测试。

具体成果 ：

对于6B参数的ChatGLM2模型，Transformer-Lite达到了每秒121个token的预填充速度和每秒14个token的解码速度。 对于更小的2B参数的Gemma模型，达到了每秒330个token的预填充速度和每秒30个token的解码速度。 性能对比 ：

与基于CPU的FastLLM和基于GPU的MLC-LLM相比，Transformer-Lite实现了显著的速度提升。在预填充速度和解码速度上，Transformer-Lite的性能超过了现有解决方案10倍以上的速度提升，和2到3倍的解码速度提升。 实际应用场景 ：测试覆盖了多种应用场景，如对话和文本总结，证明了Transformer-Lite适用于多种实际使用场景，能够满足不同应用的性能需求。 论文： https://arxiv.org/abs/2403.20041