Transformer-Lite：在手机 GPU上高效部署大语言模型

Transformer-Lite是一款专为移动设备设计的推理引擎，由OPPO AI研究中心开发，它旨在将大语言模型有效地运行在手机或平板电脑上。通常，这些模型需要强大的云服务器支持才能运行，但Transformer-Lite通过一系列优化技术，使得这些模型能够直接在用户的设备上高效运行，无需依赖远程服务器。

解决的问题

1. 推理速度慢：在没有Transformer-Lite之前，想要在移动设备上运行大语言模型，面临的最大问题之一就是速度慢，因为这些模型计算需求高，而移动设备的计算资源有限。