Google DeepMind 发布一套可视化工具 可以让你了解语言模型的内部工作原理

语言模型的内部运作常常对训练它们的研究人员来说也是一个谜。机械可解释性是一个专注于解读这些内部运作的研究领域。该领域的研究人员使用稀疏自编码器作为一种“显微镜”，可以让他们看到语言模型的内部，了解其工作原理。

Google DeepMind发布了Gemma Scope，这是一套开放的工具集，旨在帮助研究人员理解Gemma 2语言模型是如何工作的。