DeepMind 发布了一项新的研究,声称其新方法可以将 AI 模型的训练速度和能效大幅提升一个数量级,以高达13倍更少的迭代和10倍更少的计算量超越了最新的模型。这个名为 JEST(联合示例选择)的训练方法通过全新方式进行训练,显著不同于传统的 AI 模型训练技术。
JEST 方法首先创建一个较小的 AI 模型,该模型会根据数据质量对来自高质量源的数据进行评分,然后将这些评分与较大、较低质量的数据集进行比较。小型 JEST 模型确定最适合训练的批次,然后用这些批次的数据来训练大型模型。DeepMind 研究人员在论文中指出,这种“引导数据选择过程朝向较小、精心策划的数据集分布的能力”是 JEST 方法成功的关键。研究表明,JEST 方法在减少迭代次数和计算量方面都超越了最先进的模型。
然而,这种系统完全依赖于其训练数据的质量,因为如果没有最高质量的人工策划数据集,这种引导技术将难以实现。因此,JEST 方法对于业余爱好者或非专业 AI 开发者来说更难匹配,因为需要专家级的研究技能来策划初始的高质量训练数据。
JEST 解决了什么问题?