热门
最新
红包
立Flag
投票
同城
我的
发布
Google 新的 AI 训练技术
使得模型训练速度快了13倍,效率提高了 10倍
DeepMind 发布了一项新的研究,声称其新方法可以将 AI 模型的训练速度和能效大幅提升一个数量级,以高达13倍更少的迭代和10倍更少的计算量超越了最新的模型。
这个名为 JEST(联合示例选择)的训练方法通过全新方式进行训练,显著不同于传统的 AI 模型训练技术。
JEST 方法首先创建一个较小的 AI 模型,该模型会根据数据质量对来自高质量源的数据进行评分,然后将这些评分与较大、较低质量的数据集进行比较。
小型 JEST 模型确定最适合训练的批次,然后用这些批次的数据来训练大型模型。
这就像我们要准备一个大型考试。我们的复习资料非常多,有好有坏。
我们先用一个小测试(小模型评分)来筛选出最有用的复习资料(数据)。然后,我们挑选出最有用的一部分(子批次)进行重点复习。在复习过程中,我们同时使用详细的笔记(高分辨率训练)和简要的提纲(低分辨率训练)来提高效率。
这样,我们不仅能更快更好地掌握知识,还能节省时间和精力。JEST 就是通过这种方法来优化 AI 模型的训练过程。
研究表明,JEST 方法在减少迭代次数和计算量方面都超越了最先进的模型。
论文:https://arxiv.org/pdf/2406.17711
AI资讯
CSDN App 扫码分享
评论
点赞
打赏
- 复制链接
- 举报