热门

最新

红包

立Flag

投票

同城

发布
weixin_40947263
你的時間非常值錢
2 年前
trueweixin_40947263

在固定512大小的KV缓存下，LoCoCo还将预训练LLMs的上下文长度扩展到32K 🌟，实现了与对整个序列进行微调相似的性能。

Arxiv: https://arxiv.org/pdf/2406.05317

3/3

评论
12
  • 复制链接
  • 举报
下一条：
LoCoCo 提供与现有 LLM 架构的通用兼容性，实现无缝集成。通过注入卷积头，我们将长达 3482 个标记的序列压缩到 128 大小的 KV 缓存中，同时保持了相当的性能——这一切只需 104M 标记的微调！ 🚀2/3