热门

最新

红包

立Flag

投票

同城

发布
weixin_40947263
你的時間非常值錢
2 年前
trueweixin_40947263

LoCoCo 提供与现有 LLM 架构的通用兼容性，实现无缝集成。通过注入卷积头，我们将长达 3482 个标记的序列压缩到 128 大小的 KV 缓存中，同时保持了相当的性能——这一切只需 104M 标记的微调！ 🚀

2/3
评论
11
  • 复制链接
  • 举报
下一条：
管理长上下文在内存使用上面临挑战，因为注意力内存使用是平方增长的。但如果我们能够将不断增长的上下文信息压缩到一个固定大小的内存中呢？🤔查看我们的新ICML论文："LoCoCo: Dropping In Convolutions for Long Context Compression"！1/3