热门

最新

红包

立Flag

投票

同城

发布
weixin_40912980
exploit-cat
2 年前
trueweixin_40912980

Salesforce AI 推出 "ThinK"：一种利用 KV 缓存通道维度冗余的新 AI 方法

来自 Salesforce AI 研究团队和香港中文大学的研究人员提出了 ThinK，这是一种独特的 KV 缓存剪枝方法，将任务作为优化问题来处理，以最小化剪枝带来的注意力权重损失。它引入了一种依赖查询的标准来评估通道的重要性，并贪婪地选择关键通道。该方法基于从 LLaMA3-8B 模型可视化中获得的关键观察：键缓存通道显示出不同程度的重要性，而值缓存则缺乏明显的模式。注意力矩阵的奇异值分解表明，少数奇异值携带高能量，表明注意力机制具有低秩性质。这些见解表明，键缓存可以有效地使用低维向量进行近似。ThinK 利用这些发现开发了一个高效的剪枝策略，针对键缓存的通道维度，可能在减少内存消耗的同时保持模型性能。

阅读我们的完整解读：https://www.marktechpost.com/2024/08/01/salesforce-ai-introduces-think-a-new-ai-method-that-exploits-substantial-redundancy-across-the-channel-dimension-of-the-kv-cache/

论文：https://arxiv.org/abs/2407.21018

@Cynthia Ke

评论
9
  • 复制链接
  • 举报
下一条：