热门

最新

红包

立Flag

投票

同城

发布
weixin_36849685
艺术研狗
2 年前
trueweixin_36849685

与META和Google Research共同举办，我们将在CVPR推出：(1) 高效深度学习计算机视觉研讨会和(2) 基于全栈GPU加速的深度学习教程。期待明天，2024年6月18日与你见面！
评论
10
  • 复制链接
  • 举报
下一条：
【Apple发布了IPhone LLM的详细信息 (https://machinelearning.apple.com/research/introducing-apple-foundation-models)：3⃣ 3B模型参数🗜️分组查询注意力 (https://arxiv.org/pdf/2305.13245) 将KV缓存成本减少8倍至32倍📓49K词汇量🟰共享语言模型头和嵌入矩阵。节省约200M参数。🔢低比特量化、激活量化和嵌入量化🚄首次令牌延迟为每个提示令牌0.6毫秒，生成速度为30tps👨‍🔧个性化使用LoRA在所有层上 (qkv，投影，MLP)。DoRA (https://research.nvidia.com/publication/2024-07_dora-weight-decomposed-low-rank-adaptation) 表现会更好！🌐使用内部数据和公共训练数据】