热门

最新

红包

立Flag

投票

同城

发布
weixin_30719609
樽盖待揭
2 年前
trueweixin_30719609

博客: https://tridao.me/blog/2024/flash3/

GitHub: https://github.com/Dao-AILab/flash-attention

论文: https://tridao.me/publications/flash3/flash3.pdf

评论
10
  • 复制链接
  • 举报
下一条：
Flash Attention 3 发布了，在长上下文长度下具有更快和更好的效率，H100s 的利用率从 35% 增加到 75%。此外，在 FP8 基准测试中速度提升了 1.5 倍到 2 倍，误差率更低，达到了 2.6 倍！@小禧xx 和团队的出色工作。