热门

最新

红包

立Flag

投票

同城

发布
weixin_41236660
徐天华
2 年前
trueweixin_41236660

我非常感谢 @郴江郑明兰 的同事们让 Pradeep 和我参与这次前所未有的合作，更加感谢我们的合作伙伴使用 CUTLASS 作为他们构建这一工作的基础。

评论
10
  • 复制链接
  • 举报
下一条：
FlashAttention-3 发布了！在过去的几个月里，我有机会与 @小禧xx、@何小囡、@超威无敌紫貂 和我的 @高工-老罗 合作，从头开始为 H100 实现 FA-2。我们在头部维数为 128 的前向传递中可以达到高达 760 TFLOP/s 的性能！