FlashAttention-3 发布了!在过去的几个月里,我有机会与 @小禧xx、@何小囡、@超威无敌紫貂 和我的 @高工-老罗 合作,从头开始为 H100 实现 FA-2。我们在头部维数为 128 的前向传递中可以达到高达 760 TFLOP/s 的性能!