我们在™架构上开源实现的FlashAttention-2,现在在专用FP8精度格式时超过了1 petaflop/s的门槛。我们的博客文章详细介绍了相关技术https://research.colfax-intl.com/adding-fp8-to-flashattention/