大家好，我很兴奋地介绍一个新的性能指标：最大可实现矩阵乘法浮点运算次数（Maximum Achievable Matmul FLOPS，MAMF）：

https://github.com/stas00/ml-engineering/tree/master/compute/accelerator

请阅读上述网址中的备注以了解具体内容，我已经包含了第一次的测量结果（快照）。随着我获得更多加速器的访问权限或者有人提供数据，我会不断更新表格。

这是执行搜索的脚本
https://github.com/stas00/ml-engineering/tree/master/compute/accelerator/benchmarks

这个脚本已经开发了很长时间，涉及许多贡献者：

- 该脚本源于 https://github.com/EleutherAI/cookbook/tree/main/benchmarks/sizing
- Imtiaz Sajwani 帮助进行 HPU 移植
- @自认一个好人 超优化了他的 @未知选手 AMD 300X，贡献了一个惊人的 750+ TFLOPS 分数（今年三月我在 MI300X 上只获得了 450）
- Alex Rogozhnikov 和 Jack Dent 帮助完成了 A100 的评分
- @释小龙Ashton 在 pytorch slack 中与我讨论这个主题时提供了很多帮助

接下来我需要找到 H200、GH200、Gaudi2 或其他我还没有的高端加速器的访问权限，或者更好的是，有人能运行这个脚本。

感谢您的阅读，希望我的工作能让您的工作更高效、更有依据。