另一个区别是x轴的单位。Transformer的计算时间可能会被诸如dropout和mask之类的因素所主导。使用最优实现可能会大幅提升ViT的性能,而预算保持不变,但我猜我们仍然被这个对数-对数缩放规律所困扰。