热门

最新

红包

立Flag

投票

同城

我的

发布
weixin_40722550
周竞争
3 年前
trueweixin_40722550

另一个区别是x轴的单位。Transformer的计算时间可能会被诸如dropout和mask之类的因素所主导。使用最优实现可能会大幅提升ViT的性能,而预算保持不变,但我猜我们仍然被这个对数-对数缩放规律所困扰。

CSDN App 扫码分享
分享
评论
8
  • 复制链接
  • 举报
下一条:
这可能看起来与最初的ViT论文中的结果相矛盾,因为它是将ViT与ResNet风格的CNN进行比较,而不是与最先进的CNN架构进行比较。
立即登录