热门

最新

红包

立Flag

投票

同城

发布
weixin_41975548
umiyuki_ai
2 年前
trueweixin_41975548

Transformer的缩放法则不是线性的，而是幂律的，所以即使将训练的计算量增加10倍，损失也只会减少12%（性能不会提升10倍），因此，无论投入多少资金，性能都很难大幅提升，普遍都会变得越来越困难。到某个点就会达到“再怎么投入资金也完全没意义”的阶段。或者说已经达到了这个阶段，因此才会考虑改变架构，也许这就是为什么开始尝试使用MoE（Mixture of Experts）的原因吧。
https://www.youtube.com/watch?v=n1QYofU3_hY

评论
177
  • 复制链接
  • 举报
下一条：
OpenAI推出了VoiceEngine！但是细看，并没有真的推出。它几乎是非公开的，仅向极少数合作伙伴公司提供。看来，将来也不会对普通大众提供。原来OpenAI的“开放”并不是指开源，而是指任何人都可以广泛获得AI的好处，但现在连这样的含义都没有了，变得完全封闭。话虽如此，如果这种东西公开了，很显然会被大量滥用，比如冒充他人等，造成严重问题，这一点事先是明白的。→RT