热门

最新

红包

立Flag

投票

同城

发布
weixin_36190910
我爱学习2018
2 年前
trueweixin_36190910

运行 Cog-5B 需要超过 30 GB 的内存，但由于量化技术，我们可以将其降低到 8-12 GB。此外，使用 `torch.compile` 提高超高速性能！🚀

1) 内存高效: https://tinyurl.com/mu85yhk7
2) torchao 基准测试: https://tinyurl.com/2faxvckf
3) quanto 基准测试: https://tinyurl.com/mv2n5kxr

评论
8
  • 复制链接
  • 举报
下一条：
通俗科普书，对已经了解该领域的人来说不会提供任何新内容。但这可能是迄今为止最好的通俗科普人工智能书籍。涵盖了风险和创新的所有重点，有一些关于提示的巧妙建议，以及关于人工智能对生产力影响的研究的精彩总结。