热门

最新

红包

立Flag

投票

同城

发布
weixin_34304538
永生花园艺 互互
1 年前
trueweixin_34304538

制作了一个用于Llama-3 8B的Colab！支持15万亿个token！因此现在@走丢了猫也支持它了！使用免费的T4 GPU。

正在进行基准测试，但速度大约快了2倍，内存使用量比HF+FA2少了80%！支持的上下文长度是HF+FA2的4倍。而且推理速度本身就快了2倍。

https://colab.research.google.com/drive/135ced7oHytdxu3N2DNe1Z0kqjyYIkDXp?usp=sharing

评论
9
  • 复制链接
  • 举报
下一条：
祝贺@不愿真情实感就任微软人工智能首席执行官。他是真正的先驱者，这也进一步证明了英国人才在人工智能领域引领世界。激动人心的时刻即将到来。