热门

最新

红包

立Flag

投票

同城

发布
weixin_41975548
umiyuki_ai
2 年前
trueweixin_41975548

没想到K80帮派超越了P40帮派登场。1万日元就能买到K80并获得24GB的VRAM，哈哈哈。不过，运行70B模型时，即使VRAM全部装载，也只能达到2tps的速度，与CPU差不多（大概是CPU的2到3倍速度吧）。想要用低成本构建运行70B本地LLM的环境：https://qiita.com/Kozo_Mizutani/items/e6bb3a182ec5ba7d6ad7

评论
10
  • 复制链接
  • 举报
下一条：
真的是这样，一年前刚好是Llama2发布的时候，当时我以为开放的LLM永远也追不上GPT-4。没想到一年内就追上了。另外，Claude的进步也非常惊人。→RT