热门

最新

红包

立Flag

投票

同城

我的

发布
raw_inputhello
早上真好
1 年前
trueraw_inputhello

这段时间玩大模型,120个g的home分区满了,把跑不动的清理了一遍,现在还剩60个g,直接空了一半。

因为我的tesla p4小垃圾只跑得动qwen_1.8b,chatglm的6b模型int4量化之后勉强跑得动,但是tokens生成太慢了没法用。还有一堆其他的大模型都是尝试量化的过程中得到的,但是就10系显卡这个帕斯卡架构,连flash attention都支持不了,跑不了一点

CSDN App 扫码分享
分享
评论
点赞
打赏
  • 复制链接
  • 举报
下一条:
惠普HP Ink Tank Wireless 410 论原装墨盒的优势
立即登录