热门

最新

红包

立Flag

投票

同城

我的

发布
u011457868
守护石AI
1 年前
trueu011457868

开源大模型Llama2 70b(700亿)参数推理,至少需要130GB显存,传统数据中心或科研工作站要跑起来需要20万~30万的采购投入和每年上万元的能耗。而Mac Studio ultra m2这套6万整的桌面盒子以接近移动设备的能耗搞定了!

Mac Studio ultra m3今年就要发布,运算性能估计能赶上4090,显存预计能跑1300亿的参数。这就是内存一体架构的降维竞争优势。

这就让本地大模型流行成为可能,这种发展趋势很可能会涉及每个人生活的方方面面,去中心化,一个真正的人工智能协作的时代。

码友杂谈区
CSDN App 扫码分享
分享
评论
点赞
打赏
  • 复制链接
  • 举报
下一条:
"油画”
立即登录