开源大模型Llama2 70b(700亿)参数推理,至少需要130GB显存,传统数据中心或科研工作站要跑起来需要20万~30万的采购投入和每年上万元的能耗。而Mac Studio ultra m2这套6万整的桌面盒子以接近移动设备的能耗搞定了!
Mac Studio ultra m3今年就要发布,运算性能估计能赶上4090,显存预计能跑1300亿的参数。这就是内存一体架构的降维竞争优势。
这就让本地大模型流行成为可能,这种发展趋势很可能会涉及每个人生活的方方面面,去中心化,一个真正的人工智能协作的时代。