「首个全面开源的千亿模型来了！源2.0全家桶击破算力限制」就在昨天，浪潮信息正式发布源2.0，无论是2B、51B，还是102B，统统都开源。这一次，源2.0不仅在数理逻辑、数学计算、代码生成能力上，再次超强进化。而且，还在算法、数据、算力方面，提出了三项创新。开源地址：https://github.com/IEIT-Yuan/Yuan-2.0算法方面，源2.0提出并采用了一种新型的注意力算法结构LFA（局部注意力过滤增强机制，Localized Filtering-based Attention），对于自然语言的关联语义理解更准确。数据方面，源2.0使用中英文书籍、百科、论文等高质量中英文资料，降低了互联网语料内容占比，增加了高质量的专业数据集和逻辑推理数据集。算力方面，源2.0采用了非均匀流水并行和优化器参数并行的分布式训练方法，显著降低了大模型对芯片间P2P带宽的需求。具体详情：https://blog.csdn.net/techforward/article/details/134672240