热门
最新
红包
立Flag
投票
同城
我的
发布
「首个全面开源的千亿模型来了！源2.0全家桶击破算力限制」
就在昨天，浪潮信息正式发布源2.0，无论是2B、51B，还是102B，统统都开源。
这一次，源2.0不仅在数理逻辑、数学计算、代码生成能力上，再次超强进化。
而且，还在算法、数据、算力方面，提出了三项创新。
开源地址：https://github.com/IEIT-Yuan/Yuan-2.0
算法方面，源2.0提出并采用了一种新型的注意力算法结构LFA（局部注意力过滤增强机制，Localized Filtering-based Attention），对于自然语言的关联语义理解更准确。
数据方面，源2.0使用中英文书籍、百科、论文等高质量中英文资料，降低了互联网语料内容占比，增加了高质量的专业数据集和逻辑推理数据集。
算力方面，源2.0采用了非均匀流水并行和优化器参数并行的分布式训练方法，显著降低了大模型对芯片间P2P带宽的需求。
具体详情：https://blog.csdn.net/techforward/article/details/134672240
AI资讯
CSDN App 扫码分享
评论
点赞
打赏
- 复制链接
- 举报
下一条：
「Hugging Face CEO预测：2024年AI行业六大巨变！」2024年，AI行业将会进化成什么样？OpenAI主席Greg Brockman曾经在去年最后一天预测：2023年会让2022年看起来像AI发展还没有苏醒一样。果然，2023年，AI行业迎来了全面的爆发。而昨天，全世界最大的AI开源社区Hugging Face CEO Clement Delangue对2024年行业的发展做了6条具体的预测：1.某个当红的AI公司会倒闭，或者以极低的价格被收购。2.开源LLM能够达到最好的闭源LLM的能力水平。3.AI在视频，生物，化学，时间序列等领域将带来巨大突破。4.大众将更进一步关心AI在经济上和环境上的成本。5.某一个大众媒体将会充斥着AI生成的内容。6.1000万Hugging Face上的AI开发者将会带来新的工作机会，不会导致失业的激增。如果说2023年AI行业的突破主要体现在AI技术本身的话，这6条新的预言已经预示着，AI技术在2024年，将进一步破圈，产生的突破影响力将远远超出AI行业的范围。网友也给他的6条预测的可能性进行了评估，认为其中3条发生的概率不超过50%。也有人认为6条预测都很靠谱，甚至有几条是已经发生了的。详情：https://blog.csdn.net/techforward/article/details/134672106
