MAP-Neo：一套完全开源且透明的双语大型语言模型套件，其性能优于封闭源代码模型，以缩小与其的差距

来自M-A-P、滑铁卢大学、武汉人工智能研究院和https://01.AI 的研究人员发布了MAP-Neo，这是一个功能强大且透明的双语语言模型，拥有70亿参数，训练了4.5万亿高质量令牌。这个完全开源的模型在性能上与领先的封闭源代码大型语言模型相匹敌。该发布包括清洁的预训练语料库、数据清洗管道、检查点以及优化的训练和评估框架。全面的文档涵盖了数据策划、模型架构、训练过程、评估代码以及构建大型语言模型的见解，旨在支持并激励全球研究社区，特别是非英语地区。

开源大型语言模型的进步对人工智能研究和应用至关重要。最近的努力集中在提升性能和透明度。MAP-Neo-7B通过集成中间检查点、全面的数据清洗过程、可获取的预训练语料库和复制代码而脱颖而出，不同于Mistral、LLaMA3、Pythia、Amber和OLMo模型。MAP-Neo-7B在中英理解（C-EVAL, MMLU）、数学能力（GSM8K）和编程（HumanEval）的基准测试中表现出色。它在所有测试中都取得了高分，并设定了透明度和性能的新标准，促进了研究社区的信任和合作。

完整阅读：https://www.marktechpost.com/2024/05/31/map-neo-a-fully-open-source-and-transparent-bilingual-llm-suite-that-achieves-superior-performance-to-close-the-gap-with-closed-source-models/

论文：https://arxiv.org/abs/2405.19327

GitHub：https://github.com/multimodal-art-projection/MAP-NEO

项目页面：https://map-neo.github.io/

@Nancy汀