热门
最新
红包
立Flag
投票
同城
我的
发布
CSDN App 扫码分享
1
18
- 复制链接
- 举报
下一条：
微软推出Phi-3 mini系列小型开源语言模型 可运行在手机上 性能超越 Llama 3 8BPhi-3模型由于其小型化设计，可在资源受限的设备上运行，同时能够保持高效性能。适应多种环境： 适合部署在智能手机、嵌入式系统等边缘计算设备上，可以在不依赖云计算的情况下本地处理数据，减少延迟，增强隐私保护。Phi-3系列包括Phi-3-mini（3.8亿参数）、Phi-3-small（70亿参数）和Phi-3-medium（140亿参数）等多种型号，覆盖不同性能和成本需求。模型支持最长至128K令牌的上下文长度，Phi-3-mini是首款支持如此大上下文窗口的小型语言模型。Phi-3-mini3.8B 的参数，3.3T token 训练数据。在多个学术基准测试中，Phi-3-mini 性能接近或等同于市场上的大模型，例如在 MMLU 测试中得分为 69%，在 MT-bench 测试中得分为 8.38 分，和GPT-3.5和Mixtral 8x7B相当，甚至超过刚发布的Llama 3 8B。训练灵感：微软研究员Ronen Eldan在为他的女儿读睡前故事时发现，尽管词汇简单，儿童能够理解复杂的概念和关系。这种观察激发了他关于如何使用简单语言来训练强大AI模型的思考。基于儿童学习方式的启示： Eldan将儿童如何从基本词汇中学习语言和逻辑的自然过程与AI的训练过程相类比，这促成了一种全新的模型训练方法，旨在从基础开始构建语言理解能力。技术报告：https://arxiv.org/abs/2404.14219
