热门
最新
红包
立Flag
投票
同城
我的
发布
微软推出Phi-3 mini系列小型开源语言模型
可运行在手机上 性能超越 Llama 3 8B
Phi-3模型由于其小型化设计，可在资源受限的设备上运行，同时能够保持高效性能。
适应多种环境： 适合部署在智能手机、嵌入式系统等边缘计算设备上，可以在不依赖云计算的情况下本地处理数据，减少延迟，增强隐私保护。
Phi-3系列包括Phi-3-mini（3.8亿参数）、Phi-3-small（70亿参数）和Phi-3-medium（140亿参数）等多种型号，覆盖不同性能和成本需求。
模型支持最长至128K令牌的上下文长度，Phi-3-mini是首款支持如此大上下文窗口的小型语言模型。
Phi-3-mini3.8B 的参数，3.3T token 训练数据。
在多个学术基准测试中，Phi-3-mini 性能接近或等同于市场上的大模型，例如在 MMLU 测试中得分为 69%，在 MT-bench 测试中得分为 8.38 分，和GPT-3.5和Mixtral 8x7B相当，甚至超过刚发布的Llama 3 8B。
训练灵感：
微软研究员Ronen Eldan在为他的女儿读睡前故事时发现，尽管词汇简单，儿童能够理解复杂的概念和关系。这种观察激发了他关于如何使用简单语言来训练强大AI模型的思考。
基于儿童学习方式的启示： Eldan将儿童如何从基本词汇中学习语言和逻辑的自然过程与AI的训练过程相类比，这促成了一种全新的模型训练方法，旨在从基础开始构建语言理解能力。
技术报告：https://arxiv.org/abs/2404.14219
AI资讯
CSDN App 扫码分享
2
点赞
打赏
- 复制链接
- 举报
下一条：
Language Agent Tree Search 🤖🌲随着大型语言模型（LLMs）变得更快、更好、更便宜，开发人员将能够构建具有代理能力的系统，这些系统能够规划出一整个可能未来的树，而不只是按顺序规划下一个状态（例如在ReAct中）。这对于更高阶的研究任务至关重要。Language Agent Tree Search（LATS）由@恒虚之境提出，受到现有蒙特卡洛树搜索技术（在像AlphaGo这样的强化学习环境中使用）的启发。该代理能够迭代地规划出一个完整的可能未来树。与其他论文如Tree-of-thought不同，该代理能够将基于树的规划与工具使用、反思以及一种平衡开发和探索的Smart Selection策略交错进行。我们很兴奋能够将其作为LlamaPack在@Llamaespa中实现，感谢@文成厚。具体来说，我们向您展示了它如何适用于具有代理能力的RAG（检索增强生成）用例。完整的食谱：https://github.com/run-llama/llama_index/blob/main/docs/docs/examples/agent/lats_agent.ipynbLlamaPack：https://llamahub.ai/l/agent/llama-index-agent-lats?from=agent来源论文：https://arxiv.org/pdf/2310.04406.pdf
