「微软教小模型推理进阶版：Orca 2性能媲美10倍参数模型，已开源」链接: https://news.miracleplus.com/share_link/12224 GPT-4、PaLM 等前沿语言模型已经展现了出色的推理能力，例如回答复杂问题、生成解释，甚至解决需要多步推理的问题，这些能力曾被认为是 AI 无法达到的。这样的能力在较小的语言模型中并不明显，因此现在的挑战就是如何利用对大型语言模型不断增长的知识，进而提升较小模型的能力。之前微软研究院推出了 Orca，它是拥有 130 亿参数的语言模型，通过模仿更强大 LLM 的逐步推理过程，展现了强大的推理能力。现在研究者再接再厉推出了 Orca 2，继续探索如何通过改进训练信号来提升较小语言模型的推理能力。