技术感悟：强化学习在大语言模型中的新曙光 最近看到强化学习在大语言模型（LLMs）领域的新进展，心里很是感慨。曾经，强化学习在训练模型玩游戏和控制机器人方面应用广泛，但在LLMs发展中主要是让模型符合人类偏好。谁能想到，如今它竟成为提升模型推理能力的关键路径。 DeepSeek-R1和Kimi k1.5这两个模型，通过强化学习来改进推理能力，着实让我眼前一亮。强化学习的机制很独特，不像有监督和无监督学习，它不是拿已知的标准答案去比对模型输出，而是让模型从随机行为开始，在行动中获取奖励，从而摸索出理想行为。用这种方式训练模型生成数学、编程等问题的推理步骤，模型能在没有明确指导推理步骤的情况下，自己生成一系列通向准确结论的步骤，这太神奇了。 DeepSeek团队通过强化学习微调，让DeepSeek-R1-Zero学会了检查答案的策略，尽管过程中出现了输出语言混杂这类小状况，但通过少量有监督微调也解决了。Kimi k1.5团队也是先对长推理链进行微调，让模型自行设计解题策略，之后又通过强化学习让模型输出更精简。这一系列操作表明，强化学习不仅能提升模型能力，还能优化输出结果。 想想不到三年前，强化学习还被认为过于繁琐，如今却成为语言建模的重要方向。机器学习领域真是充满惊喜和变数，作为技术人，这让我更加深刻地认识到持续学习的重要性。技术发展日新月异，只有不断跟进，才能不被淘汰，说不定下一个技术突破就来自我们的探索呢。