南洋理工大学提出Q*框架 可大幅提升大语言模型的多步推理能力就是之前传说的OpenAI 的那个Q*当LLMs进行多步推理时，一个小错误可能会导致整个推理过程都出错。Q*可以帮助模型在每一步选择最有可能正确的路径，减少出错的机会。举个例子假设你让一个模型解决一个复杂的数学问题，这个问题需要多步计算才能得出答案。传统的模型可能会在某一步出错，从而影响最终答案。而使用Q*后，模型在每一步都会得到”智能助手”的建议，知道哪条路径最有可能是正确的。这样，即使某一步有多个选择，Q*也能帮模型选出最优的一步，最终正确地解决问题。使用 Q* 框架的 Llama-2-7b 模型在 GSM8K 数据集上的表现显著优于其他对比方法，准确率从49.5%瞬间提升80.8%。在MATH数据集上， 使用Q*方法的Llama-2-7b模型的准确率从7.9%提升到了49.1%Q*可以在不同的推理任务中进行无缝应用，而不需要对LLMs进行大规模的微调。Q*在每一步推理时仅考虑单步扩展，而不是进行全面的回滚或模拟，显著减少了计算开销。