STRUCTCHEM:提高大语言模型解决复杂化学问题的能力
GPT 4在许多领域表现出色,但在化学等复杂科学推理方面仍存在困难。
STRUCTCHEM提出了一种新的提示策略,将推理分为三阶段:生成公式、逐步推理、基于置信度的复查与优化
通过这种方式显著提高GPT-4的化学推理能力。
技术方法:
公式生成: 引导模型生成解决问题所需的化学公式,并解释各个变量的含义。
逐步推理: 基于生成的公式,逐步完成推理与计算,并提供初步答案。
复查与优化: 根据推理过程的置信度得分,迭代优化推理步骤,最终得出高置信度的答案。
实验结果:
数据集: 使用四个化学子领域的复杂问题数据集,包括量子化学、力学、物理化学和动力学。
效果: 与其他方法相比,STRUCTCHEM在各个数据集上都显著提高了准确率,在GPT-4模型上最高可提高30个百分点。