LangGPT,一种从编程语言角度重新思考构建结构化、可复用提示设计框架的方法,用于指导大型语言模型(LLMs)如ChatGPT等执行各种任务。当前LLMs虽然表现出了强大的语言理解和生成能力,但在非AI专家群体中,如何有效构造高质量的提示是一个挑战。已有的研究提出了碎片化的优化原则和依赖于经验的提示优化器设计,但缺乏系统性的模板设计,导致学习成本高且复用性低。
LangGPT借鉴了结构化、可复用编程语言的设计理念,提出了一种双层结构的提示设计框架,该框架具有易学的标准结构,并提供了扩展结构以支持迁移和复用。实验表明,相比于基线方法,使用LangGPT能显著提升LLMs生成高质量回复的能力,同时也能有效地指导LLMs生成高质量的提示本身。作者团队还建立了一个社区来促进用户学习和分享基于LangGPT的提示设计,并通过社区用户调查分析了LangGPT在易用性和复用性方面的表现。
在LangGPT的设计中,它包含一系列模块和基本元素,如角色描述、目标设定、约束条件、工作流程及风格要求等,以便为不同的应用场景定制提示。例如,在写作场景下,可以设计出诸如为给定文章生成标题的任务提示,并通过提取核心内容、定义标题长度限制和正式风格等具体步骤指导LLMs执行任务。
此外,为了增强提示的一般性和复用性,LangGPT还引入了扩展模块和自定义元素的概念,允许用户根据自身需求快速分析并确定需要纳入提示的关键点。实验对比了仅含指令的基础提示和使用LangGPT设计的提示,并在写作和角色扮演等不同应用领域进行了验证,结果证明LangGPT在提升LLMs性能和降低用户设计难度方面效果显著。
最后,文档还提及了先前相关研究中的提示优化工作,这些研究涉及到了对LLMs偏好风格的调整、深度学习程序修复任务的模板设计、生物医药关系抽取任务的闭合测试形式以及交互式模拟人类行为的生成型智能体等多种方法。然而,以往的研究主要基于零散的设计规则,不够系统化,且往往局限于特定领域或模型,而LangGPT则旨在提供一个更为通用、灵活且易于复用的框架。