热门
最新
红包
立Flag
投票
同城
我的
发布
CSDN App 扫码分享
评论
12
- 复制链接
- 举报
下一条：
自动化代理系统设计由 @, @解植锟, @伍治坚✦ 概念和框架由UBC的研究人员提出的ADAS（自动化代理系统设计）是一个新的研究领域，专注于自动设计代理。用于展示ADAS的框架被称为元代理搜索（MAS），它基于“代码”发现新的代理。在此背景下，“代理”被认为是一个使用基础模型（FM）进行计划、使用工具、获取结果并迭代解决特定问题的代理系统。✦ 灵感和方法ADAS受到了这样一种趋势的启发：人类设计的算法逐渐被AI驱动的自动发现所取代，类似于CNN取代了手动图像识别技术，AutoML/NAS正在优化神经网络结构。ADAS的操作类似于AutoML，其过程如下：1. 定义搜索空间。2. 使用搜索算法找到最优代理。3. 使用评估算法评估代理。4. 重复这一过程，以发现越来越优化的代理。5. 归档已发现的代理以供将来的迭代使用。✦ MASMAS遵循ADAS的过程，但专注于通过编码解决问题。它使用GPT-4o作为元代理，GPT-3.5-Turbo用于评估结果。搜索空间包括基础FM模块（COT、COT_SC、Reflexion、LLM_debate等），搜索算法重复25-50次。✦ 实验结果MAS在四个基准测试上进行了测试：ARC、阅读理解（DROP）、数学（MGSM）、多任务（MMLU）和科学（GSM8K）。MAS在这些基准测试上显著优于手动设计的技术。此外，使用GPT-4o发现的前三名最优代理在转移到其他模型（Claude Haiku、GPT-4和Claude 3.5 Sonnet）时保持了高性能，证实了它们的可转移性和普遍性。✦ 个人见解和局限性成本效益：与AutoML/NAS相比，ADAS的成本较低，特别是随着FM价格的下降。尽管论文报告发现一个最优代理的成本为500美元，但随着优化，这一成本可以降低。实现复杂性：虽然概念简单，但目前的实现有些硬编码，缺乏更具普遍性的框架。未来的改进可以解决这一问题。搜索空间定义：ADAS中的初始搜索空间至关重要，目前包括手动设计的代理。尽管自动化是趋势，但人类设计的特定任务代理仍可能提供ADAS可以利用的优势。在确定已发现的“最优”代理是否真正最优方面仍存在挑战，但人类监督可以进一步优化这些过程。✦ 结论ADAS开辟了新的研究视野，未来的研究可以基于这个框架进行。它与其他研究计划如DSPy有相似之处，尽管存在局限性，ADAS代表了朝向自动化代理设计迈出的重要一步。链接：https://arxiv.org/abs/2408.08435
