本周我读到的最有趣的 AI 论文：1/ SAM 2：一个用于实时、可提示的图像和视频中物体分割的开放统一模型。SAM 2 可以应用于未见过的视觉内容，而无需进行定制的适应。为了在视频中实现准确的掩码预测，引入了一种记忆机制，用于存储关于物体和先前交互的信息。该记忆模块还允许对任意长的视频进行实时处理。SAM2 在17个零样本视频数据集上的交互式视频分割中显著优于先前的方法，同时所需的人机交互次数减少了三倍。https://ai.meta.com/research/publications/sam-2-segment-anything-in-images-and-videos/2/ 结构化生成限制推理：研究结构化生成是否会影响大型语言模型（LLM）的推理和领域知识综合能力。观察到在应用格式限制时，LLM 的推理能力显著下降，相比自由形式的响应，这种退化效应在对推理任务应用更严格的格式约束时进一步放大。https://arxiv.org/abs/2408.024423/ 从 LLM 到基于 LLM 的软件工程代理：一篇关于当前基于 LLM 的软件工程代理的实践和解决方案的综述论文。覆盖了需求工程、代码生成、测试生成和自主决策等重要话题。还包括在不同软件工程应用中使用的基准、度量和模型。https://arxiv.org/abs/2408.024794/ 增强 LLM 的 RAG - 介绍 RAGFoundry，一个用于增强 LLM 的开源框架，适用于 RAG 用例。它支持数据创建、训练、推理和评估。一个有用的应用是创建数据增强的数据集，用于在 RAG 环境中调整和评估 LLM。https://arxiv.org/abs/2408.025455/ 自学评估者：一种仅使用合成训练数据来改进基于模型的评估者的方法。它首先生成对比输出（好的和坏的模型响应），并训练一个 LLM-评判者来生成推理轨迹和最终判断。自我改进方案通过使用改进的预测迭代重复训练过程。声称优于GPT-4等LLM-评判者，并匹配在标注示例上训练的顶级奖励模型。它将一个强大的 LLM（Llama3-70BInstruct）从 75.4 提高到 88.3（通过多数投票提高到 88.7）在 RewardBench 上。https://arxiv.org/abs/2408.02666还有一些令人兴奋的论文，我将在明天的《本周顶级机器学习论文》中突出展示 @Dear DAILALA，敬请关注！