SWE-agent 提交前审查机制解读 review_on_submit_m 工具包与submit -f强制提交设计【免费下载链接】SWE-agentSWE-agent takes a GitHub issue and tries to automatically fix it, using your LM of choice. It can also be employed for offensive cybersecurity or competitive coding challenges. [NeurIPS 2024]项目地址: https://gitcode.com/GitHub_Trending/sw/SWE-agent本篇文章围绕 SWE-agent 仓库中的 tools/review_on_submit_m 工具包展开剖析这套提交前审查review on submit机制的定位、配置方式与底层实现原理。读完本文你将掌握为什么默认的submit会立即结束任务、review_on_submit_m如何把提交改造成先审查再确认的两阶段流程、submit -f为何是唯一触发真实提交的入口以及如何结合 registry 变量自定义审查提示语。一、背景默认submit的一锤定音行为在 SWE-agent 中agent 解决一个 GitHub issue 后需要调用一个特殊的submit命令来提交其修改并结束会话。默认的提交工具由 tools/submit/config.yaml 定义tools: submit: signature: submit docstring: submits the current file arguments: []从源码结构看submit是一个无参数的独立命令一旦模型调用它agent 就会立即进入提交流程。底层处理逻辑位于 sweagent/agent/agents.py 的handle_submission方法首先通过check_for_submission_cmd检测模型输出中是否包含SWE_AGENT_SUBMISSION标记对应 sweagent/tools/tools.py命中后读取容器内的/root/model.patch文件该文件由git add -A git diff --cached /root/model.patch生成见 sweagent/agent/agents.py将 patch 内容写入step.submission并把exit_status置为submitted同时将step.done置为True任务就此终结。换言之默认机制下模型一旦认为自己改完了就会立刻提交缺少一道自查、回归验证、清理测试文件的缓冲环节。二、review_on_submit_m把提交改造成审查确认tools/review_on_submit_m/README.md 对该工具包的定位描述得非常直接Provides an alternative forsubmitthat does not immediately submit, but asks the agent to perform additional reviewing steps. Onlysubmit -fwill trigger the real submit.核心设计思想是不立即提交用review_on_submit_m替换默认submit后模型调用submit并不会触发真正的提交而是被引导去执行额外的审查步骤重新跑复现脚本、清理临时文件、还原被改动的测试文件等。-f是唯一真实入口只有submit -fforce才会触发真实提交。这相当于把提交升级为一个显式的、需要二次确认的动作杜绝模型草率收工。该工具包在仓库历史中也有明确演进记录docs/installation/changelog.md 提到旧版review_on_submit工具包已被review_on_submit_m取代。三、工具包文件结构与 config.yaml 解析review_on_submit_m是一个标准的 SWE-agent 工具包tool bundle目录下包含三个文件tools/review_on_submit_m/ ├── README.md # 功能说明 ├── config.yaml # 工具定义 └── install.sh # 安装脚本当前为空其中 tools/review_on_submit_m/config.yaml 是关键完整内容如下tools: submit: signature: submit docstring: submits the current file # Do not actually show the -f argument to the model, only # use it from the agent for submission after error这短短几行透露出两个重要设计意图复用submit命令名工具包重新定义了名为submit的工具以覆盖override默认提交行为因此当模型调用submit时实际进入的是审查流程而非立即提交。-f对模型不可见注释明确指出不要真的把-f参数展示给模型只允许 agent 在出错后使用它进行提交。这意味着-f是一个内部逃生通道——当审查流程因为某种原因无法完成例如模型反复提交失败时由 agent 框架侧强制执行真实提交而不是让模型自由调用。这是防止模型作弊式跳过审查的关键约束。对比默认的 tools/submit/config.yamlarguments: []review_on_submit_m的 config 中也没有显式声明arguments字段且刻意不在签名与文档中暴露-f进一步印证了对模型隐藏强制提交参数的设计。四、如何启用bundles 加载机制在 SWE-agent 中工具包通过agent.tools.bundles列表加载加载逻辑由 sweagent/tools/bundle.py 的Bundle类实现每个 bundle 必须包含config.yaml其中声明的tools会被解析为Command对象并最终合并进模型可见的命令列表见 sweagent/tools/tools.py 的commands属性同名工具重复定义会直接抛出ValueError。仓库的默认配置 config/default.yaml 正是这样组合的tools: bundles: - path: tools/registry - path: tools/edit_anthropic - path: tools/review_on_submit_m使用要点tools/registry必须放在前面review_on_submit_m的审查消息依赖 registry 提供的跨调用持久化状态详见第五节因此依赖关系上要求 registry 先被加载。无需额外安装该 bundle 的 install.sh 目前为空文件安装阶段不会有额外副作用ToolHandler._install_commands只会对存在install.sh的 bundle 执行source install.sh见 sweagent/tools/tools.py。同样的组合也出现在多份基准配置中例如 config/benchmarks/250212_sweagent_heavy_sbl.yaml、config/benchmarks/anthropic_filemap_multilingual.yaml、config/benchmarks/250525_anthropic_filemap_simple_review.yaml等说明提交前审查是官方评测配置的默认一环。五、registry 支撑审查消息从哪来review_on_submit_m本身没有bin/目录与可执行脚本它的审查提示内容是通过registry 变量注入的。这正对应 docs/usage/adding_custom_tools.md 中的说明registry 特别适合需要在多次调用间维护状态的复杂工具review_on_submit_m正是这样一个跟踪提交阶段的工具。5.1 registry_variables 配置项ToolConfig.registry_variables见 sweagent/tools/tools.py允许在配置中预置一组键值对。在ToolHandler.reset时这些变量会被序列化为 JSON 写入容器的/root/.swe-agent-env文件见 sweagent/tools/tools.py供后续任意工具调用读取。5.2 SUBMIT_REVIEW_MESSAGES审查提示模板config/default.yaml 中给出了完整的配套配置registry_variables: USE_FILEMAP: true SUBMIT_REVIEW_MESSAGES: - | Thank you for your work on this issue. Please carefully follow the steps below to help review your changes. 1. If you made any changes to your code after running the reproduction script, please run the reproduction script again. If the reproduction script is failing, please revisit your changes and make sure they are correct. If you have already removed your reproduction script, please ignore this step. 2. Remove your reproduction script (if you havent done so already). 3. If you have modified any TEST files, please revert them to the state they had before you started fixing the issue. You can do this with git checkout -- /path/to/test/file.py. Use below diff to find the files you need to revert. 4. Run the submit command again to confirm. Here is a list of all of your changes: diff {{diff}} /diff这份审查清单的设计逻辑非常清晰也解释了review_on_submit_m想要防住的四类典型问题步骤审查内容目的1修改后重新运行复现脚本确保修复在最终状态下依然有效2删除复现脚本避免把临时调试文件一并提交3还原被改动的测试文件git checkout --指定路径防止污染测试套件保证提交最小化4再次运行submit确认显式二次确认形成两阶段流程消息末尾的diff块使用 Jinja 变量{{diff}}渲染时会注入当前累积变更对应配置中 history/templates 对 diff 的传递让模型能够对照完整变更清单逐一核对。各版本基准配置如 config/benchmarks/250212_sweagent_heavy_sbl.yaml通过 YAML 锚点submit_review_messages/*submit_review_messages复用了同一份审查消息保证多 agent 配置下提示语一致。5.3 registry 的读写实现registry 的持久化实现在 tools/registry/lib/registry.py默认文件路径为/root/.swe-agent-env可通过SWE_AGENT_ENV_FILE环境变量覆盖registry.get(key, default)支持先查 registry 文件、回退到环境变量、再回退到默认值的三级查找registry[key] value采用读文件 → 更新字典 → 原子写回的方式保证多次工具调用之间状态连续。正因如此SUBMIT_REVIEW_MESSAGES一个字符串列表可以完整地跨调用传递而不必担心子进程环境变量丢失的问题。六、底层提交链路从submit到/root/model.patch无论使用默认 submit 还是 review_on_submit_m最终的真实提交都收敛到同一条链路理解这条链路有助于明白-f存在的意义提交标记检测ToolHandler.check_for_submission_cmd扫描模型输出中的SWE_AGENT_SUBMISSION见 sweagent/tools/tools.py强制提交路径handle_submission(step, observation, force_submissionTrue)允许在未检测到提交标记时也强制执行提交逻辑见 sweagent/agent/agents.py。force_submission的典型使用场景是环境意外死亡后的自动收尾autosubmit读取 patch提交内容来自容器内/root/model.patch若文件缺失则记录警告并放弃本次提交标记状态成功读取非空 patch 后step.submission被赋值exit_status变为submittedstep.done Trueagent 主循环随即终止。对应的测试用例见 tests/test_agent.pytest_run_autosubmit与test_successful_submission分别验证了强制提交与正常提交两种路径下exit_status、submission字段的取值。由此可以看出submit -f的真实提交在框架层面的等价含义是——绕过审查消息的周转直接让handle_submission拿到 patch 并终止任务。而普通submit之所以不立即提交正是因为它先把审查清单SUBMIT_REVIEW_MESSAGES喂回给模型等待模型完成自查后再次调用submit。七、自定义与使用建议7.1 复用该 bundle在自定义配置中启用提交前审查只需在agent.tools.bundles中加入tools/review_on_submit_m并预置审查消息参考 docs/usage/adding_custom_tools.md 的写法agent: tools: bundles: - path: tools/registry - path: tools/edit_anthropic - path: tools/review_on_submit_m registry_variables: SUBMIT_REVIEW_MESSAGES: - | 你的自定义审查清单…… parse_function: type: function_calling7.2 实践要点审查清单按场景裁剪SWE-bench 类任务强调最小变更、不碰测试文件因此默认清单要求还原测试文件若你的场景允许修改测试可自行调整第 3 条。不要向模型暴露-f这是该 bundle 的设计红线。-f属于框架内部通道如失败兜底与 autosubmit模型不应知道它的存在否则审查步骤会被模型一步跳过。保持 bundle 顺序tools/registry需先于review_on_submit_m加载因为审查消息的读取依赖 registry 环境。八、总结review_on_submit_m是 SWE-agent 工具包体系中一个小而关键的设计它没有庞大的可执行脚本而是通过命令名覆盖 registry 注入审查消息 隐藏强制提交参数三个机制把默认的一键提交升级为审查—确认的两阶段流程。结合config/default.yaml中的SUBMIT_REVIEW_MESSAGES清单与 sweagent/agent/agents.py 的提交处理逻辑你可以清楚地看到所谓review on submit本质是在模型自以为完成时把一份结构化自查清单重新塞回对话让最终落到/root/model.patch的变更经得起复现与最小化检验。对于追求提交质量、需要防御模型草率收工的评测与自动化修复场景这是一套开箱即用的参考实现。【免费下载链接】SWE-agentSWE-agent takes a GitHub issue and tries to automatically fix it, using your LM of choice. It can also be employed for offensive cybersecurity or competitive coding challenges. [NeurIPS 2024]项目地址: https://gitcode.com/GitHub_Trending/sw/SWE-agent创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考