新闻详情

新闻详情

首页 / 资讯中心 / 详情

腾讯:极少任务还原智能体全量评测

发布时间:2026/9/26 11:10:16来源:尧图网络
腾讯:极少任务还原智能体全量评测
标题Beyond Outcomes: Dual-View Relational Learning for Efficient Agent Benchmarking来源arXiv, 2609.18909v1️文章简介研究问题智能体Agent评测成本极高如何在大幅减少评测任务数量的同时依然能准确预测模型在完整基准上的得分和排名主要贡献论文提出了DualViewEval框架通过联合建模“最终结果”和“执行过程”两种关系实现了高效的基准压缩仅需极少任务即可高精度还原全量评测效果。重点思路构建六维过程指标通过分析大规模智能体执行轨迹提取了六个与最终性能系统性相关的过程信号包括智能体步数、工具失败率、工具类别熵、验证工具率、必要写操作执行率以及读写验证闭环率以此量化执行行为。双视角关系建模为每个任务构建两个关系矩阵。一是基于最终得分的“结果视图”捕捉智能体成败模式的相似性二是基于上述六维指标的“过程视图”捕捉执行行为模式的相似性弥补仅看结果的不足。端到端联合优化设计了一个包含直通硬Top-K门控机制的选择器确保选出的子集大小严格固定。将结果和过程关系矩阵融合为智能体内核输入到核岭回归预测器中。通过最小化分数预测误差和排名损失反向传播同时优化任务选择逻辑和预测模型参数。动态平衡权重引入可学习的全局系数自动调整过程视图在融合内核中的权重使模型能根据不同基准的特性自适应地平衡结果与过程信息的贡献。分析总结显著降低评测成本在APEX-Agents和BFCL等五个基准上仅用20个任务即可实现24至40倍的压缩比大幅节省时间和API费用。预测精度超越基线相比最强的现有方法SparseEvalDualViewEval将平均绝对误差降低了14.5%至28.2%并在SWE-bench Verified上将Kendall’s τ排名相关性提升了最多7.2%。过程信息至关重要消融实验证明单独使用过程关系或结果关系均不如两者结合效果好。过程视图提供了结果无法反映的行为结构信息尤其在任务预算极紧时优势明显。具备诊断价值选出的迷你集不仅能预测分数还能清晰揭示不同智能体在工具使用广度、验证习惯等行为上的能力差异为模型开发提供紧凑的诊断反馈。个人观点论文引入了“怎么做”的过程视角证明了智能体的执行轨迹如是否频繁验证、工具调用多样性蕴含着丰富的冗余消除信息。
网站建设高端定制企业官网
RELATED

相关资讯

更多精彩内容,欢迎继续阅读

较早相关资讯

最新相关资讯

WorkBuddy本地AI工作流安装与YAML状态机实战指南 2026/9/26 12:52:39

WorkBuddy本地AI工作流安装与YAML状态机实战指南

1. WorkBuddy不是“另一个AI工具”,而是你本地工作流的中枢操作系统我第一次在GitHub上看到WorkBuddy项目仓库时,心里是犯嘀咕的——又一个打着“AI工作流”旗号的前端套壳?直到我花三天时间把它从源码编译、服务部署、插件注入到真实业务场景…

阅读更多 →
用 CodeBuddy 和 Trae 写俄罗斯方块:TaoToken 配置与实测体验 2026/9/26 12:52:38

用 CodeBuddy 和 Trae 写俄罗斯方块:TaoToken 配置与实测体验

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views …

阅读更多 →
MySQL性能优化:LEFT JOIN子查询从5秒到8ms的排查与改写实战 2026/9/26 12:52:37

MySQL性能优化:LEFT JOIN子查询从5秒到8ms的排查与改写实战

前几天我接到一个典型的 MySQL 性能排查问题:一条 SQL,单独执行里面的子查询只要 7ms,一旦加上 LEFT JOIN,整个查询就掉到 5 秒。业务那边催得急,我查了一个下午,最后把 SQL 改写、重新调整驱动顺序后&…

阅读更多 →
PaddleNLP 静态图 BERT 预训练与 GLUE 微调实战:基于 Fleet API 的完整流程解析 2026/9/26 12:52:21

PaddleNLP 静态图 BERT 预训练与 GLUE 微调实战:基于 Fleet API 的完整流程解析

人工智能大模型预训练微调LoRARLHF强化学习分布式训练 【免费下载链接】PaddleNLP Easy-to-use and powerful LLM and SLM library with awesome model zoo. 项目地址: https://gitcode.com/gh_mirrors/pa/PaddleNLP 点击查看 免费下载 本文以 PaddleNLP 仓库中 sl…

阅读更多 →
AIO Sandbox:一个容器搞定AI Agent的全套运行环境 2026/9/26 12:52:15

AIO Sandbox:一个容器搞定AI Agent的全套运行环境

我说个最近的经历。上周帮朋友调试一个自动化爬虫 Agent,需求不复杂:让模型写脚本、控制浏览器抓公开页面、存 JSON、再生成一份分析报告。听起来常规,真正把环境串起来的时候,浏览器、Shell、文件、MCP 每一块都在制造麻烦。后来…

阅读更多 →
5G面试题库288题:从刷题到上岗的工程实战指南 2026/9/26 12:52:14

5G面试题库288题:从刷题到上岗的工程实战指南

简介:一份面向5G网络工程师、通信专业学生及备考人员的5G模拟考试题库PDF,基于2020年5G考试内容整理而成,覆盖5G NR核心考点,包括EN-DC下的SRB配置、上行HARQ方式、SUL补充上行、BWP切换、SSB组成、PUCCH/PUSCH调制与波形、子载波…

阅读更多 →

今日资讯

本周资讯

本月资讯

看完文章仍有疑问?

联系尧图顾问,获取一对一建站咨询

立即免费咨询 📞 400-888-8888
📞 ✉