新闻详情

新闻详情

首页 / 资讯中心 / 详情

LOHA‑ACD:压缩你所观察的内容而非你所说的内容——面向隐式观测软件工程智能体的锚定上下文蒸馏

发布时间:2026/9/30 22:46:13来源:尧图网络
LOHA‑ACD:压缩你所观察的内容而非你所说的内容——面向隐式观测软件工程智能体的锚定上下文蒸馏
LOHA‑ACD:压缩你所观察的内容而非你所说的内容——面向隐式观测软件工程智能体的锚定上下文蒸馏arXiv编号:arXiv:2609.31430v1摘要工具观测占据软件工程智能体上下文绝大部分token,长交互历史会带来高昂推理开销。现有上下文压缩方法容易丢弃后续动作所必需的信息;而直接让智能体适配软token表征,又会破坏原有智能体行为。为了缩减上下文,同时保留动作所需关键信息、维持智能体原有行为,本文提出两套耦合组件:**LOHA(Latent Observations, Hard Actions,隐式观测‑硬动作)上下文布局,将被压缩的历史与需要精确引用的文本做分离;以及ACD(Anchored Context Distillation,锚定上下文蒸馏)**训练方法,使模型具备隐式读取能力,同时约束行为漂移。LOHA将较早期工具观测压缩为软token,完整保留智能体自身输出回合、系统提示与任务描述文本;同时保留最近K条观测原始文本,保证近期操作可以拿到精确原文。ACD对基座模型做适配,让模型能够读取压缩后的隐式表征,同时以原始基座模型在纯文本输入上的输出作为锚点,约束行为不要发生偏移。在SW(\mathcal{E})‑bench Verified基准上,设置KaTeX parse error: Can't use function '\(' in math mode at position 1: \̲(̲K=3\)时,Qwen3‑4B每轮调用上下文降低43%,SW(\mathcal{E})‑Master‑4B‑(\mathcal{R})L降低57%;任务解决率分别为12.1%、21.8%,原始未压缩基线分别为14.5%、27.5%。单轮遍历调优KaTeX parse error: Can't use function '\(' in math mode at position 1: \̲(̲K=8\),解决率提升至14.4%、23.0%,代价是保留更多原始文本、计算开销上升。在32K token上下文窗口限制条件下,采用KaTeX parse error: Can't use function '\(' in math mode at position 1: \̲(̲K=3\)的Qwen3在199个实例子集上解决率达到21.1%;同等模型采用全文本上下文仅11.1%。单GPU并发服务场景,吞吐量达到全文本智能体的1.9倍。关键词软件工程智能体;上下文压缩;软token;隐式观测;锚定上下文蒸馏;SW(\mathcal{E})‑bench;长上下文智能体目录引言方法2.1 问题设定2.2 LOHA:隐式观测‑硬动作上下文布局2.3 ACD锚定上下文蒸馏2.3.1 学生模型架构2.3.2 双视图双损失目标2.4 训练与推理流程实验3.1 完整窗口条件下实验结果3.2 上下文窗口受限条件下性能3.3 消融实验3.3.1 近期观测窗口K扫参3.3.2 蒸馏教师模型消融3.4 服务吞吐量实测相关工作结论与未来工作参考文献附录A 实验协议与指标定义附录B 补充实验结果附录C 扫参完整数据附录D 训练实现细节附录(\mathcal{E}) 权重、探测分析1 引言大语言模型软件工程智能体通过工具完成仓库查看、源码修改、测试验证,迭代补丁来解决GitHub Issue。在CoderForge轨迹统计中,工具观测平均占整条轨迹token总量的69%,文件内容、搜索返回、堆栈、测试日志不断累积,上下文长度爆炸。现有上下文缩减方案:观测掩码、历史摘要、子任务折叠、工具输出选择性剪枝。这类方法需要决定丢弃哪些内容,后续动作很可能依赖被删掉的细节;编码编辑(str_replace)等操作要求和源码精确字符串匹配,被摘要或删减的信息必须重新调用工具获取。代码专用压缩依赖程序结构,很难处理搜索结果、堆栈、测试日志。软token压缩把文本编码为更短的连续嵌入向量,解码器可以直接读取。但软件工程智能体有双重需求:既要理解历史观测,又要复现精确字符串用于工具调用;仅靠压缩表征不能保证原文精确复现。直接把软token输入接入解码器,模型需要学习全新输入表征,同时保留原有推理、工具调用、代码修改能力,极易发生行为漂移。本文核心思路:压缩你所观察的内容,而非你所说的内容。LOHA上下文布局:旧工具观测压缩为软token;智能体自身回合、系统提示、任务描述完整保留原始文本;设置最近K KK条观测保留原始文本,满足近期工具调用的精确字符串需求。ACD锚定上下文蒸馏:训练适配模型读取压缩隐式观测;同时用原始基座模型在纯文本输入做行为锚定,约束适配后的模型不要漂移。本文主要贡献提出LOHA,面向软件工程智能体的上下文布局;旧观测使用隐式软token,近期观测、智能体输出维持原始硬文本,兼顾压缩率与精确原文访问。ACD锚定上下文蒸馏:结合跨视图蒸馏+自锚定目标,教会模型读取隐式表征,同时约束原始行为不发生漂移;实验证明仅提升压缩内容读回能力,不等于提升智能体任务表现,自锚定是平衡二者的关键。在两套基座智能体上完成系统评测;分析压缩‑性能权衡,评估上下文窗口受限场景、并发服务吞吐量;量化该方案的收益与代价。2 方法整套框架由LOHA上下文布局、ACD锚定上下文蒸馏两部分组成。2.1 问题设定一条Issue解决交互轨迹τ = ( s , u , a 1 , o 1 , . . . , a T ) \tau=(s, u, a_1, o_1,...,a_T)τ=(s,u,a1​,o1​,...,aT​
网站建设高端定制企业官网
RELATED

相关资讯

更多精彩内容,欢迎继续阅读

较早相关资讯

最新相关资讯

我发现了一个新思路:用 Remotion + Claude Code 像写代码一样自动化生成短视频 2026/9/30 23:59:44

我发现了一个新思路:用 Remotion + Claude Code 像写代码一样自动化生成短视频

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views …

阅读更多 →
Windows下 Codex 中 Chrome 和 Computer Use 插件不可用问题排查及解决参考方式:TaoToken 统一 Key 配置与验证 2026/9/30 23:59:36

Windows下 Codex 中 Chrome 和 Computer Use 插件不可用问题排查及解决参考方式:TaoToken 统一 Key 配置与验证

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views …

阅读更多 →
MCP Kubernetes Server 实战:用 TaoToken 统一 Key 打通集群管理工具链 2026/9/30 23:59:30

MCP Kubernetes Server 实战:用 TaoToken 统一 Key 打通集群管理工具链

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views …

阅读更多 →
2026 大模型集体涨价:用 Python 做企业 Token 成本测算与选型避坑(附配置) 2026/9/30 23:59:30

2026 大模型集体涨价:用 Python 做企业 Token 成本测算与选型避坑(附配置)

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views …

阅读更多 →
游戏引擎原理与实践 02:揭开3A游戏背后的技术面纱 2026/9/30 23:59:23

游戏引擎原理与实践 02:揭开3A游戏背后的技术面纱

游戏引擎原理与实践 02:揭开3A游戏背后的技术面纱Bilibili 同步视频游戏逻辑 vs 游戏引擎,剧本和摄影机的区别现代游戏引擎都包含哪些模块?游戏编辑器:游戏开发者的工作台数学,游戏引擎的内功根基需要重点掌握的数学知…

阅读更多 →
中科院青藏高原所李新团队提出 READY 框架|地学数据光“开放共享”还不够,得先过“AI 就绪”这道关 2026/9/30 23:59:23

中科院青藏高原所李新团队提出 READY 框架|地学数据光“开放共享”还不够,得先过“AI 就绪”这道关

近日,中国科学院青藏高原研究所、国家青藏高原科学数据中心联合国内多个地学数据中心科研人员,系统提出了“人工智能就绪地球科学数据(AI-ready geoscience data)”的定义框架与实现路径。当前,“人工智能就绪数据&…

阅读更多 →

今日资讯

本周资讯

本月资讯

看完文章仍有疑问?

联系尧图顾问,获取一对一建站咨询

立即免费咨询 📞 400-888-8888
📞 ✉