1. 从一次上下文溢出说起为什么编码代理的记忆需要工程化去年冬天我在给一个中型后端项目做重构代码库大概有四十多万行模块之间耦合得比较紧。当时我让编码代理帮我梳理一条跨六个服务的调用链它前两轮回答得还挺靠谱到第三轮开始就失忆了——前面已经确认过的接口名、字段含义、异常码全被它抛到脑后甚至开始编造不存在的类名。我一开始以为是模型能力问题换了个更大的模型结果只是把失忆的时间点往后推了两轮本质没变。后来我把请求日志和上下文拼装逻辑翻出来一看问题根本不在模型而在于我喂给它的上下文是无脑全塞的每一轮都把历史对话、检索到的代码片段、工具返回结果原封不动地追加进去token 数像滚雪球一样涨等到超出窗口上限系统就按最粗暴的方式截断——从最前面砍。而被砍掉的恰恰是最早、也是最关键的那部分需求约束。这件事让我彻底转变了思路编码代理的能力上限很多时候不取决于模型本身而取决于你怎么管理它的上下文。这就是上下文工程Context Engineering要解决的问题。它和提示词工程不是一回事——提示词工程关心这一句话怎么写上下文工程关心整个窗口里放什么、放多少、什么时候换掉。前者是遣词造句后者是内存管理。这篇内容适合三类人看一是正在做 AI 编码代理、AI 测试开发这类工具的工程师二是被上下文溢出、代理失忆折磨过的开发者三是想搞清楚 ChatMemory 滑动窗口和 MCP 上下文优化到底怎么落地的人。我会从 ChatMemory 的滑动窗口机制讲起拆解它的取舍逻辑再讲到 Context-mode MCP 这套上下文优化思路中间穿插我自己踩过的坑和实测数据。全程不堆概念尽量把为什么这么设计讲透。2. ChatMemory 滑动窗口一个看似简单却处处是坑的机制2.1 滑动窗口到底在滑什么ChatMemory 是编码代理里负责记住对话的组件。它的核心任务很朴素把多轮对话组织成一个能塞进模型上下文窗口的序列。而滑动窗口Sliding Window是最常见的一种策略——只保留最近 N 轮对话更早的直接丢弃。你可以把它想象成一条传送带新消息从一端进来旧消息从另一端掉下去。窗口大小 N 就是传送带上能同时放多少个箱子。这个比喻很直观但真正落地时你会发现一个箱子到底指什么各家实现差别巨大。有的实现按消息条数算窗口比如保留最近 20 条 message有的按轮次算一问一答算一轮还有的按 token 数动态计算。这三种口径带来的行为完全不同。我见过一个项目配置里写着window_size10开发者以为是 10 轮对话结果实现里是按 message 条数算的而每轮对话平均产生 4 条 message用户输入、助手思考、工具调用、工具返回实际只保留了 2.5 轮代理当然记不住。提示接手任何带 ChatMemory 的项目第一件事就是确认窗口的计量单位。别信配置项的命名去读源码里那个if判断。2.2 为什么只留最近会出问题滑动窗口的假设是越近的信息越重要。这个假设在日常闲聊里成立但在编码场景里经常翻车。编码任务有个特点关键约束往往出现在最开头。比如用户第一句话说这个项目用的是 Java 17禁止用 var所有 DTO 必须用 record这条约束贯穿整个任务但它在窗口最老的位置。等对话进行到第十轮这条约束早就被滑出去了代理开始用 var 写代码你纠正它它道歉然后过两轮又忘了。我在一个真实项目里统计过一个平均 15 轮的编码任务如果窗口设为 8 轮关键约束的丢失率高达 60% 以上。这不是模型笨是记忆机制把该记的东西扔了。另一个坑是工具返回结果的体积。编码代理经常调用工具去读文件、跑测试、查文档这些返回动辄几千 token。一条工具返回就能把窗口撑满把前面几轮有价值的对话挤出去。我见过最夸张的一次代理读了一个 3000 行的日志文件直接把窗口占掉 80%后面几轮对话全在失忆状态下进行。2.3 几种滑动窗口变体的取舍纯滑动窗口太粗暴实践中衍生出几种改良版我按自己的使用体验排个序。策略核心做法优点缺点适用场景纯滑动窗口只留最近 N 条实现简单、开销低丢失早期约束短对话、闲聊滑动窗口 系统提示固定系统提示永远保留其余滑动保住核心约束系统提示写不下所有约束通用编码滑动窗口 摘要压缩滑出的内容先摘要再保留信息损失小摘要本身耗 token、可能失真长任务分层记忆分短期/长期长期存向量库容量大检索延迟、实现复杂大型代码库我个人的经验是中小项目用滑动窗口 系统提示固定就够了大型长任务必须上分层记忆。中间那层摘要压缩听起来很美但摘要质量不稳定我遇到过摘要把禁止使用某废弃 API这条约束给概括没了的情况反而更危险。2.4 一个容易忽略的细节窗口的边界对齐滑动窗口还有个隐蔽的坑截断位置如果不对齐会把一轮对话切成两半。比如窗口从中间截断留下一条孤立的工具返回结果却没有对应的工具调用请求。模型看到这个会懵要么报错要么胡乱解释。正确的做法是让窗口边界对齐到轮次或完整的工具调用-返回对。我在实现里加过一个校验截断后检查第一条消息是不是孤儿比如是 tool 角色但没有前置的 assistant 调用如果是就再往前或往后挪一条。这个校验只花了二十行代码但把代理的稳定性提升了一大截。3. 上下文工程的核心矛盾信息量与窗口容量的博弈3.1 上下文不是越多越好很多人有个直觉给模型的信息越多它答得越好。这个直觉在编码场景里是错的。我做过一组对照实验同一个编码任务分别给代理喂 2k、8k、32k token 的上下文。结果是 8k 那组表现最好32k 那组反而更差——它开始关注一些无关的代码片段把注意力分散了还容易把不同文件的相似命名搞混。这就是所谓的上下文污染无关信息不仅占地方还会主动干扰判断。所以上下文工程的第一原则不是塞满而是精准。窗口是稀缺资源每一 token 都要问一句它对当前这一步决策有用吗3.2 上下文的四种成分及其优先级我把编码代理的上下文拆成四类按优先级从高到低排硬约束语言版本、框架、编码规范、禁止事项。这类信息必须常驻不能滑出。当前任务状态正在改哪个文件、已经改了哪些、下一步要做什么。这类信息要实时更新。相关代码片段与当前任务直接相关的函数、类、接口定义。按需检索用完即弃。历史对话之前的讨论、纠错、确认。可压缩、可摘要。优先级清楚了策略就出来了硬约束常驻任务状态滚动更新代码片段按需注入历史对话压缩保留。这比一刀切的滑动窗口精细得多也是 Context-mode MCP 这类方案的设计出发点。3.3 一个反直觉的结论有时候要主动遗忘上下文工程不只是记住还包括主动忘掉。有些信息留着是负资产。比如代理前面走了一条错误的排查路径试了三种方案都失败了。这三段失败记录如果一直留在窗口里会持续干扰它——模型倾向于延续之前的思路哪怕那条思路已经证明是死路。这时候正确的做法是主动清理掉失败尝试的细节只保留一句方案 A/B/C 已排除原因是……把窗口腾出来给新思路。我在实现里加过一个上下文清理的钩子当检测到连续两轮工具调用都失败时自动把这两轮的详细返回压缩成一行结论。实测下来代理钻牛角尖的概率明显下降。4. Context-mode MCP把上下文管理从硬编码变成协议化4.1 MCP 解决的是什么问题MCPModel Context Protocol本质上是一套让模型和外部工具、数据源对话的协议。你可以把它理解成AI 世界的 USB 接口——不管对面是数据库、文件系统还是某个 SaaS 服务只要按 MCP 规范暴露能力模型就能统一调用。但很多人只把 MCP 当成工具调用协议忽略了它在上下文管理上的价值。Context-mode MCP 这个思路的核心是把上下文的获取、过滤、压缩也做成一种可插拔的能力而不是写死在代理代码里。传统做法是代理代码里硬编码我要读文件、我要检索代码、我要压缩历史。每换一个场景就得改代码。Context-mode 的做法是把这些能力抽象成 MCP 服务代理通过协议去请求给我当前任务最相关的上下文具体怎么筛、怎么压由服务端决定。4.2 Context-mode 和普通工具调用的区别普通 MCP 工具调用是我告诉你做什么你返回结果比如读这个文件。Context-mode 更像是我告诉你我要干什么你帮我准备上下文。举个例子。普通模式下代理要改一个函数它得自己决定读哪个文件、读多少行、要不要读调用方。这些决策全靠模型自己判断很容易读多或读少。Context-mode 下代理只需要说我要修改OrderService.calculateTotal上下文服务会自动把函数定义、它的调用方、相关的 DTO、最近的测试用例一起准备好按相关性排序后返回。这个差别很大。前者把找上下文的负担压在模型身上后者把它交给专门的检索逻辑。模型擅长推理不擅长精确检索分工之后整体效率提升明显。4.3 落地 Context-mode MCP 的关键设计我在自己的项目里实现过一版 Context-mode MCP 服务踩了不少坑说几个关键设计点。第一上下文请求要带意图而不是坐标。别让代理说读第 100 到 200 行让它说我要理解这个函数的错误处理逻辑。意图描述让服务端有空间做智能检索坐标描述则把服务端降级成了文件读取器。第二返回结果要带相关性分数和来源。代理需要知道哪段上下文更可信、来自哪个文件。我一开始没加来源信息结果代理把测试代码里的 mock 数据当成了真实业务逻辑闹了笑话。第三要有预算控制。上下文服务返回的内容不能无限大得有个 token 预算。我设的是单次请求不超过 4k token超了就按相关性截断。这个预算要可配置因为不同任务需要的上下文量差别很大。第四缓存要分层。代码片段、文件结构这类变化不频繁的内容可以缓存久一点任务状态、最近修改这类高频变化的内容缓存要短。我一开始用统一 TTL结果代理经常拿到过期的文件内容改了半天的代码其实早就变了。5. 把两者接起来滑动窗口 Context-mode 的协同实战5.1 整体架构长什么样单靠滑动窗口管不住长任务单靠 Context-mode 又缺一个短期记忆的兜底。我的做法是两者协同短期层ChatMemory 滑动窗口负责最近几轮的即时对话保证连贯性。长期层Context-mode MCP 服务负责按需检索代码、文档、历史结论。约束层系统提示 一个独立的约束存储硬约束永远注入不参与滑动。代理每一轮开始前先由约束层注入硬约束再由 Context-mode 按当前任务检索相关上下文最后拼上滑动窗口里的最近对话。三层拼完再做一次 token 预算校验超了就按优先级砍。5.2 一次完整的上下文拼装过程我拿一个真实场景走一遍。任务是给订单服务加一个超时自动取消的功能。第一步约束层注入项目是 Java 17、Spring Boot 3、禁止用Thread.sleep、定时任务统一用调度框架。这些是常驻的。第二步Context-mode 检索代理声明意图我要实现订单超时取消服务端返回OrderService定义、现有的定时任务配置、订单状态枚举、以及一个类似的支付超时实现作为参考。按相关性排序控制在 4k token 内。第三步滑动窗口拼接最近 5 轮对话包括用户的需求描述、代理的方案讨论、我确认的几个决策点。第四步预算校验三层加起来 11k token没超 16k 的预算直接发。如果超了先砍滑动窗口里最老的对话再砍 Context-mode 里相关性最低的片段硬约束永远不砍。这套流程跑下来代理在 20 轮以上的长任务里基本不再失忆关键约束的保持率从之前的 40% 提到了 95% 以上。5.3 实测数据与调参经验我把调参过程中几个关键参数和实测效果整理成表供参考。参数初始值调优后影响滑动窗口轮数85窗口太大反而稀释注意力Context 单次预算8k4k4k 足够8k 引入噪声硬约束注入位置窗口内独立层独立层保证不被滑出摘要触发阈值每轮连续失败 2 轮减少无谓摘要开销缓存 TTL代码统一 5min文件级 30s避免拿到过期代码有个反直觉的发现滑动窗口轮数不是越大越好。我从 8 调到 5 之后代理表现反而更稳。原因是窗口里塞太多历史模型会过度依赖之前说过什么而不是当前任务需要什么。5 轮是个比较舒服的平衡点再少就丢连贯性了。6. 那些文档不会告诉你的坑6.1 工具返回结果的隐形膨胀前面提过工具返回会撑爆窗口这里说个更隐蔽的同一个工具被反复调用返回内容高度重复。比如代理连续读了同一个文件的三个不同片段三次返回里有大量重叠。如果不做去重窗口里全是冗余。我的做法是在 Context-mode 服务端加一层内容指纹去重对返回内容算个哈希如果和最近几次返回高度相似就只返回差异部分并标注与上次返回的差异。这一招把工具返回的平均体积压掉了 40%。6.2 摘要压缩的信息漂移用摘要压缩历史对话时最容易出问题的是约束类信息的漂移。比如原文是禁止使用System.out.println摘要可能写成建议使用日志框架语义就从禁止变成了建议强度完全变了。我的应对是约束类信息不参与摘要单独抽出来存。摘要只处理讨论过程和已排除方案这类软信息。硬约束走独立存储永远原文注入。这个规则看起来简单但能避免很多代理突然不守规矩的诡异问题。6.3 多轮任务里的状态漂移长任务跑到后面代理对当前进度的认知容易漂移。它可能忘了已经改过哪个文件重复修改或者忘了某个决策已经确认又拿出来重新讨论。解决办法是维护一个显式的任务状态对象每轮更新每轮注入。这个对象很小就几个字段当前文件、已完成步骤、待办步骤、已确认决策。它不参与滑动永远在窗口最前面。有了它代理的方向感稳很多。6.4 上下文顺序对结果的影响同样的内容放在窗口的不同位置模型的表现不一样。我的实测是硬约束放最前任务状态紧随其后相关代码放中间历史对话放最后。这个顺序符合模型的注意力分布——开头和结尾的注意力权重高中间相对低。把最重要的放两头次要的放中间。我试过把硬约束放最后结果代理经常读到一半就开始动手约束还没看到就出错了。顺序这事看着玄学实测确实有影响。7. 从编码代理到更广的场景上下文工程的通用思路7.1 这套方法能迁移到哪些场景上下文工程不只服务于编码代理。任何长任务 有限窗口 需要记住约束的场景都用得上。比如 AI 测试开发测试用例生成需要记住被测系统的接口契约历史失败用例覆盖率要求这些和编码代理的约束、状态、参考代码是一一对应的。再比如多 AI 协作场景多个代理分工干活上下文管理就变成了如何在代理之间传递最小必要信息本质还是那套优先级和预算控制。我甚至把这套思路用在了写长文档上硬约束是文档大纲和风格要求任务状态是已写章节参考材料按需检索历史讨论压缩保留。效果比无脑把所有材料塞进去好得多。7.2 一个可复用的上下文管理清单我把实践中总结的检查项列出来你可以对着自己的项目过一遍窗口的计量单位是什么条数、轮次还是 token硬约束有没有独立存储会不会被滑出工具返回有没有体积上限和去重摘要压缩会不会改变约束的语义强度有没有显式的任务状态对象上下文拼装的顺序是否合理超预算时的裁剪优先级是否明确缓存 TTL 是否按内容变化频率分层这八条里我见过最多人栽在第一条和第三条上。计量单位搞错窗口形同虚设工具返回不设限窗口分分钟被撑爆。7.3 关于要不要上向量检索的判断很多人一提到上下文管理就想上向量数据库。我的建议是先别急。向量检索适合海量、非结构化、需要语义匹配的场景比如几万篇文档里找相关段落。但编码代理的上下文需求往往是精确、结构化、有明确指向的——我要的就是那个函数、那个接口定义不需要语义模糊匹配。这种情况下基于符号索引函数名、类名、文件路径的精确检索又快又准比向量检索靠谱得多。我的项目里是两者结合符号索引负责精确定位向量检索负责找相似实现这类模糊需求。但主力是符号索引向量只是补充。别本末倒置。8. 我个人的几点体会折腾这套上下文工程大半年最大的感受是AI 编码代理的瓶颈八成不在模型在工程。同一个模型上下文管得好和管得差表现能差出一个档次。很多人抱怨模型不行其实是自己喂给它的东西不行。第二个体会是上下文管理没有银弹只有权衡。滑动窗口简单但会丢信息分层记忆容量大但复杂摘要压缩省地方但会失真。你得根据自己的任务特点选组合而不是找一个最优解。我的组合未必适合你但判断逻辑是通用的先想清楚哪些信息绝对不能丢再想清楚窗口能装多少剩下的就是怎么在约束下做取舍。第三个体会也是我觉得最值得分享的主动遗忘比被动截断重要得多。滑动窗口的截断是被动的、无差别的而好的上下文工程应该是主动的、有选择的——该记的记牢该忘的果断忘该压缩的压缩。这个主动二字是区分能用和好用的关键。最后分享一个小技巧如果你也在做编码代理不妨加一个上下文审计日志把每轮实际注入的内容和 token 分布打出来。我一开始就是靠这个日志才发现工具返回占了 60% 的窗口。看不见的地方往往就是问题所在。