为什么聊久了 AI 就忘事上下文窗口 Context Window 详解导语你跟 AI 聊到第 50 轮它突然不认得开头说过的话——这不是它记性差是上下文窗口Context Window到顶了。本文讲清它是什么、为什么有限、以及怎么用代码看清它的边界。一、背景 / 为什么需要它做对话产品时最常见的投诉“AI 前面明明答应过后面全忘了。“很多人第一反应是骂模型笨。其实问题出在上下文窗口——它是模型一次性能处理的文字量上限”不是记忆而是一个固定大小的阅读框”。你每次发的每句话、它回的每句话都变成 Token 堆在一起送进模型。这个能一起送进去的最大长度就是上下文窗口。比如 8 万 Token 的窗口差不多能塞下一篇中篇小说但一旦超出最早的内容就会被挤出去。二、核心概念 / 原理关键认知上下文窗口不是记忆是一个固定大小的阅读框。窗口越大模型每算一步要同时比对的内容越多算力和钱都往上飙。所以厂商不是不能做大是在够用和烧钱之间找平衡——这就是为什么不同模型窗口差那么多。更反直觉的一点是AI 在两次请求之间其实什么都不记得。你每次发消息对模型都是一次全新开始所谓它记得对话是聊天软件把历史记录又原样发回给它了。一旦软件不再发旧记录开新会话、或超窗口被截断它立刻变初见。flowchart TD A[输入] -- B[处理] B -- C[输出] C -- E[模型只读框内内容] mermaid graph LR A[新消息进入] -- B{窗口未满?}B -- 是 -- C[原样拼进上下文] B -- 否 -- D[挤出最老的 Tokenbr或压缩成摘要] C -- E[模型只读框内内容] D -- E E -- F[框外内容模型忘了]把重要前提藏在开头然后指望它一直记得是典型误区。正确做法是把关键约束写在最新一条消息里或定期重述。三、动手实操用 tiktoken 看清窗口边界3.1 环境与版本Python 3.11tiktoken 0.7OpenAI 官方分词器用来数 Token以cl100k_base编码近似演示不同模型编码不同数量级一致3.2 关键代码下面演示一段长文本到底占多少 Token以及超出窗口会被截断的模拟。importtiktoken# 3.1 初始化编码器cl100k_base 是 GPT-3.5/4 系常用编码enctiktoken.get_encoding(cl100k_base)# 3.2 模拟一段聊了很久的对话历史history用户我叫小王帮我记一下今天只干了三件事。\nhistory(AI好的记下了。\n*200)# 假装有 200 轮来回history用户我刚说今天干了几件事# 3.3 数 Tokentokensenc.encode(history)print(总 Token 数,len(tokens))# 3.4 模拟 8 万 Token 窗口的截断行为WINDOW80_000iflen(tokens)WINDOW:kepttokens[-WINDOW:]# 只保留最后 8 万最早的被挤出print(超出窗口保留最新 Token 数,len(kept))else:kepttokens# 3.5 看框外的内容是否还在decodedenc.decode(kept)print(窗口内还能看到小王吗,小王indecoded)预期结果200 轮来回后总 Token 数远超 8 万截断后保留的窗口里开头的小王/三件事已被挤出小王 in decoded大概率为False——这就是聊久了就忘事的代码级证据。四、常见坑 / 避坑清单把上下文窗口当长期记忆它只是临时阅读框关会话即清空。真要长期记住用户得上外部记忆RAG、向量库、用户档案别指望窗口。重要前提写在开头一旦对话变长被截断开头约束最先丢。把关键规则写进系统提示词并在最新消息里复重述。盲目堆大窗口窗口翻倍推理的每一步注意力计算成本近似平方级上升延迟和账单都会爆。够用就好超出的用检索/摘要补。以为它忘是模型丢数据其实是客户端没把旧记录递回去新会话、被截断。排查健忘先看发送侧是否带了 history。五、总结上下文窗口 一次性可读的最大 Token 数是阅读框不是记忆。超限后最早内容被挤出或压缩表现就是聊久了忘事。两次请求之间模型不记得任何事记忆靠客户端回传 history。关键约束放系统提示词 最新消息复重述长期记忆交给外部方案。最后以上就是本文的全部内容希望对你有帮助。AI 的上下文窗口和记忆机制这块我会接着在 CSDN 专栏《AI基础知识分享》里拆。点个关注新文不漏看。