1. 为什么你的 Agent 一遇到多步任务就“翻车”我最近在帮一个团队调他们的客服 Agent场景不复杂用户发来一段自然语言描述Agent 需要判断问题类型、提取关键信息、决定走退款还是走换货、最后生成一段回复。单看每一步都不难但串起来之后Agent 的准确率从单步的 90% 掉到了 60% 出头。排查了半天问题不在模型能力而在提示词——他们用的是最朴素的 Zero-Shot 指令既没有给示例也没有让模型把中间推理写出来。这就是 AI Agent Harness Engineering 里最容易被低估的一环提示词工程进阶。所谓 Harness你可以理解成“驾驭层”——模型本身是发动机Harness 是方向盘、仪表盘和传动轴。Few-Shot 和思维链Chain-of-Thought就是 Harness 层里最直接、最便宜、见效最快的两个调节旋钮。Few-Shot 解决的是“模型不知道你要什么格式、什么粒度、什么边界”的问题。你给它两三个输入输出对它就能从上下文里推断出任务模式不需要微调不需要重新训练。思维链解决的是“模型在复杂推理上一步到位容易出错”的问题。你让它把中间步骤写出来它就有了自我纠错的余地你也有了排查的依据。这篇文章面向的是已经在写 Agent、但觉得推理链路不够稳的开发者。我会给出可以直接复制的 Few-Shot 模板、CoT 配置、在 Agent Harness 里验证推理稳定性的操作步骤以及我踩过的几个典型坑。你不需要有提示词工程的背景只要会写 JSON、会调 API 就能跟做。核心检索词先摆出来AI Agent 提示词工程、Few-Shot 示例模板、思维链 Chain-of-Thought 配置、Agent 推理链路稳定性验证。这四个词贯穿全文你可以在每一节里找到对应的可操作内容。2. TaoToken 前置把模型接入层先跑通在写 Few-Shot 和 CoT 之前你得先有一个稳定的模型调用入口。我用的是 TaoToken 的 API 网关原因很简单它兼容 OpenAI 的接口格式我现有的代码几乎不用改只需要换 Base URL 和 Key。对于 Agent Harness 这种需要频繁切换模型、对比不同提示词效果的场景统一入口能省掉大量适配工作。TaoToken 的官网是 https://taotoken.net/?utm_sourcetaotoken_aicg_blog_endutm_mediumcsdnutm_campaignrewriteutm_content API 地址是 https://taotoken.net/api 。注意 API 地址后面不加 UTM 参数直接拼/v1/chat/completions就是标准的 OpenAI 兼容端点。你需要先拿到 API Key。进入控制台后创建密钥建议给 Agent 项目单独建一个 Key方便后面做用量追踪和权限隔离。控制台地址是 https://taotoken.net/console?utm_sourcetaotoken_aicg_blog_endutm_contentconsoleutm_campaignrewrite API Keys 管理页在 https://taotoken.net/api-keys?utm_sourcetaotoken_aicg_blog_endutm_contentapi-keysutm_campaignrewrite 。拿到 Key 之后我建议你先用模型对话页面做一次快速验证确认 Key 和模型 ID 能正常工作。模型对话入口是 https://taotoken.net/chat?utm_sourcetaotoken_aicg_blog_endutm_contentmodel-chatutm_campaignrewrite 。在里面选一个你打算用于 Agent 的模型发一句“你好请用一句话介绍你自己”能正常返回就说明接入层通了。这里有一个关键点Agent Harness 里的模型选择不要只看“最强”要看“最稳”。Few-Shot 和 CoT 的效果高度依赖模型对指令的遵循能力。我实测下来同一个 Few-Shot 模板在不同模型上的表现差异可以到 20 个百分点。所以你在做提示词工程之前先固定一个模型 ID后面所有对比都在同一个模型上做否则变量太多根本定位不到问题。如果你后面要做长期的 Agent 编码任务或者复杂的任务编排可以考虑 Coding Plan入口是 https://taotoken.net/coding-plan?utm_sourcetaotoken_aicg_blog_endutm_contentcoding-planutm_campaignrewrite 。它更适合需要持续调用、多轮迭代的场景。接入文档在 https://taotoken.net/doc?utm_sourcetaotoken_aicg_blog_endutm_contentdocutm_campaignrewrite 里面有完整的参数说明和错误码对照。接入层跑通之后你就可以把精力全部放在提示词结构上了。下面进入正题。3. 可复制配置Few-Shot 模板与 CoT 提示词结构这一节是全文的核心操作部分。我会给出一个完整的 Agent 任务配置包含 Few-Shot 示例、CoT 引导、以及模型参数。你可以直接复制到你的项目里改掉任务描述和示例内容就能用。先看整体结构。一个稳定的 Agent 提示词应该分成四层角色与任务定义、Few-Shot 示例区、CoT 推理引导区、输出格式约束区。很多人只写了第一层和第四层中间两层空着这就是推理不稳定的根源。下面是一个用于“工单分类与处理建议”的 Agent 配置。我用 JSON 格式写因为 Agent Harness 通常需要把提示词结构化存储方便版本管理和 A/B 测试。{ model: gpt-4o-mini, temperature: 0.2, max_tokens: 1200, messages: [ { role: system, content: 你是一个工单处理 Agent。你的任务是根据用户描述判断工单类型退款/换货/咨询/投诉提取订单号和商品名给出处理建议。你必须先展示推理过程再给出结构化结果。 }, { role: user, content: 示例1\n用户描述我上周买的鞋子尺码不对想换成大一号的。订单号是 20240512001。\n\n推理过程\n1. 用户提到“尺码不对”和“想换”属于换货诉求。\n2. 订单号明确给出20240512001。\n3. 商品名从描述中提取鞋子。\n4. 处理建议引导用户提交换货申请确认库存中有大一号。\n\n结构化结果\n{\type\: \换货\, \order_id\: \20240512001\, \product\: \鞋子\, \suggestion\: \引导提交换货申请确认大一号库存\} }, { role: assistant, content: 已理解示例1的推理格式和输出结构。 }, { role: user, content: 示例2\n用户描述我收到的杯子是碎的我要退款订单号 20240513007。\n\n推理过程\n1. 用户明确说“要退款”属于退款诉求。\n2. 订单号20240513007。\n3. 商品名杯子。\n4. 处理建议优先致歉引导上传破损照片走退款流程。\n\n结构化结果\n{\type\: \退款\, \order_id\: \20240513007\, \product\: \杯子\, \suggestion\: \致歉并引导上传破损照片走退款流程\} }, { role: assistant, content: 已理解示例2的推理格式和输出结构。 }, { role: user, content: 现在处理新工单\n用户描述我买的耳机左耳没声音订单号 20240514012能换吗\n\n请先写出推理过程再输出结构化结果。 } ] }这个配置里有几个关键设计点我逐个解释。第一Few-Shot 示例放在 user 角色里而不是 system 里。原因是 system 消息通常被模型当作“全局指令”而示例是“具体任务演示”放在 user 轮次里更符合上下文学习的机制。每个示例后面跟一条 assistant 的确认消息这是为了让模型在生成时“看到”自己已经理解了示例减少格式漂移。第二CoT 引导不是简单加一句“让我们一步步思考”而是在示例里就把推理过程写出来。这叫 Few-Shot CoT效果比 Zero-Shot CoT 稳定得多。模型会模仿示例中的推理粒度不会跳步也不会过度展开。第三输出格式用 JSON 约束。Agent Harness 通常需要程序化解析结果JSON 比自然语言好解析。但注意JSON 前面必须有推理过程否则模型容易直接跳到结果推理质量下降。第四temperature 设成 0.2。Agent 任务要的是稳定不是创意。温度太高同样的输入两次调用可能给出不同的分类结果这在生产环境里是灾难。如果你用的是 Claude 系列模型配置结构类似但要注意 Claude 对 system 消息的处理略有不同。Claude Code 的接入方式可以参考 https://taotoken.net/claude-code-anthropic?utm_sourcetaotoken_aicg_blog_endutm_contentclaude-codeutm_campaignrewrite 里面有 Base URL、Key、Model ID 三件套的完整配置。如果你用的是 Cline 或者带 MCP 的 Agent 框架配置会落在 settings 文件里。以 Cline 为例它的 MCP 配置通常是一个 JSON 文件你需要填三个东西Base URL 填https://taotoken.net/apiAPI Key 填你创建的那个Model ID 填你选定的模型。这三个缺一不可少一个就会报连接错误。Codex 的 auth.json 也是类似逻辑。文件路径通常在~/.codex/auth.json内容结构如下{ base_url: https://taotoken.net/api, api_key: 你的Key, model: gpt-4o-mini }注意 base_url 不要带/v1因为 Codex 会自己拼路径。这个坑我踩过多写一个/v1会直接 404。配置写完之后不要急着上生产。下一节我会讲怎么验证推理链路是否稳定。4. 验证请求用脚本跑通推理链路并检查稳定性配置写好了怎么知道它真的能稳定工作我的做法是写一个小的验证脚本用同一批测试用例跑多次看输出的一致性和正确率。这一步很多人跳过结果上线后才发现模型偶尔“抽风”。先看一个最小的验证请求。用 Python 的 requests 库直接调import requests import json API_URL https://taotoken.net/api/v1/chat/completions API_KEY 你的Key headers { Authorization: fBearer {API_KEY}, Content-Type: application/json } payload { model: gpt-4o-mini, temperature: 0.2, messages: [ { role: system, content: 你是一个工单处理 Agent。先展示推理过程再输出 JSON 结果。 }, { role: user, content: 示例1\n用户描述鞋子尺码不对想换大一号。订单号 20240512001。\n推理过程\n1. 诉求是换货。\n2. 订单号 20240512001。\n3. 商品鞋子。\n结构化结果\n{\type\: \换货\, \order_id\: \20240512001\, \product\: \鞋子\}\n\n示例2\n用户描述杯子碎了要退款。订单号 20240513007。\n推理过程\n1. 诉求是退款。\n2. 订单号 20240513007。\n3. 商品杯子。\n结构化结果\n{\type\: \退款\, \order_id\: \20240513007\, \product\: \杯子\}\n\n现在处理\n用户描述耳机左耳没声音订单号 20240514012能换吗\n请先写推理过程再输出 JSON。 } ] } response requests.post(API_URL, headersheaders, jsonpayload) result response.json() print(result[choices][0][message][content])跑通之后你会看到类似这样的输出推理过程 1. 用户说“左耳没声音”属于质量问题。 2. 用户问“能换吗”诉求是换货。 3. 订单号20240514012。 4. 商品耳机。 结构化结果 {type: 换货, order_id: 20240514012, product: 耳机}这说明推理链路是通的。但一次成功不代表稳定。接下来要做的是稳定性验证准备 10 到 20 个测试用例每个用例跑 3 次统计三个指标——格式合规率、分类准确率、推理步骤完整率。格式合规率看的是输出能不能被 JSON 解析。分类准确率看的是 type 字段对不对。推理步骤完整率看的是模型有没有跳过推理直接给结果。我实测下来Few-Shot CoT 的配置在 20 个用例上跑 3 次格式合规率能到 98% 以上分类准确率在 90% 左右推理步骤完整率接近 100%。如果不加 Few-Shot 和 CoT格式合规率会掉到 70% 左右分类准确率掉到 75%。这里有一个细节验证的时候要把 temperature 固定住不要中途改。如果你发现同一个用例三次输出不一致先检查 temperature 是不是被其他地方覆盖了。Agent Harness 里经常有多层配置环境变量、代码默认值、请求参数三层叠加很容易出现你以为设了 0.2 实际跑的是 0.7 的情况。还有一个验证技巧把推理过程和结构化结果分开解析。推理过程用正则提取结构化结果用 JSON 解析。如果 JSON 解析失败但推理过程存在说明模型理解了任务但格式没控制住这时候可以加一个“输出必须以 { 开头”的约束。如果推理过程都没有说明 CoT 引导没生效需要检查示例里的推理步骤是不是写得太简略。验证通过之后你就可以把这个配置固化到 Agent Harness 里了。但上线之后还会遇到各种报错下一节我整理了几个最常见的。5. 本篇常见错排查401、local proxy failed、reading choices、OAuth这一节我按报错类型来组织每个报错给出原因和修复方式。这些是我在实际项目里真实遇到过的不是从文档里抄的。401 Unauthorized这是最常见的错误原因通常有三个。第一API Key 写错了或者过期了。去 API Keys 页面重新生成一个注意复制的时候不要带空格。第二Authorization 头的格式不对。正确格式是Bearer 你的KeyBearer 和 Key 之间有一个空格很多人漏掉。第三Key 和 Base URL 不匹配。如果你用的是 TaoToken 的 KeyBase URL 必须是https://taotoken.net/api不能填其他地址。local proxy failed这个报错通常出现在你本地配了代理工具的情况下。Agent Harness 发出的请求被本地代理拦截了但代理没有正确转发。修复方式是检查你的环境变量HTTP_PROXY和HTTPS_PROXY如果不需要代理就清空它们。另外有些 Agent 框架会自己读系统代理设置你需要在框架配置里显式关闭代理。这个报错和网络环境有关排查的时候先确认请求能不能直接到达 API 地址。reading choices 报错完整报错通常是Cannot read properties of undefined (reading choices)。这说明 API 返回的结构里没有 choices 字段你的代码却直接去取response.choices[0]。根本原因往往是 API 返回了一个错误对象而不是正常的 completion 结果。修复方式是先打印完整的 response看里面有没有error字段。如果有根据 error.message 判断是 Key 问题、模型 ID 问题还是参数问题。模型 ID 写错也会导致这个报错比如把gpt-4o-mini写成gpt-4-miniAPI 会返回模型不存在的错误。OAuth 相关报错如果你用的是 Claude Code 或者类似的 CLI 工具可能会遇到 OAuth 认证失败。这类工具通常有两种认证方式OAuth 和 API Key。如果你走的是 API Key 方式需要在配置里明确指定不要让它走 OAuth 流程。Claude Code 的配置参考 https://taotoken.net/claude-code-anthropic?utm_sourcetaotoken_aicg_blog_endutm_contentclaude-codeutm_campaignrewrite 里面有完整的认证配置说明。OAuth 报错通常表现为 token 过期或者 redirect 失败修复方式是清除本地缓存的 token 文件重新用 API Key 配置。除了这四个还有一个隐蔽的坑Few-Shot 示例太长导致 token 超限。Agent Harness 里通常会拼接多轮上下文如果你放了 5 个以上的长示例再加上历史对话很容易超过模型的上下文窗口。表现是请求返回 400 错误提示 token 超限。修复方式是精简示例每个示例只保留最关键的输入输出对推理过程控制在 3 步以内。排查的时候有一个通用原则先看 HTTP 状态码再看 response body最后看你的代码解析逻辑。大部分问题在前两步就能定位到不要一上来就怀疑模型。6. 语义一致 CTA把配置落到你的 Agent 项目里写到这里Few-Shot 模板、CoT 配置、验证脚本、排错清单都齐了。你现在可以做的事情很具体打开你的 Agent 项目找到提示词配置文件把第 3 节的 JSON 结构复制进去改掉任务描述和示例内容然后用第 4 节的脚本跑一遍验证。如果你还没有接入层先去 https://taotoken.net/api-keys?utm_sourcetaotoken_aicg_blog_endutm_contentapi-keysutm_campaignrewrite 创建一个 Key然后参考 https://taotoken.net/doc?utm_sourcetaotoken_aicg_blog_endutm_contentdocutm_campaignrewrite 里的接入说明把 Base URL 配好。想先试试模型对话效果可以去 https://taotoken.net/chat?utm_sourcetaotoken_aicg_blog_endutm_contentmodel-chatutm_campaignrewrite 快速验证。如果你的 Agent 需要长期跑编码任务或者复杂的多步编排Coding Plan 会更合适入口在 https://taotoken.net/coding-plan?utm_sourcetaotoken_aicg_blog_endutm_contentcoding-planutm_campaignrewrite 。它针对持续调用和长上下文场景做了优化Few-Shot 示例可以放得更从容。最后说一个我自己的经验Few-Shot 和 CoT 不是一次配置就一劳永逸的。模型会更新你的任务分布也会变化。我现在的做法是每个月跑一次稳定性验证把失败用例收集起来补充到 Few-Shot 示例里。这样提示词会随着项目一起进化而不是上线三个月后就慢慢失效。你可以在验证脚本里加一个自动记录失败用例的逻辑省掉手动整理的麻烦。