1. 为什么 Agentic 小模型需要一个可观测的数据飞轮Agentic 小模型和普通对话模型的差别不在于参数量而在于它要在一个循环里反复做三件事读环境状态、选工具、根据返回结果修正下一步。这意味着它的能力上限很大程度上由训练数据的“闭环质量”决定——如果数据只是静态的一问一答模型学不会多轮纠错如果数据来自真实 API成本高、反馈不稳定很难规模化迭代。数据飞轮的核心思路是让每一轮训练后模型暴露的失败样本自动变成下一轮更有信息量的训练数据。推理任务里表现为错题扩增虚拟任务里表现为行为树分支扩展最终形成“错题 → 扩增 → 过滤 → 训练 → 新错题”的闭环。这个闭环要跑起来本地开发环境需要一套可复制的配置骨架把模型接入、工具调用、数据回流三件事串起来。这篇面向本地开发环境交付一份可直接复制的config.toml与settings.json骨架演示如何通过 TaoToken 统一 Key/API 通道接入 AI 工具并给出验证数据回流与模型迭代是否生效的具体动作。适合正在做 Agentic 小模型微调、想搭建可观测进化闭环的开发者。2. TaoToken 前置统一 Key 与 API 通道在搭建飞轮之前先解决一个工程问题本地开发时模型调用、工具调用、数据合成往往走不同供应商Key 分散、计费混乱、切换成本高。TaoToken 的作用是提供一个统一的 API 通道把模型对话、编码 Agent、数据合成脚本的调用收敛到一套 Key 上。你需要先拿到 API Key。访问控制台创建控制台入口https://taotoken.net/console?utm_sourcetaotoken_aicg_blog_endutm_contentconsoleutm_campaignrewriteAPI Key 管理https://taotoken.net/api-keys?utm_sourcetaotoken_aicg_blog_endutm_contentapi-keysutm_campaignrewrite拿到 Key 后API 基地址统一用https://taotoken.net/api注意API 地址不加 UTM 参数直接写进配置文件即可。如果你用的是 Claude Code 这类编码 Agent 做数据合成脚本的辅助开发可以走 Anthropic 兼容通道Claude Code 接入说明https://taotoken.net/ClaudeCodeAnthropic?utm_sourcetaotoken_aicg_blog_endutm_contentClaudeCodeAnthropicutm_campaignrewrite注意不要把 Key 硬编码进提交到 Git 的配置文件。本地用环境变量注入配置文件里只写占位符。3. 可复制配置config.toml 与 settings.json 骨架下面这份骨架分两部分config.toml负责飞轮主流程任务合成、环境模拟、奖励计算、数据回流settings.json负责工具与模型通道。两者配合构成一个最小可运行的迭代闭环。3.1 config.toml飞轮主流程配置# config.toml - Agentic 小模型数据飞轮骨架 [project] name agentic-flywheel version 0.1.0 work_dir ./workspace seed 42 [model] # 统一走 TaoToken API 通道 base_url https://taotoken.net/api api_key_env TAOTOKEN_API_KEY # 从环境变量读取不写明文 teacher_model claude-sonnet # 用于任务合成与 rubric 生成 student_model qwen3-8b # 待迭代的小模型 max_tokens 4096 temperature 0.7 [flywheel] # 数据飞轮轮次控制 max_rounds 5 hard_sample_ratio 0.6 # 每轮从失败样本中采样的比例 min_new_samples 200 # 每轮至少新增样本数 consistency_filter true # 多模型一致性过滤 consistency_models [claude-sonnet, qwen3-30b] [task_synthesis] # 任务合成信息差注入 enable_information_gap true rewrite_user_prompt true # 把完整流程重写为信息不充分的指令 hide_critical_details true # 关键细节藏进用户私有上下文 [environment] # 环境模拟mock user mock tool mock_user true mock_tool true task_level_consistency true # 同一任务内相同调用返回一致结果 tool_response_cache ./cache/tool_responses.jsonl [reward] # 基于执行的 rubric 奖励 type rubric_based use_workflow_reference true penalize_forbidden_actions true require_user_interaction true [data_flow] # 数据回流路径 raw_trajectory_dir ./data/trajectories hard_sample_dir ./data/hard_samples filtered_dir ./data/filtered train_set ./data/train.jsonl eval_set ./data/eval.jsonl3.2 settings.json工具与模型通道{ api: { base_url: https://taotoken.net/api, api_key: ${TAOTOKEN_API_KEY}, timeout_seconds: 120, max_retries: 3 }, tools: { mock_tool_enabled: true, tool_schema_dir: ./schemas, consistency_cache: ./cache/tool_responses.jsonl, forbidden_actions: [ write_without_confirmation, skip_identity_check, guess_missing_param ] }, mock_user: { enabled: true, adversarial_ratio: 0.3, private_context_dir: ./data/private_context, reveal_only_if_asked: true }, rubric: { require_subgoal_completion: true, require_user_interaction: true, penalize_forbidden_actions: true, workflow_reference_dir: ./data/workflows }, logging: { level: info, trajectory_log: ./logs/trajectory.jsonl, reward_log: ./logs/reward.jsonl } }把这两份文件放进项目根目录设置环境变量后即可启动第一轮export TAOTOKEN_API_KEY你的Key python -m flywheel.run --config config.toml --settings settings.json --round 14. 验证请求数据回流与迭代是否生效配置写完不代表飞轮转起来了。你需要用具体动作验证三件事任务合成是否真的注入了信息差、环境模拟是否稳定、奖励是否基于执行而非主观打分。4.1 验证任务合成的信息差跑一轮合成后检查生成的用户指令是否“信息不充分”。如果模型能从初始指令直接推出完整流程说明信息差没生效。import json with open(./data/train.jsonl, r, encodingutf-8) as f: samples [json.loads(line) for line in f] # 检查前 5 条样本的初始指令长度与隐藏字段数 for s in samples[:5]: prompt_len len(s[user_prompt]) hidden s.get(task_background, {}).get(only_reveal_if_asked, []) print(fprompt_len{prompt_len}, hidden_fields{len(hidden)})预期结果hidden_fields大于 0且user_prompt里不包含这些字段的具体值。如果hidden_fields为 0回到config.toml确认hide_critical_details true是否被下游脚本读取。4.2 验证环境模拟的一致性同一任务内相同语义的工具调用应返回一致结果否则 RL 训练会因反馈抖动而无法收敛。import json from collections import defaultdict cache defaultdict(list) with open(./cache/tool_responses.jsonl, r, encodingutf-8) as f: for line in f: rec json.loads(line) key (rec[task_id], rec[tool_name], rec[args_hash]) cache[key].append(rec[response]) inconsistent {k: v for k, v in cache.items() if len(set(map(str, v))) 1} print(finconsistent_calls{len(inconsistent)})预期结果inconsistent_calls接近 0。如果数量偏高检查task_level_consistency是否开启以及args_hash的计算是否把语义相同的参数归一化了。4.3 验证奖励是否基于执行奖励日志里应该能看到每个子目标的完成情况而不是一个笼统的分数。python -m flywheel.inspect_reward --log ./logs/reward.jsonl --task-id task_0001输出应包含类似结构{ task_id: task_0001, subgoals: [ {name: verify_identity, completed: true}, {name: ask_clarifying_question, completed: true}, {name: confirm_before_write, completed: false} ], forbidden_actions_hit: [], final_reward: 0.67 }如果subgoals为空或只有final_reward说明 rubric 没有正确加载检查workflow_reference_dir下是否有对应任务的 workflow 文件。4.4 验证迭代是否真的在进化跑完两轮后对比失败样本的分布变化。早期失败集中在格式与参数缺失中后期应转向复杂状态下的决策错误。import json from collections import Counter def load_failures(path): with open(path, r, encodingutf-8) as f: return [json.loads(line) for line in f] r1 load_failures(./data/hard_samples/round_1.jsonl) r2 load_failures(./data/hard_samples/round_2.jsonl) def categorize(samples): c Counter() for s in samples: if s.get(miss_func): c[miss_func] 1 elif s.get(miss_param): c[miss_param] 1 elif s.get(wrong_branch): c[wrong_branch] 1 else: c[other] 1 return c print(round1:, categorize(r1)) print(round2:, categorize(r2))预期结果miss_func和miss_param占比下降wrong_branch占比上升。这说明模型已经过了“能跑通”阶段进入“复杂状态下做对决策”阶段飞轮在起作用。5. 本篇常见错排查5.1 报错401 Unauthorized或invalid api key最常见的原因是环境变量没注入或者配置文件里写了明文 Key 但被 Git 忽略后本地也没同步。检查echo $TAOTOKEN_API_KEY如果为空重新导出。如果用的是settings.json里的${TAOTOKEN_API_KEY}占位符确认你的加载脚本支持环境变量替换。TaoToken 的 Key 在控制台创建后只显示一次丢了就重新生成一个。5.2 任务合成后模型仍然“照着步骤执行”说明信息差没生效。检查task_synthesis段rewrite_user_prompt和hide_critical_details必须同时为true。另外教师模型生成完整流程后重写指令的 prompt 里要明确要求“移除所有决定性细节”否则教师模型会偷懒保留关键参数。5.3 工具调用返回不一致导致训练抖动如果inconsistent_calls偏高先确认args_hash的计算逻辑。常见坑是把时间戳、随机 ID 这类非语义字段也算进了 hash导致相同语义的调用被当成不同调用。归一化时只保留工具名和业务参数。5.4 奖励全是 0 或全是 1全是 0 通常是 rubric 里的子目标名称和 workflow 文件里的名称对不上检查大小写和下划线。全是 1 通常是forbidden_actions没生效模型走了 hack path 但没被扣分。确认penalize_forbidden_actions true且forbidden_actions列表里的动作名和工具 schema 里定义的一致。5.5 第二轮训练后指标不升反降先看失败样本分布。如果wrong_branch突然暴增可能是行为树扩展时分支条件构造得太激进导致任务难度跳变。把hard_sample_ratio从 0.6 降到 0.4让每轮新增样本里保留更多中等难度样本给模型一个过渡。6. 把飞轮接到你的日常开发流配置骨架跑通后下一步是把它接到你已有的开发流程里。如果你主要用编码 Agent 做数据合成脚本的辅助开发可以走 Coding Plan 通道把模型调用和脚本开发收敛到同一套 KeyCoding Planhttps://taotoken.net/coding-plan?utm_sourcetaotoken_aicg_blog_endutm_contentcoding-planutm_campaignrewrite如果你需要快速验证某个教师模型在任务合成上的表现直接用模型对话入口试几条 prompt比改配置快模型对话https://taotoken.net/?utm_sourcetaotoken_aicg_blog_endutm_contentmodel-chatutm_campaignrewrite接入文档里有完整的 API 参数说明和兼容通道细节遇到通道问题时对照排查接入文档https://taotoken.net/doc?utm_sourcetaotoken_aicg_blog_endutm_contentdocutm_campaignrewrite我自己的习惯是每轮飞轮跑完后先看reward.jsonl里子目标完成率的变化再看hard_samples的类别分布。如果连续两轮wrong_branch占比没有上升说明任务难度梯度太平需要手动往行为树里注入更激进的分支条件。这个判断比看最终 benchmark 分数更早、更准能让你在指标掉之前就调整数据分布。