1. 为什么 max_tokens 才是本地代码评测的隐藏变量Qwen3.6-27B 在 llama.cpp 上跑代码任务很多人第一反应是调 temperature、top_p 这些采样参数但我实测下来真正决定 LeetCode Hard 能不能过的是 max_tokens。这个结论听起来有点反直觉——毕竟 max_tokens 只是输出长度上限跟模型会不会做有什么关系关系大了。Qwen3.6-27B 是带思考链的模型它在输出最终代码之前会先想一大段。这段思考过程同样消耗 token。如果你把 max_tokens 卡在 2048模型经常思考到一半就被截断最终代码根本没机会输出评测脚本拿到的是一个残缺的字符串报错往往是 NameError 或者语法错误。你会误以为是模型能力不行其实是输出空间不够。这篇是本地代码能力评测系列的第三篇聚焦 llama.cpp 的配置细节和 LeetCode Hard 的复现流程。适合已经在本地跑过 Qwen3.6-27B、想系统复测代码能力的人。我会给出可直接复制的启动参数、config.toml 骨架、四道 Hard 题的验证动作以及一组关于 max_tokens 与采样参数的对照记录方式。整套流程在一张 20GB 显存的卡上就能跑。先说结论把 max_tokens 从 2048 提到 65535 之后同一批任务里原本失败的三道题全部翻盘LeetCode Hard 从 1/2 变成 4/4。平均响应时间只涨了不到 10%。这个投入产出比比反复调 temperature 划算得多。2. 前置准备llama.cpp 环境与 TaoToken 接入本地推理和云端 API 不是二选一的关系。我的做法是llama.cpp 负责跑 Qwen3.6-27B 的本地权重做离线评测TaoToken 负责在需要对比更大模型、或者本地卡被占用时提供 OpenAI 兼容的备用通道。两边的请求格式一致评测脚本几乎不用改。TaoToken 的接入地址是 https://taotoken.net/api兼容 OpenAI 的 /v1/chat/completions 协议。你需要在控制台创建一个 API Key然后把它写进环境变量。本地 llama.cpp 的 server 默认监听 http://localhost:8080同样暴露 OpenAI 兼容接口。评测脚本里用一个 base_url 变量切换即可。llama.cpp 这边建议用较新的版本因为 Qwen3.6 系列的 chat template 支持在持续更新。编译时打开 CUDA 或者 Metal 加速。启动 server 的核心命令长这样./llama-server \ -m ./models/Qwen3.6-27B-Q4_K_M.gguf \ -c 32768 \ -ngl 99 \ --host 0.0.0.0 \ --port 8080 \ --jinja \ --chat-template-file ./templates/qwen3.6.jinja几个参数值得展开说。-c 32768 是上下文窗口注意这跟 max_tokens 不是一回事上下文是输入加输出的总预算max_tokens 只是输出那部分的上限。如果你把 -c 设成 8192那 max_tokens 设 65535 也没用会被上下文卡死。-ngl 99 表示尽量把层都放到 GPU 上20GB 显存跑 Q4_K_M 量化基本够。--jinja 让 llama.cpp 用 Jinja 模板渲染对话Qwen3.6 的思考链格式依赖这个。关于 API Key 的创建入口可以直接走 https://taotoken.net/api-keys创建后复制那串 sk- 开头的字符串。接入文档在 https://taotoken.net/doc里面有各语言的示例。如果你打算长期跑编码类 Agent 任务Coding Plan 那条线更适合地址是 https://taotoken.net/coding-plan。3. 可复制配置config.toml 骨架与采样参数评测脚本我习惯用一个 config.toml 管理所有可变项这样换模型、换参数不用改代码。下面这份骨架可以直接拿去用[server] # 本地 llama.cpp 或 TaoToken 的 OpenAI 兼容地址 base_url http://localhost:8080/v1 api_key sk-local-no-auth model qwen3.6-27b [generation] # 关键项给思考链留足空间 max_tokens 65535 temperature 0.6 top_p 0.95 top_k 20 repeat_penalty 1.05 timeout 600 [eval] tasks_dir ./tasks result_dir ./results exec_timeout 60 save_raw_output true采样参数这块Qwen3.6 官方推荐的是 temperature0.6、top_p0.95、top_k20。我试过把 temperature 拉到 1.0代码多样性上去了但正确率掉了压到 0.2 又容易陷入重复循环。0.6 是个比较稳的中间值。repeat_penalty 别设太高1.05 到 1.1 之间就行设到 1.3 以上会破坏代码里的正常重复结构比如循环变量。max_tokens 设 65535 是个安全值。你可能会担心模型真的输出六万多 token 导致响应变慢实测下来不会——模型只在需要时才用满简单任务照样几十秒返回。真正影响响应时间的是任务复杂度不是这个上限本身。timeout 要跟着 max_tokens 一起调。原来 300s 的 timeout 在 max_tokens 提升后不够用Hard 题加上完整项目任务单次请求跑到 200s 以上很正常设 600s 比较稳妥。如果你要切到 TaoToken 做对比评测只改 [server] 段[server] base_url https://taotoken.net/api/v1 api_key sk-你的key model claude-sonnet-4-5其余配置不动评测脚本读的是同一份 config结果可以直接横向对比。4. 验证请求LeetCode Hard 四题与结果记录评测脚本的核心逻辑是读任务描述 → 发请求 → 提取代码块 → 执行测试用例 → 记录 PASS/FAIL 和耗时。下面是一个精简版的请求函数import requests, time, re, tomllib with open(config.toml, rb) as f: cfg tomllib.load(f) def ask_model(prompt): url f{cfg[server][base_url]}/chat/completions headers {Authorization: fBearer {cfg[server][api_key]}} payload { model: cfg[server][model], messages: [{role: user, content: prompt}], max_tokens: cfg[generation][max_tokens], temperature: cfg[generation][temperature], top_p: cfg[generation][top_p], } t0 time.time() r requests.post(url, jsonpayload, headersheaders, timeoutcfg[generation][timeout]) elapsed time.time() - t0 content r.json()[choices][0][message][content] return content, elapsed def extract_code(text): blocks re.findall(rpython\n(.*?), text, re.S) return blocks[-1] if blocks else text注意 extract_code 取的是最后一个代码块。Qwen3.6 的思考链里可能夹着伪代码片段最终答案通常在最后。这个细节不处理评测结果会很难看。四道 Hard 题的验证动作我按题目分别记录。Trapping Rain Water 用双指针测试用例覆盖空数组、单调递增、单调递减、中间有坑四种情况。Wildcard Matching 用 DP重点测*匹配空串和连续*的边界。Median of Two Sorted Arrays 是重头戏测空数组、单元素、奇偶长度混合。Edit Distance 测完全相同、完全不同、空串三种极端。结果记录我用一个 CSV字段包括任务名、max_tokens、temperature、是否 PASS、响应时间、失败原因。这样跑多轮之后可以直接做透视表。下面是一组对照数据同一批任务在 max_tokens2048 和 65535 下的表现任务max_tokens2048max_tokens65535响应时间变化Trapping Rain WaterPASSPASS91s → 117sWildcard MatchingFAIL (NameError)PASS111s → 154sMedian of Two Sorted ArraysPASSPASS127s 左右Edit DistanceFAIL (截断)PASS94s 左右生产者-消费者FAIL (NameError)PASS132s → 130s分页 API 响应FAIL (NameError)PASS155s → 82s规律很清楚失败的题几乎都是 NameError 或截断说明模型没输出完整函数定义。max_tokens 一提这些题全部恢复。而响应时间并没有因为上限提高而暴涨分页 API 那题反而从 155s 降到 82s——因为模型不用在有限空间里反复挣扎了。5. 本篇常见错排查第一个坑是上下文窗口和 max_tokens 混淆。有人把 -c 设成 8192然后 max_tokens 填 65535结果请求直接报错或者被静默截断。记住 -c 必须大于输入长度加 max_tokens跑 Hard 题建议 -c 至少 32768。第二个坑是 chat template 没生效。如果你启动 llama-server 时没加 --jinjaQwen3.6 的思考链格式会渲染错乱模型输出一堆特殊 token 或者干脆不思考。表现是代码质量明显下降Hard 题通过率暴跌。检查方法是看原始输出里有没有正常的思考段落。第三个坑是 timeout 没跟着调。max_tokens 提上去之后单次请求可能跑 200s 以上原来 300s 的 timeout 在完整项目任务上会超时。把 timeout 设到 600sexec_timeout 单独控制代码执行时间两个别混。第四个坑是代码提取正则太贪心。用re.findall(r(.*?), text, re.S)会把思考链里的伪代码也抓出来。指定语言标签python并且取最后一个块能过滤掉大部分噪声。第五个坑是阻塞式服务器任务误判。像 HTTP 服务器这种用 serve_forever() 的任务验证脚本在同一进程里发请求会永远等不到最后超时判 FAIL。但代码本身是对的。解决办法是让模型用 daemon 线程启动或者验证脚本用 subprocess 起独立进程。这个属于评测框架的局限不是模型问题记录时要单独标注。第六个坑是 repeat_penalty 设太高。有人为了防重复把 repeat_penalty 拉到 1.5结果代码里的 for 循环、变量名重复全被惩罚生成的代码语法都乱了。保持在 1.05 到 1.1。6. 后续怎么继续压测跑完这一轮我建议你把 max_tokens 固定成 65535然后只动 temperature 做一组对照看看 0.4、0.6、0.8 三档对 Hard 题通过率的影响。再往下可以对比 Q4_K_M 和 Q8_0 两种量化精度看精度损失对算法题的影响有多大——这个差异在 Hard 题上通常比 Medium 明显。如果你想把评测扩展到完整项目任务验证框架得升级用 subprocess 隔离执行环境给服务器类任务留后台启动的接口多文件项目要能处理 import 路径。这部分工作量不小但比反复调采样参数有价值得多。需要对比云端模型时TaoToken 的模型对话入口在 https://taotoken.net/model-chat可以直接在网页上试同一道 Hard 题看不同模型的思考链长度差异。接入文档在 https://taotoken.net/doc里面有完整的请求示例。长期跑编码 Agent 的话Coding Plan 那条线在 https://taotoken.net/coding-plan适合把评测流程固化下来。最后留一个我踩过的坑别用 max_tokens 去省响应时间。我一开始也以为设小点能跑快点结果失败重试的次数反而更多总耗时更长。给足输出空间一次跑对才是真的快。