1. 为什么我要把 100 道 LLM 面试选择题搬进本地脚本LLM 面试选择题题库指的是把 Transformer 基础、模型架构、训练微调、推理优化、工程部署这五大领域的单选题整理成结构化数据再用脚本批量调用大模型核对答案与解析。它适合正在准备算法岗面试、需要反复刷题又不想手动对答案的开发者也适合想用一套统一 Key 同时跑通多个模型做交叉验证的人。我手上这份题库有 100 道题覆盖 Q01 到 Q100每题包含题干、四个选项、标准答案和一段解析。手动刷一遍大概 1.5 小时但真正麻烦的是核对环节同一道题我想知道不同模型给出的答案是否一致如果每个模型都单独申请 Key、单独改环境变量光是配置就能耗掉半小时。更别说有些题涉及 RoPE、GQA、PagedAttention 这些细节单模型答案未必可靠多模型交叉验证才更稳。所以这篇的做法是把题库存成本地 JSON写一个刷题脚本用 TaoToken 作为统一的 Key 和 API 通道一次性接入多个模型。你只需要维护一份 config.toml 和一份 settings.json脚本里切换模型只改一个字段。下面从环境准备讲到可复制的请求验证最后给出我踩过的几个坑。2. TaoToken 前置统一 Key 与 API 通道怎么理解TaoToken 在这里扮演的角色是一个统一的模型调用入口。你可以把它理解成“一个 Key 走通多个模型”的通道脚本不需要为每个模型维护不同的 base_url 和鉴权方式只要把请求发到同一个 API 地址在 body 里指定模型名即可。对于刷题这种需要频繁切换模型核对答案的场景省掉的是重复配置成本。需要提前准备的东西只有两样一个可用的 API Key以及确认你要调用的模型名。Key 在控制台的 API Keys 页面创建模型名以文档里列出的为准。官网地址是 https://taotoken.net/?utm_sourcetaotoken_aicg_blog_endutm_mediumcsdnutm_campaignrewriteutm_content API 基址是 https://taotoken.net/api 注意 API 地址不带 UTM 参数配置里直接写这个。注意API Key 不要写进会被 git 跟踪的文件。我习惯把它放在环境变量里config.toml 只引用变量名settings.json 里也不出现明文。创建 Key 的入口在控制台https://taotoken.net/console?utm_sourcetaotoken_aicg_blog_endutm_contentconsoleutm_campaignrewrite Key 管理页在 https://taotoken.net/api-keys?utm_sourcetaotoken_aicg_blog_endutm_contentapi-keysutm_campaignrewrite 。如果你只是想先手动验证某道题的答案可以直接用模型对话页试https://taotoken.net/models?utm_sourcetaotoken_aicg_blog_endutm_contentmodel_chatutm_campaignrewrite 。3. 可复制配置config.toml 与 settings.json 骨架先建目录结构我习惯这样放llm-quiz/ ├── config.toml ├── settings.json ├── questions.json └── quiz_runner.pyconfig.toml 负责通道级配置settings.json 负责刷题行为配置。两者分离的好处是换模型只动 settings.json换通道只动 config.toml。config.toml 骨架如下重点是 base_url 指向 TaoToken 的 API 地址api_key 从环境变量读取# config.toml [provider] name taotoken base_url https://taotoken.net/api api_key_env TAOTOKEN_API_KEY timeout_seconds 60 max_retries 3 [models] # 用于交叉验证的模型列表按需增删 candidates [ claude-3-5-sonnet, gpt-4o, deepseek-chat ] [request] temperature 0.0 max_tokens 512settings.json 骨架如下控制刷题范围、限时和输出格式{ quiz: { question_file: questions.json, domains: [transformer, architecture, training, inference, engineering], limit_per_question_seconds: 90, shuffle: false }, verify: { enabled: true, models: [claude-3-5-sonnet, gpt-4o], require_consensus: true, save_disagreements: disagreements.json }, output: { report_file: report.md, show_explanation: true } }questions.json 的结构建议统一成下面这样方便脚本解析。题干、选项、答案、解析四个字段是必须的[ { id: Q01, domain: transformer, stem: 在Scaled Dot-Product Attention中除以√dₖ的主要目的是什么, options: { A: 减少计算量, B: 防止过拟合, C: 避免softmax梯度消失, D: 增加模型容量 }, answer: C, explanation: dₖ较大时QKᵀ的方差为dₖsoftmax会进入梯度饱和区。除以√dₖ将方差缩放到1保持梯度敏感。 } ]把 100 道题按这个结构录入后脚本就能逐题读取。录入时注意选项键统一用大写字母答案字段只存字母解析单独存这样后面做多模型比对时不会因为格式差异误判。4. 刷题脚本把 TaoToken 接进请求链路脚本用 Python 写依赖只有 requests。核心逻辑是读 config.toml 拿通道信息读 settings.json 拿模型列表逐题构造 prompt 发给 TaoToken收集各模型答案后与标准答案比对。# quiz_runner.py import json import os import time import tomllib import requests def load_config(pathconfig.toml): with open(path, rb) as f: return tomllib.load(f) def load_settings(pathsettings.json): with open(path, r, encodingutf-8) as f: return json.load(f) def build_prompt(q): opts \n.join(f{k}. {v} for k, v in q[options].items()) return ( f题目{q[stem]}\n{opts}\n 请只输出一个选项字母A/B/C/D不要输出其他内容。 ) def ask_model(cfg, model, prompt): api_key os.environ[cfg[provider][api_key_env]] url cfg[provider][base_url].rstrip(/) /v1/chat/completions headers { Authorization: fBearer {api_key}, Content-Type: application/json, } payload { model: model, messages: [{role: user, content: prompt}], temperature: cfg[request][temperature], max_tokens: cfg[request][max_tokens], } for attempt in range(cfg[provider][max_retries]): try: resp requests.post( url, headersheaders, jsonpayload, timeoutcfg[provider][timeout_seconds], ) resp.raise_for_status() return resp.json()[choices][0][message][content].strip() except Exception as e: if attempt cfg[provider][max_retries] - 1: return fERROR: {e} time.sleep(1.5 * (attempt 1)) def run(): cfg load_config() st load_settings() questions json.load(open(st[quiz][question_file], encodingutf-8)) disagreements [] report [] for q in questions: prompt build_prompt(q) answers {} for model in st[verify][models]: answers[model] ask_model(cfg, model, prompt) consensus len(set(answers.values())) 1 hit answers.get(st[verify][models][0]) q[answer] report.append({ id: q[id], standard: q[answer], answers: answers, consensus: consensus, first_model_hit: hit, }) if not consensus: disagreements.append(q[id]) json.dump(report, open(st[output][report_file], w, encodingutf-8), ensure_asciiFalse, indent2) json.dump(disagreements, open(st[verify][save_disagreements], w, encodingutf-8), ensure_asciiFalse, indent2) print(f完成 {len(questions)} 题分歧题 {len(disagreements)} 道) if __name__ __main__: run()运行前设置环境变量export TAOTOKEN_API_KEY你的Key python quiz_runner.py脚本里有两个设计点值得说明。第一temperature 设为 0.0选择题需要确定性输出避免同一题两次调用答案不同。第二max_tokens 设 512 足够因为 prompt 明确要求只输出一个字母模型不会长篇大论。如果你发现某些模型不遵守“只输出字母”的约束可以在解析时加一层正则提取但优先用 prompt 约束。5. 验证请求一次可复制的成功结果在跑全量 100 题之前先用一条最小请求确认链路通。下面这条 curl 可以直接复制把 Key 换成你自己的curl -s https://taotoken.net/api/v1/chat/completions \ -H Authorization: Bearer $TAOTOKEN_API_KEY \ -H Content-Type: application/json \ -d { model: claude-3-5-sonnet, messages: [ {role: user, content: 在Scaled Dot-Product Attention中除以√dₖ的主要目的是什么A.减少计算量 B.防止过拟合 C.避免softmax梯度消失 D.增加模型容量。只输出字母。} ], temperature: 0.0, max_tokens: 16 }预期返回结构里choices[0].message.content 应该是 C。如果返回的是完整句子说明模型没遵守约束但链路本身是通的。我实测下来这条请求在正常网络下 2 到 4 秒返回返回体里 usage 字段能看到 prompt_tokens 和 completion_tokens方便你估算 100 题的总消耗。确认单条通之后再跑脚本。第一次跑建议把 settings.json 里的 models 只留一个先确认 100 题能完整跑完不中断再加第二个模型做交叉验证。全量跑完的 report.md 里每道题会记录标准答案、各模型答案、是否一致、首个模型是否命中。分歧题单独存到 disagreements.json这些题往往就是题库里最容易混淆的知识点值得重点看解析。6. 本篇常见错排查报错 401 Unauthorized九成是环境变量没生效。先echo $TAOTOKEN_API_KEY确认有值再检查 config.toml 里的 api_key_env 名字和实际导出的变量名是否一致。注意不要在 config.toml 里直接写 Key 明文容易在复制时带上多余空格。报错 404 或路径不对base_url 写成了带 /v1 的完整路径脚本里又拼了一次 /v1/chat/completions导致重复。config.toml 里 base_url 只写到 https://taotoken.net/api 路径拼接交给脚本。模型名不存在settings.json 里的模型名必须和文档里列出的完全一致大小写和连字符都不能错。不确定时先用模型对话页手动选一次确认能出结果再写进配置。脚本卡住不返回timeout_seconds 设太短或者某道题 prompt 过长。100 道题里工程部署部分有些题干较长60 秒通常够如果网络波动可以调到 90。max_retries 设 3 次配合退避重试能覆盖大部分瞬时失败。多模型答案全不一致先看是不是 prompt 里选项顺序被模型重排了。我的做法是选项固定用 A/B/C/D 标注prompt 里明确“只输出一个选项字母”如果还有模型输出“答案是C”这种就在解析层加正则[ABCD]提取首个匹配。分歧题太多如果 disagreements.json 里超过 20 道说明模型对某些领域确实存在认知差异这时候不要盲目相信标准答案把分歧题单独拎出来用模型对话页逐题追问解析人工判断哪个更合理。这也是多模型交叉验证的价值所在。7. 继续往下走从刷题到长期编码练习跑通这套本地刷题环境后你手上就有了一个可复用的多模型调用骨架。同样的 config.toml 和请求封装可以直接拿去做其他需要批量核对的任务比如把面试题换成代码题、把选择题换成判断题。如果你打算长期做这类练习甚至把模型接进日常编码流程里做辅助可以了解一下 Coding Planhttps://taotoken.net/coding-plan?utm_sourcetaotoken_aicg_blog_endutm_contentcoding_planutm_campaignrewrite 它更适合需要持续调用、按周期使用的场景。接入细节和参数说明以官方文档为准https://taotoken.net/doc?utm_sourcetaotoken_aicg_blog_endutm_contentdocutm_campaignrewrite 。如果你用的是 Claude Code 这类工具Anthropic 兼容接入的说明在这里https://taotoken.net/claude-code-anthropic?utm_sourcetaotoken_aicg_blog_endutm_contentclaudecodeutm_campaignrewrite 。先把 100 题跑一遍把分歧题吃透比刷十遍标准答案更有用。