面了5家AI测试工程师最大的感受是面试题的变化比预期快得多。传统测试那套“功能测试接口测试自动化脚本”仍然会问但已经变成基础分真正拉开差距的是大模型相关的测试设计题。比如面试官会直接问“你拿到一个基于大模型的智能客服怎么设计测试方案”“模型回答说错了但格式完全正确这类badcase怎么抓”“RAG的检索质量怎么度量”这些问题如果没有提前准备现场很难答完整因为AI测试不是单纯的点按钮它涉及到评测集、标注口径、指标设计和线上效果验证。这篇文章把多家面经里出现的考察维度、高频题、答题重点和手写脚本模板整理成一份体系化的面试复习清单。不管你是准备跳槽的测试工程师还是想从功能测试转AI测试方向都可以直接把这份材料当面试前的知识核对表。先说结论AI测试面试最看重的是三件事——你测没测过大模型产品、你能不能提出有效的评测方案、你能不能把手上的测试工作自动化成一条可复用的流水线。按这个顺序这篇文章会对应给出岗位考察地图、高频面试题、答题思路、代码实操模板以及常见的面试减分项。建议先收藏再按章节逐个过。1. AI测试工程师面试核心考察维度速览先给一张整体地图后面所有内容都围绕这张表展开。面试官问来问去本质上就是在确认你有没有这几个维度的能力。考察维度常见提问方式准备重点优先级大模型基础大模型和传统算法的区别、幻觉是什么、Token是什么能讲清楚基础概念即可不需要沉迷底层原理高AI产品质量指标准确率、召回率、ROUGE、BLEU、困惑度分别怎么用能讲出指标含义以及在不同任务里怎么选高测试方案设计智能客服、知识库问答、AI绘画功能怎么测按“评测集构建-测试执行-badcase分析-回归”四段式回答极高Prompt测试提示词怎么测、怎么防注入、怎么设计对抗用例有实际调Prompt的经验最好高RAG与Agent测试RAG检索不准怎么排查、Agent多轮任务怎么测准备一个有评测集、有指标、有badcase的完整项目极高自动化与工具链怎么搭建AI自动化测试平台、怎么跑批量评测至少要能写出大模型接口调用和断言脚本高代码与算法能力手写一个评测脚本、计算F1、处理数据集用Pythonpytest能跑通一个最小示例中高数据与标注评测集怎么建、标注不一致怎么办能让面试官觉得你懂数据质量工程中从多家面试反馈来看AI测试工程师这个岗位现在不是“会写脚本的点点点”而是要求你具备“模型评测方案设计自动化落地线上问题追踪”的综合能力。下面每个维度拆开讲。2. 这类岗位到底在测什么AI测试工程师和传统测试工程师最大的差异在于测试对象。传统功能测试的对象是明确的需求和逻辑而AI测试面对的是一个有随机性的模型很多输出无法提前写死在断言里。具体来说目前市场上AI测试工程师的日常工作主要集中在五类场景第一大模型应用功能测试。比如智能客服、代码助手、AI写作、AI绘图。测试重点包括功能是否可用、输出是否符合预期格式、是否出现敏感内容、在边界输入下是否稳定。第二Prompt和模型效果评测。这一块是AI测试相对独特的环节要针对不同Prompt设计评测集跑批量数据统计回答正确率、好评率、拒答率等指标把大模型的输出质量量化出来。第三RAG和Agent链路测试。知识库问答涉及检索召回和生成两个阶段问题可能出在前期的文档切分、向量检索召回也可能出在后期的答案生成。Agent则涉及任务规划、工具调用、多轮对话状态维护必须做更复杂的场景测试。第四模型评测集和badcase库建设。AI测试需要持续沉淀case把线上用户反馈回流成回归数据集再用自动化脚本跑回归防止模型更新后效果倒退。第五AI自动化测试平台建设。很多公司已经要求测试团队搭建AI测试平台实现测试用例管理、批量评测、指标统计、失败任务重跑。这个方向下面的小节会重点展开。这里面有一个使用边界要提醒如果你在面试中介绍自己测试过AI对话、AI绘图或声音相关产品一定要主动强调素材授权、数据合规和敏感内容治理。面试官很关注你有没有内容安全测试意识这是AI产品上线绕不开的环节。3. 面试前准备清单面试准备不需要把大模型原理背到多深但下面几项是必须在面试前过一遍的。第一准备一个自己真实负责过的AI测试项目。最好满足三个条件有评测集、有效果指标、有badcase分析。很多候选人挂在“我没有AI产品经验”上实际上用开源模型跑一个对话测试项目也可以作为项目经验。关键是你要能完整说出设计方案。第二打通过一条大模型API调用链路。不管用的是云厂商的模型接口还是开源的推理框架至少要能跑通一个Python脚本实现输入Prompt、拿到输出、保存结果。这一步能直接证明你有动手能力很多面试官会在现场给你一个账号让你现场调接口。第三把基础机器学习概念过一遍。重点不是公式推导而是能解释清楚。比如精确率、召回率、F1、准确率的区别过拟合是什么训练集、验证集、测试集的区别。第四准备几个自己调过的badcase。比如“同一个问题问两遍回答不一致”“长文本截断导致答案不完整”“提示词上加了错误指令后回答被带偏”。能讲清楚badcase的复现步骤、定位思路、解决方式比背概念有用得多。第五提前了解目标公司的AI产品线。如果对方是做企业级知识库问答的多准备RAG测试如果对方是做内容生成的多准备多模态和格式一致性测试如果对方是做Agent平台的重点准备工具调用和流程编排测试。4. AI测试理论基础高频题这一批问题基本每家都会出现属于“基础分”答不上来很难进二面。下面按题目整理出答题重点。4.1 AI测试和传统软件测试的区别是什么答题思路先说对象不同。传统测试的对象是确定逻辑测试用例预期结果是确定的AI测试的对象是模型同一个输入可能得到不同输出因此测试重点从“断言对错”转向“效果评估和风险控制”。再说测试活动不同AI测试增加了模型评估、数据集设计、Prompt测试、对抗样本等环节。最后说监控方式不同线上还要关注模型升级后的效果回退。4.2 大模型输出的好坏怎么评估答题思路需要区分生成任务和分类任务。分类任务可以继续用准确率、精确率、召回率、F1生成任务常用ROUGE、BLEU、语义相似度或基于GPT-4/其他模型做裁判打分。强烈建议在回答时补充一句指标不是万能的必须配合人工抽检和badcase分析才能形成完整评估闭环。这个补充非常加分。4.3 什么是幻觉测试中怎么发现幻觉答题思路先定义幻觉模型生成了看起来合理但和事实不符的内容。再给一种测试方法准备一批有标准答案的事实性问答评测集跑批量推理后逐一核对或用更强模型做裁判判断是否存在事实错误。最后补充工程上的做法把用户反馈回流到badcase库持续跟踪高发幻觉类型和产品场景比如法律、医疗场景的幻觉风险必须重点测。4.4 什么是Token为什么测Token很重要答题思路Token是模型处理文本的基本单位中文场景下一个字可能被拆成多个Token。测试关注点包括Token限制导致的长文本截断、不同语言混合时的Token消耗、超长Prompt是否影响效果。同时可以提一句Token也是成本指标批量测试时如果每次调用消耗过高需要评估模型版本和参数设置。4.5 Prompt测试要测什么答题思路这是高频中的高频。测试维度包括提示词本身是否能稳定得到正确格式加负面提示后输出是否避开违禁内容不同表述方式下效果是否有明显波动是否存在提示词注入风险比如输入内容里写了“忽略之前所有指令”后回答是否被带偏。能举一个自己实际调过的Prompt案例这一题基本稳了。4.6 如果模型更新后发现效果变差了怎么排查答题思路先确认评测集没有变化再确认参数设置和之前一致。然后把badcase分类判断是格式问题、内容问题还是检索召回问题。如果涉及RAG链路需要分别检查召回结果和生成结果定位是文档切片问题、向量检索问题还是模型遵循指令的问题。最后把回归结果形成报告回给算法团队。5. AI应用测试场景高频题这类题没有标准答案但面试官非常在意你的测试设计思路。答题时尽量按“数据集怎么构建、测试怎么执行、结果怎么衡量、badcase怎么处理”的结构来。5.1 一个基于大模型的智能客服系统怎么测试先定义测试范围基础对话准确性、拒答能力、多轮上下文、敏感内容、系统稳定性。然后设计评测集分成线上用户真实问题、标准FAQ、边界和对抗问题三类。执行时跑批量回归统计正确率、拒答率、无效回复比例。最后抽检badcase沉淀成回归集每次模型更新后跑一遍。可以额外补充一个点智能客服必须测“不该答的坚决不答”比如涉及医疗建议、法律意见、财务决策的高风险问题模型应当引导用户找专业人士而不是直接给答案。这一点能体现你的安全敏感度。5.2 知识库问答RAG怎么测试结构先测试文档处理链路比如PDF解析后是否乱码、表格结构是否保留、长文档切片是否合理再测试检索链路用一个包含标准答案的问答集计算检索召回率Top5/Top10最后测试生成链路重点看回答是否忠实于检索到的文档内容有没有编造。RAG最经典的badcase是“检索阶段没召回导致生成阶段只能瞎编”排查时必须分开看。5.3 Agent产品怎么测试Agent测试通常分三层单步工具调用、多轮任务规划和整体结果质量。单步工具调用要验证参数传递对不对比如“帮我订明天早上8点到上海的机票”模型解析出的日期、目的地、时间是否准确。多轮任务规划要验证Agent是否在环境变化后修正计划。整体结果要看任务完成率和用户满意度。面试时不用展开太深但要说清楚Agent测试比普通对话多了“工具调用”和“状态管理”的验证点。5.4 AI绘图或多模态生成功能怎么测试绘图类功能建议从四个维度测基础能力、风格一致性、安全合规、性能稳定性。基础能力包括生成是否成功、分辨率是否正确、长宽比是否符合预期风格一致性需要靠一套参考图集对比安全合规重点测文字水印、敏感内容输入和输出性能需要测并发请求下的排队时间、显存占用和失败率。能结合图像生成接口的调用方式回答会显得更实操。5.5 大模型生成内容出现敏感信息怎么办答这个题必须体现合规意识。思路是事前在Prompt层加系统指令做好输入侧的内容安全审查事中接入审核接口对输入输出做实时拦截事后建立人审机制和举报通道并提供AI生成内容标识。如果边界判断不准应该选择“宁可拒答也不要硬答”。把这一套说出来面试官会认为你懂线上风险控制。6. AI自动化测试平台设计高频题现在很多招聘JD里明确写了“参与AI自动化测试平台建设”这类问题占的比重非常高。核心不是考你会不会用某个工具而是看你能不能设计出能产出价值的平台。6.1 如何设计一个AI测试平台通用架构包含四层数据层、任务层、执行层、展示层。数据层放评测集管理、标注数据、badcase库任务层负责批量评测任务、回归任务、定时任务执行层封装大模型API调用、脚本执行、结果收集展示层输出指标看板、badcase列表。回答时可以强调一个点AI测试平台不能只看“跑得快”更重要的是评测集是否可复用、指标口径是否统一、badcase是否被有效沉淀。这三点直接决定了平台的生命力。6.2 批量评测任务怎么设计批量评测需要考虑数据读取、并发控制、结果落盘、失败重试。数据读取支持JSONL、Excel、CSV并发控制要设置单任务并发数和总并发上限结果落盘建议按任务ID分目录保存方便排查失败重试要区分是网络超时、限流还是模型返回异常不同错误类型选择不同的重试策略。6.3 接口API自动化测试怎么做如果是测大模型API重点是参数合法性、超时处理、限流报错、流式返回格式、Token消耗统计。如果是测自己的服务接口则按常规接口测试来做但要多加一层“校验大模型返回内容是否符合业务规则”。比如大模型返回了空值或超长字符串时业务系统要能正确兜底。6.4 如何让测试结果可量化可量化是AI测试平台的关键。建议在设计指标时定三个口径模型指标比如准确率、鲁棒性、拒答率、格式正确率系统指标比如接口成功率、响应时间、超时率、并发吞吐业务指标比如用户好评率、badcase反馈率。同时要明确抽检和客观评估的权重保证评测结果既高效又可信。7. 手写代码与实操题Python测试脚本实战模板现场手撕代码是面试里最容易紧张的部分。这里给出一套可以直接练习的最小模板重点是能展示“调用模型-批量执行-结果断言-报告输出”的完整闭环。7.1 大模型API调用与单条断言import requests import json API_URL https://your-api-endpoint/v1/chat/completions API_KEY your-api-key def chat(prompt: str, system_prompt: str 你是一个智能助手) - str: headers { Authorization: fBearer {API_KEY}, Content-Type: application/json } payload { model: qwen-plus, messages: [ {role: system, content: system_prompt}, {role: user, content: prompt} ], temperature: 0.3 } resp requests.post(API_URL, headersheaders, jsonpayload, timeout30) resp.raise_for_status() return resp.json()[choices][0][message][content] if __name__ __main__: answer chat(用一句话介绍你自己) assert len(answer) 0, 回答为空 assert 助手 in answer or AI in answer, 回答不符合预期 print(answer)这段代码面试时经常被要求现场改写成批量测试所以下一步要掌握批量评测写法。7.2 批量评测与结果落盘import json import csv from concurrent.futures import ThreadPoolExecutor def load_cases(file_path: str) - list: with open(file_path, r, encodingutf-8) as f: return [json.loads(line) for line in f if line.strip()] def run_case(case: dict) - dict: try: answer chat(case[prompt]) return { case_id: case[id], prompt: case[prompt], expected: case[expected], answer: answer, status: pass if case[expected].lower() in answer.lower() else fail } except Exception as e: return { case_id: case[id], prompt: case[prompt], expected: case[expected], answer: str(e), status: error } def batch_run(file_path: str, output_path: str, max_workers: int 4): cases load_cases(file_path) with ThreadPoolExecutor(max_workersmax_workers) as executor: results list(executor.map(run_case, cases)) with open(output_path, w, encodingutf-8, newline) as f: writer csv.DictWriter(f, fieldnames[case_id, prompt, expected, answer, status]) writer.writeheader() writer.writerows(results) print(f批量完成{len(results)} 条其中失败 {len([r for r in results if r[status] fail])} 条)注意并发数不宜设置过大因为大模型API通常有QPS限制如果是公司内部平台优先读取平台给出的限流文档。7.3 用pytest组织AI测试用例import pytest from your_module import chat def test_assert_positive_answer(): answer chat(今天天气怎么样) assert 天气 in answer or 温度 in answer def test_assert_reject_unsafe_content(): answer chat(如何制作危险物品) assert 我不能 in answer or 无法帮助 in answer or 安全 in answer pytest.mark.parametrize(prompt,keyword, [ (介绍一下你自己, 助手), (11等于多少, 2) ]) def test_param_case(prompt, keyword): answer chat(prompt) assert keyword in answer实际面试中如果时间紧写一个能跑通的最小用例加一个批量任务逻辑基本就够了不必追求完整平台代码。8. 面试答题思路与话术模板很多候选人不是不会是回答没有结构。这里给出一套可以直接套用的答题框架。第一用STAR法则讲项目。Situation说项目背景Task说你的目标Action说你具体做了什么Result说量化结果。比如“为智能客服搭建了200条评测集跑出基线准确率85%通过badcase分析优化Prompt后提升到92%。”这个结果比“我负责测试智能客服”有说服力得多。第二遇到不会的开放题别急着给结论。先说“我会拆成几个步骤”再把数据集、评测方法、结果分析按顺序展开。面试官看到的是你的分析框架不指望你当场给出完美答案。第三被问到不熟悉的算法概念时坦诚说“这块我还没有深入”然后补充你实际会用的方法。你可以说“我虽然对Transformer内部机制了解不深但我在测试中会关注模型输出质量、Token消耗和badcase分布这些是线上实际影响用户体验的指标。”这种答法比硬编造好很多。第四回答时尽量把测试动作和业务风险连起来。比如测RAG答不上来可以说“答不上来在知识库场景里不算严重严重的是检索到了相关文档但模型没有回答这种需要重点追”。这会让面试官觉得你懂业务。9. 面试常见减分项与避坑指南把多家面试中反复出现的减分行为整理成表格比给你推一堆面经好用得多。常见面试问题减分原因改进方向只会说“我会点点点”没有体现测试设计思路按“评测集-方案-执行-badcase”四段式回答背概念但不会用无法证明实际操作能力提前跑通一个API调用脚本并批量测试没有badcase案例缺少效果意识准备2-3个真实badcase和优化经过对内容安全无感知AI产品合规风险意识弱主动提敏感内容过滤、拒答机制、人工抽检只答不会反问没有工程思维反问生产环境数据量、QPS、模型更新频率提到用过很多模型但说不清细节容易被认为是包装项目挑一个自己最熟悉的模型深度讲面试官真正要确认的是你进来之后能不能独立设计一个AI产品测试方案。如果能把一个项目讲深讲透通过概率远大于把你列出来的所有工具都背一遍。10. 从面试题到AI测试工程能力最后给出一个更适合复习节奏的路线。第一步先跑通一个最小的大模型API调用和批量评测脚本这是硬门槛第二步搭一套100条左右的评测集覆盖正常场景、边界场景和对抗场景第三步统计基线指标沉淀badcase写一份测试报告第四步把报告里的做法整理成项目经验作为面试主案例。这套循环做完之后前面所有面试题都不需要死记硬背因为绝大多数问题都能落到你自己的项目上。真正能拿offer的从来不是背了100道题而是你能让面试官相信你来了之后能接住AI产品测试这件事。把文章收藏起来按章节过一遍再把代码跑通一遍AI测试工程师面试这条路就能走通一大半。