每年到校招季我后台收到最多的私信就是“网易视频算法工程师笔试到底考什么”“提前批是不是比正式批简单”“我算法题刷得还行但视频知识很虚怎么办”。作为当年参加过网易提前批、后来又帮学弟学妹复盘过好几轮视频算法岗笔试的人我想认真写一篇这东西把视频算法工程师笔试的准备思路完整摊开讲一遍——它考什么、为什么这么考、你该怎么准备、考场上哪些分最容易被白白丢掉。这篇文章不打算去回忆具体题目这类笔试内容本身有保密要求而且每年都会换题我会把考点框架、题型设计逻辑、以及基于深度学习的视频目标跟踪这个高频方向的解题思路拆开来聊。无论你是刚准备投简历的研二学生、还是秋招被笔试虐过一遍想补基础的同学这篇都能给你一套能直接上手的备考坐标系。1. 视频算法工程师笔试的定位它筛的不是你会多少而是你能干活1.1 视频算法工程师在网易到底做什么笔试在筛什么人先说一个很多人没想清楚的问题视频算法工程师这个岗位在网易内部到底做什么你可以把业务方向粗略分成四类一类是视频编解码与传输优化涉及H.264/H.265/AV1编解码器的优化、码率控制、转码系统、画质增强对应的是网易云音乐、网易新闻、网易游戏里的直播和短视频业务第二类是视频内容理解与AI处理包括目标检测跟踪、姿态估计、视频分类、动作识别、视频超分和修复这条线跟深度学习绑定最深第三类是流媒体与播放体验优化比如首屏秒开、卡顿率优化、自适应码率调度第四类是视频创作工具链比如剪辑、滤镜、特效、美颜这些面向C端的功能背后的图像视频算法。回到笔试本身网易视频算法岗的笔试选拔逻辑和纯后端Java岗有一个本质区别后端岗更看重框架熟练度和业务设计能力而视频算法岗更看重“你懂不懂图像视频数据的底层规律”和“你能不能把数学/深度学习方法落到一个具体的视觉任务里”。换句话说笔试筛的不是知识面最广的人而是基本功最扎实、最接近“能直接进组干活”的人。这也就解释了为什么视频算法笔试题目通常由四个部分组成编程题考察代码基本功、数学/信号处理题考察图像视频基础、深度学习理论题考察模型设计与训练能力、视频专项题考察编解码/目标跟踪等业务方向理解。四块分别对应一个视频算法工程师日常工作里最常调用的那几项核心技能。1.2 为什么“提前批”的笔试思路和正式批不一样提前批和正式批刷人逻辑的差异很多攻略都没写透。正式批笔试由于投递人数巨大题目往往会适当降低区分度基础送分题占比更高目的只是粗筛而提前批是各部门抢人大战的前哨笔试题目出的往往更“硬”更有部门色彩。为什么因为提前批你的简历是直接推到部门leader桌上的面试官和组长是抱着“找即将进组的人”的心态来看你的卷面的。这时候笔试更像是一次专业能力预审——如果你连最基础的运动估计原理都说不清或者慢速抠图超分这类题目完全没思路那面试官很难相信你进组后能独立承担一条业务线里的算法交付。所以如果只按正式批的“刷LeetCode背八股”方式准备提前批笔试很容易在第二三四模块被打个措手不及。你有必要专门把“图像视频基础”和“深度学习原理”这两块捡起来像复习专业课一样系统过一遍而不只是看看面经。2. 笔试四大模块拆解代码、数学、深度学习、视频专项2.1 编程题先保住AC率再考虑炫技视频算法岗的编程题一般不考高难度图论或复杂数据结构频率最高的是滑动窗口、双指针、动态规划、二分查找、字符串/数组处理。这和纯后端岗的考点有部分重合但在实现侧重上有明显区别视频算法场景里的编程题常会包装成“图像滤波”“帧序列处理”“轨迹匹配”这类外壳核心考的还是算法设计能力。我自己的经验是编程题的第一目标是AC不是写出最优解。网易笔试平台用的是牛客网系统有个特别坑的细节是它的输入输出模板和LeetCode不一样你不仅要写核心算法还要自己处理stdin和stdout。很多人就是倒在了这些地方——“本地跑得好好的一提交就编译错误”或“输出格式多了空格”导致0分。以一道很典型的“滑动窗口最大值”为例如果包装成“给定一帧视频的像素行求长度为k的滑动窗口内每个窗口的最大值”你至少应该掌握以下三种解法// 解法一暴力法O(n*k)适合k很小或数据量小的情况 #include vector using namespace std; vectorint maxSlidingWindowBruteForce(vectorint nums, int k) { vectorint res; for (int i 0; i k (int)nums.size(); i) { int mx nums[i]; for (int j i 1; j i k; j) { if (nums[j] mx) mx nums[j]; } res.push_back(mx); } return res; }暴力法在笔试里通常只能过部分用例。追求AC必须用单调队列// 解法二单调队列O(n)用deque维护窗口内候选最大值的下标 #include vector #include deque using namespace std; vectorint maxSlidingWindow(vectorint nums, int k) { vectorint res; dequeint q; // 存下标对应的值递减 for (int i 0; i (int)nums.size(); i) { // 移除窗口外的下标 if (!q.empty() q.front() i - k) q.pop_front(); // 从尾部弹出所有不大于当前值的下标 while (!q.empty() nums[q.back()] nums[i]) q.pop_back(); q.push_back(i); // 窗口满k个元素后开始收集结果 if (i k - 1) res.push_back(nums[q.front()]); } return res; }刷题的时候你不能只满足于“能写出来”要习惯性地问自己三个问题这个做法最坏时间复杂度是多少空间能不能省如果数据量从1e5变成1e7当前方案还能不能扛住视频数据的特点就是大——一帧1080p图像就是1920乘1080个像素点一段视频就是几十万帧所以“处理大规模数据”的意识是贯穿编程题和后面所有题型的核心考察点。2.2 数学与信号处理视频算法的地基也是很多人裸奔的地方第二个模块是数学与信号处理这个模块是视频算法笔试和普通后端笔试拉开差距的地方。很多同学看到“傅里叶变换”“卷积”“采样定理”就头皮发麻但视频算法本来就是信号处理的分支——图像是二维离散信号视频是三维信号两维空间加一维时间编解码、去噪、增强、运动估计全部建立在这套数学体系之上。选择题和填空题最常出现的知识点有离散傅里叶变换DFT与快速傅里叶变换FFT的基本性质、空间卷积与相关运算的区别、奈奎斯特采样定理与混叠效应、离散余弦变换DCT在视频压缩中的作用、中值滤波与均值滤波在去噪场景下的不同表现、概率论基础高斯分布、条件概率、贝叶斯公式等。这里我特别想强调DCT与视频编码的关系。为什么H.264/H.265这些主流视频编码标准用的都是整数DCT而不是直接用FFT因为视频图像的能量在低频部分高度集中DCT对自然图像的去相关性能接近最优KLT变换的理论最优但KLT没有快速算法而且DCT的变换基是实数的、边界效应相对可控硬件实现友好。这就是“为什么编码标准选择了DCT”的完整逻辑链。低频代表图像的平滑区域高频代表边缘和纹理。把图像变换到频域后人眼对高频失真的敏感度远低于低频所以编码器可以对高频系数进行更粗粒度的量化这就是有损压缩的核心思想。理解了这条链路你才真正明白“量化”“变换编码”“率失真优化”这些词背后的物理意义而不是背名词解释。数学题的复习建议是不要死磕证明而是把每条公式描述的直觉搞清楚——这个变换/操作对视频信号做了什么、输出去哪里、代价是什么。笔试考察的深度是理解级不是推导级。2.3 深度学习理论题考的是底层理解不是模型名背诵近两年网易视频算法笔试里深度学习理论题的比重一直在上升这个趋势和岗位JD描述里“熟悉PyTorch/TensorFlow”“理解CNN/RNN/Transformer”的要求完全对得上。但笔试考深度学习的方式和面试问答不太一样它不会让你泛泛地介绍ResNet而是会给一个具体的训练场景让你判断问题出在哪、该怎么改。我自己被问到过也在帮学弟复盘时见过好几个变体基本围绕以下几个主题BatchNorm在训练和推理阶段的行为差异、反向传播中梯度消失和梯度爆炸的成因、不同损失函数L1/L2/交叉熵的适用场景、数据增强在小样本视频任务中的作用、模型轻量化手段剪枝、量化、蒸馏等。这里我列一个高频考点清单你能说出每一项的“为什么”这一模块基本就稳了为什么BatchNorm训练时用mini-batch统计量、推理时用全局统计量因为推理时输入没有batch概念必须用训练阶段滑动平均得到的全局均值方差否则单样本的统计量波动太大导致输出不稳定。为什么检测/分割任务中L2损失比L1损失对异常点更敏感因为L2梯度正比于误差值离群点会产生巨大梯度训练不稳定L1梯度恒定对离群点更鲁棒。视频超分任务中常用的损失函数有哪些为什么常把L1Charbonnier和感知损失/VGG损失结合使用L1保证像素级重建精度感知损失保证纹理和整体结构接近人眼感知。这类题目的特征是“给场景找原因定方案”没有固定答案模板但可以用“问题定位→原因分析→方案对比”的结构来作答先把矛盾点说清楚再给出优先级排序即使不能答到最优解也能让面试官看到你的排查思路是清晰的。2.4 视频专项题编解码与目标跟踪是最稳的“送分科目”视频专项题是这个岗位笔试最有区分度的部分。不同业务线的视频算法工程师方向侧重完全不同——做转码优化的考编解码多一点做内容理解的考目标跟踪、动作识别多一点——但无论哪个方向你对“视频数据的基本结构”得有常识性理解。选择题经常出现的视频编码中GOPGroup of Pictures是什么I帧、P帧、B帧分别有什么特点为什么要引入帧间预测运动估计搜索的是什么为什么用YUV而不是RGB做压缩码率控制中CBR和VBR分别是什么、适用于什么场景如果你之前没系统学过视频编码这里给一个最小可用的知识框架I帧是帧内编码相当于一张压过的完整图像是随机访问点文件大P帧参考前一个I帧或P帧只编码残差和运动矢量压缩率高B帧参考前后两个方向的帧压缩率最高但解码延迟也最高GOP就是一组I帧到下一个I帧之间的帧序列GOP越长压缩率越高但错误恢复和随机访问能力越差运动估计的核心假设是相邻帧同一物体发生平移可以用运动矢量来描述编码器只需要编码残差从而省掉大量冗余像素信息。至于目标跟踪这个方向很多同学会有个误区以为“深度学习目标跟踪”就是“深度学习做检测”。笔试和面试里也会专门针对这些误区出题比如目标检测和目标跟踪的本质区别是什么检测是单帧内的空间定位跟踪是在连续帧间建立同一目标的对应关系多目标跟踪面临的“ID Switch”问题指什么它指同一个目标在跟踪过程中ID发生跳变通常由遮挡、外观相似、检测中断引起跟踪算法的评价指标MOTA、IDF1分别侧重什么MOTA侧重检测和关联的综合准确率IDF1侧重ID维持的准确率。这些概念不需要你马上掌握一套完整框架先把核心问题意识建立起来因为任何一个具体的跟踪算法都是在回答“如何找到目标”和“如何维持身份一致性”这两个问题。上一节列的深度学习理论题其实也是为这些专项方向服务的。3. 从笔试题目延伸出去的“硬核方向”视频目标跟踪3.1 为什么笔试和面试都会高频提到视频目标跟踪前面提到过视频算法岗笔试的命题老师往往就是组里的技术骨干或leader他们出题时会下意识地选择自己业务里真正会用到的算法方向。视频目标跟踪几乎横跨了网易各大视频相关业务线——直播里要追踪主播动作、短视频要跟踪人脸做特效、游戏AI的自动驾驶Demo要跟踪其他车辆、视频审核要跟踪画面里的敏感目标——这就是它出现在笔试面试中的根本原因。笔试对于目标跟踪的考察通常是“概念理解 流程设计”的组合拳。概念理解包括什么是多目标跟踪MOT单目标跟踪SOT和多目标跟踪MOT的区别跟踪和检测的关系在线跟踪和离线跟踪的差别常用的特征表示有哪些流程设计则会给你一个业务场景如“在直播画面中跟踪主播人手的位置”让你从算法设计角度描述完整方案。所以备考阶段不能只背名词得能做一次系统性的流程梳理。下面我给你一套可以覆盖绝大多数业务场景的通用开卷框架它是目前工业界和学术界高度一致的范式。3.2 一个可复用的多目标跟踪算法框架基于检测的跟踪范式以目前工业界最常用的Tracking-by-Detection范式为例代表如DeepSORT、ByteTrack流程可以拆成五个串行模块第一步是目标检测。每隔t帧通常逐帧或每2帧跑一次目标检测器得到当前帧中所有候选目标框。检测器质量直接决定跟踪天花板——漏检导致轨迹中断误检导致虚假轨迹。第二步是特征提取。对每个检测框内的目标提取外观特征如ReID特征同时也为现有轨迹保存历史特征集合。这里有个常见工程细节工业落地时不会单独训练一个ReID模型而是直接用检测模型骨干网络的中间层特征或者用一个小型分类网络预训练后取embedding向量这样能省掉一个模型的开销。第三步是运动预测。对每条已跟踪轨迹做运动状态预测最常用的是卡尔曼滤波假设目标在帧间做匀速运动用线性状态空间模型预测下一帧的边框位置。卡尔曼滤波的核心思想是“用历史状态加权修正当前观测”在短时遮挡时依然可以靠预测撑住目标位置。第四步是数据关联。这是多目标跟踪的灵魂模块。经典做法是构建检测框与预测轨迹之间的代价矩阵代价函数一般是运动马氏距离与外观余弦距离的加权和再用匈牙利算法二元匹配求全局最优匹配。代价权重和距离阈值是调参的主要着力点——阈值设得太大容易发生ID Switch设得太小轨迹又容易断裂。第五步是轨迹管理与生命周期维护。每条轨迹有一个状态未确认、确认、已失配。连续失配超过一定帧数如max_age30就删除轨迹未确认轨迹在累计命中足够帧数后转为确认态避免单帧误检生成假轨迹。这个流程在笔试里按“检测→特征→运动预测→关联→管理”来答就是一个逻辑闭环比零散地背DeepSORT的某几个参数要有效得多。因为面试官能看出来你是真的做过视频跟踪还是只是看过几篇论文的摘要。3.3 工程化细节数据关联的调参逻辑才是真正的分水岭如果你想让目标跟踪方向的回答继续拔高一个层次不要只停在算法流程上一定要提到工程优化和调参经验。笔试/面试中能把算法原理和技术选择背后的“为什么”说清楚的人是明显更受欢迎的。举几个真实工程里会遇到的细节其一为什么DeepSORT里用了级联匹配cascade matching而不是全局一次匹配因为年纪越大的轨迹连续命中时间越长对匹配优先级应该越高。如果新检测框和一条刚创建的轨迹以及一条已经存在很久的轨迹都匹配上了应该优先匹配旧的——这能最大程度保留稳定轨迹避免优先处理新轨迹带来的ID碎片化。这就是级联匹配的设计动机。其二实际视频里目标常常有成群结队的情况比如体育比赛中的球员、交通场景里的行人外观特征非常相似距离又近匈牙利匹配很容易配错。这时候要区分不同目标的“身份”不能太依赖外观特征反而应该加大运动预测卡尔曼滤波的权重或者用更精细的轨迹运动模型比如带加速度的模型替代恒速模型。其三检测器漏检如何缓解。ByteTrack这个工作做得非常巧妙它把检测框按置信度分成高分框和低分框两档高分框先和轨迹匹配剩下的低分框再和未匹配轨迹做第二次关联——解决的就是“目标被遮挡或模糊时检测置信度下降但目标还在”的问题。这种“卡阈值不如把低置信度框也利用起来”的思路在笔试的开放题里如果能主动提出来会是很加分的设计意识。4. 备考时间线从拿到笔试通知到走进考场提前批节奏下怎么做4.1 一周冲刺版适用于提前批时间紧、只能抓住重点的情况如果离笔试只剩一周不要想着面面俱到按下列优先级排序最高效周一至周二主攻编程题把牛客网或力扣上的高频题按标签分类刷一遍滑动窗口、双指针、DFS/BFS、贪心、简单DP每种题型至少过10道。每天限时2小时模拟真实笔试节奏练到看到题型就知道用什么套路。周三集中过一遍深度学习理论。重点复习反向传播的链式法则、常见激活函数/损失函数对比、BatchNorm/LayerNorm原理、过拟合与正则化、CNN基本组件卷积、池化、感受野、常用检测/分割/跟踪网络结构。建议不要只背诵结论每一条都试着用自己的话解释“为什么”。周四主攻视频基础知识。找一篇系统性的视频编码科普从头到尾读一遍把I帧/P帧/B帧、GOP、运动估计、DCT、率失真优化这几个关键词吃透再把目标跟踪的经典流程检测运动预测数据关联写一遍DeepSORT和ByteTrack的核心思想要能讲清楚。周五做一次完整的模拟笔试。用牛客网的模拟笔试功能按真实时长各公司视频算法岗通常120分钟完整做一整套题包括编程题和理论题。这个步骤很重要它不只检验知识储备还检验你在时间压力下的心态和体力。周末两天把错题和卡住过的概念全部回炉一遍重点看那些“好像知道但说不准确”的模糊地带——笔试淘汰的人里很大一部分不是不会而是“以为自己会了但表达不严谨”。4.2 一个月长线版适用于把视频算法作为主要求职方向的情况如果目标清晰就是视频算法工程师且还有一个月以上准备时间建议把重心从“应试”拉回到“建立知识体系”。第一周至第二周以“视频编码原理”和“计算机视觉基础”为两条主线系统学习。编码方向找经典的《Video Demystified》或网上公开的H.264标准分析文章把编码器整体架构、变换量化、熵编码、运动补偿这几块的来龙去脉理清视觉方向用CS231n的课程大纲对标自己的知识盲区图像分类、目标检测框架两阶段vs单阶段、语义分割、目标跟踪的近年发展脉络都过一遍。第三周把每一篇读过的论文/课程笔记整理成“一页纸技术总结”格式要解决什么问题、核心思路是什么、数据/实验怎么设计、局限在哪里。这项能力会在笔试论述题和面试环节直接受益——你回答问题时不需要临时组织语言因为这些内容你已经重复输出过很多遍。第四周回归真题实战刷2-3套模拟题练手感。这个阶段你会发现之前积累的“理解深度”会在答题时自然流露出来而不是变成搜肠刮肚的碎片记忆。4.3 考场上可执行的时间分配策略考过网易笔试的人都有过这种感受题量真的大时间真的紧。以120分钟为例我个人首推的分配比例是编程题约40%的时间先做保AC率。编程题不要纠结“最优解”能过全部用例的次优解 写了一小时还没调试通过的最优解。深度学习和视频专项约40%的时间这部分题目分值高、区分度大作答时要点结构化先亮结论再给理由。数学/信号题约20%的时间选择题遇到完全不会的可以先用排除法不要在一个题上卡超过5分钟。遇到不会的题怎么办我的原则是“不留空、宁可写思路”。这听起来是废话但在视频算法岗论述题里特别实用。比如问“如何设计一个视频去雨算法”你即使没做过也可以从数据收集雨天视频/合成雨线、模型CNN/Transformer单帧或多帧、训练损失函数、时序一致性三个层面组织出像样的方案这个“结构化的思考过程”本身就是有分的。5. 复盘下来最值得说的几个“丢分重灾区”5.1 读题不完整参数边界记错编程题最常见的丢分原因不是不会做而是看题不仔细。视频算法笔试的编程题题干往往很长前两行交代背景“给定一段视频的帧序列”“图像大小为MxN处理时内存受限”后两行才是真正的输入输出描述。很多人只扫了一眼输入输出就开始写代码忽略了“所有像素值均为非负整数”“内存限制64MB”“如果不存在返回-1”这些隐藏约束。一个具体的例子题目要求“对视频帧做3x3中值滤波”输入是一段长序列如果你没注意到数据规模过大直接用朴素实现是O(HW9)极大概率超时。正确做法是用直方图滑动窗口维护3x3邻域的像素值集合把单像素时间复杂度降为O(1)或O(256)。这种题不偏不难考察的就是你有没有“视频大数据量”的工程常识。5.2 代码能跑但复杂度不达标牛客网判题系统对时间复杂度是有隐藏要求的数据规模会告诉你能不能暴力过。但视频算法笔试的编程题数据规模往往比正式批给得更狠比如明明知道一帧图像有1920x1080像素很多人在选择算法时还忽视O(n^2)和O(n)的差异结果只能拿到部分分数。备考阶段做复杂度练习时要养成“看数据范围定算法”的条件反射n ≤ 100能接受O(n^3)n ≤ 10000用O(n^2)n ≤ 1e5以上必须O(n)或O(nlogn)。视频里的“n”经常是百万级像素所以很多嵌入式推理场景用的都是查表、积分图、并行归约这类加速手段笔试编程题同样遵循这个逻辑。5.3 理论题“印象流答题”自创定义笔试论述题里经常出现“请说明什么是率失真优化RDO”有同学答成“为了降低码率而舍弃部分质量”这不算错但拿不到高分。率失真优化的标准表述是在编码决策过程中为每个编码单元宏块/CU遍历所有可选的编码模式选择使“拉格朗日代价JDλR”最小的模式其中D是失真如SSE或SADR是编码比特数λ是拉格朗日乘子用于权衡失真与码率。为什么必须用拉格朗日形式而不是“先满足码率约束再最小化失真”因为前者把约束优化转化成了无约束优化可以直接在每个编码单元内独立做决策而后者需要全局搜索、计算复杂度不可接受。这一层原因很多拿不到分的人说不出。理论题想要拿高分不能停留在“印象流”每个概念都要练到能用“定义—形式化—为什么”的三段式结构准确输出。5.4 视频专项题不知如何组织语言最常见的回答方式有两种“只堆术语”和“只讲直觉”。前者会让面试官觉得你背了八股后者会让面试官觉得你概念不扎实。我的经验是准备视频专项题时每个核心概念都按四个层次做一遍整理第一层一句话定义让完全不懂的人也能听懂第二层技术细节给出具体的计算方式或算法步骤第三层为什么这样做它解决了什么问题第四层实际场景在什么业务场景里会用到有什么坑。比如“运动估计”这个词按这个框架就是视频中物体的运动导致相邻帧内容发生平移运动估计就是寻找这种平移矢量的过程技术细节上是把当前块和参考帧搜索窗口内的候选块做匹配匹配准则常用SAD或MAD这样做是因为时间冗余是视频里占比最高的冗余信息运动补偿后编码残差能大幅降低码率实际场景里手机拍摄的视频有全局抖动和局部运动不像桌面录屏那样只有平移因此工业级运动估计还需要配合全局运动估计如仿射/单应变换来区分镜头运动和物体运动。有了这四层结构你在笔试里无论面对填空、选择还是论述题都有一套可调用的表达模板而且逻辑闭环会非常明显。我在实际帮学弟学妹复盘笔试时感触最深的一件事视频算法岗的准备不能只看算法题和面试题绕不开的是“看图看视频”的基本功——像素、帧、编码、运动、目标这些词不只是课本上的概念而是每天处理的数据本身。你花一周把LeetCode刷熟可能只解决了20分的题目但如果你把视频编码原理和目标跟踪的通用框架吃透剩下那80分的知识体系里会突然亮起一片灯。最后再分享一个小技巧笔试前一个小时不要再看新内容了也别做新题就拿出一张白纸把视频数据从“像素”到“特征”到“语义”的处理链路画一遍把自己准备过的每个核心概念的“一句话定义”默写一遍。这个动作能让你在考试开始时迅速进入“视频算法工程师的思维方式”而不是还在翻PPT找记忆点。视频算法岗笔试是一座桥走过去靠的不只是刷题的苦功夫更是对“视频到底是什么”这件事的底层理解。祝顺利。