1. 从“系统缺少 hevc 解码器”这个弹窗说起很多人第一次注意到视频编码这件事不是因为看了什么技术白皮书而是因为一个很具体的场景下载了一段视频双击打开播放器弹出一行字——“系统缺少 hevc(h.265)解码器”。于是开始搜怎么装解码器、怎么换播放器、怎么转码。折腾一圈之后视频能放了但脑子里留下的印象是编码就是个格式问题装个东西就好了。这个印象不能说错但它只停留在最表层。真正值得聊的是为什么会有这么多编码格式为什么 H.265 出来了这么多年兼容性还是让人头疼以及最近一两年被反复提起的“神经编码”“Neural Codec”到底是不是又一个换汤不换药的新名词我的判断是神经编码和传统编码的关系不是“H.266 替代 H.265”那种同代际升级而是底层思路的一次换轨。传统编码是人在设计规则神经编码是让网络自己学规则。这个差别听起来抽象但落到实际效果、落地成本、工程复杂度上差别非常具体。这篇内容适合三类人看一是做视频相关开发、需要判断技术选型的工程师二是对编码原理好奇、想搞明白“到底在编什么”的技术爱好者三是被各种编码名词绕晕、想理清脉络的从业者。我会尽量把原理讲透同时把工程上真正会踩的坑说清楚不堆术语也不回避复杂度。2. 传统视频编码到底在“编”什么2.1 帧内预测与帧间预测编码器的两把主刀要理解神经编码改变了什么得先搞清楚传统编码在干什么。视频编码的核心目标只有一个用尽可能少的比特还原出尽可能接近原始的画面。注意这里的关键词是“还原”不是“理解”。传统编码从头到尾都在做一件事——去除冗余。冗余分两种。一种是空间冗余也就是同一帧画面里相邻像素往往很相似。一片蓝天几百个像素颜色几乎一样没必要每个都存。这就是帧内预测要处理的用已经编码的相邻块去预测当前块的内容只存预测残差。另一种是时间冗余也就是相邻帧之间画面变化很小。一个人坐在那里说话背景几乎不动只有嘴在动。这就是帧间预测通过运动估计找到当前块在参考帧里的位置只存运动矢量和残差。这两把“主刀”撑起了 H.264、H.265、H.266 这一整条技术路线。H.265 相比 H.264主要进步在于把预测块划分得更灵活从固定的宏块变成 CTU 四叉树划分、预测模式更多、变换和滤波更精细。H.266 又在此基础上继续加码。但无论怎么加骨架没变预测 变换 量化 熵编码。2.2 变换与量化为什么“有损”反而更高效预测之后剩下的残差还要经过变换和量化。变换比如 DCT的作用是把空间域的残差转到频域让能量集中到少数几个系数上。量化则是主动丢弃一些高频细节——人眼对高频不敏感丢掉一部分主观上几乎看不出来但比特数能大幅下降。这里有个反直觉的点视频编码是有损的而且正是因为有损压缩率才能那么高。无损压缩的天花板很低而有损压缩通过“丢掉人眼不关心的信息”把比特花在刀刃上。传统编码器里量化步长、变换类型、预测模式这些决策都是靠大量人工设计的规则和启发式搜索来做的。编码器在编码每一块时要在几十甚至上百种组合里挑一个“性价比最高”的这个挑选过程极其耗算力。2.3 手工规则的极限在哪里问题就出在这里。传统编码器的所有规则都是人根据经验和对人眼特性的理解设计出来的。设计得好效率就高但人的想象力是有限的。比如运动估计传统方法假设运动是平移的遇到旋转、缩放、形变、遮挡就只能近似处理。再比如码率分配传统方法用固定的数学模型去估计失真但真实的人眼注意力分布是高度内容相关的固定模型很难贴合。更现实的问题是复杂度。H.266 的编码复杂度相比 H.265 又上了一个台阶编码时间可能是后者的数倍甚至更多。而收益呢在相同主观质量下码率大概能再省 30% 到 50%。这个收益不小但代价是编码端算力需求暴涨硬件实现难度也大幅增加。于是行业里一直有个声音靠继续堆手工规则边际收益在递减这条路快走到头了。3. 神经编码换掉的不是格式是“谁来定规则”3.1 从“人设计模块”到“网络端到端学习”神经编码最根本的变化是把“人设计编码模块”这件事换成了“让神经网络自己学”。传统编码器是一堆人工模块串起来的流水线预测模块、变换模块、量化模块、熵编码模块每个模块都有明确的数学定义和参数。神经编码则倾向于用一个端到端训练的网络输入原始视频输出压缩后的比特流中间的所有表示都由网络自己学出来。这个变化的意义在于网络不受“运动必须是平移的”“变换必须是 DCT”这类假设的束缚。它可以从数据里学到更复杂的时空结构。比如对于旋转、形变、光照变化网络可能学到一种人类没设计过的表示方式把冗余去掉的同时保留更多感知上重要的信息。打个比方传统编码像是给一个厨师一本写死的菜谱每一步放多少盐、炒多久都规定好神经编码则是让厨师自己尝、自己调最后做出来的菜可能更好吃但你怎么复现他的手法就成了新问题。3.2 率失真优化变成了可学习的损失函数传统编码里有个核心概念叫率失真优化RDO在给定码率下最小化失真或者在给定失真下最小化码率。传统方法用拉格朗日乘子把这两个目标捏在一起失真通常用 MSE 或 SSIM 这类固定指标衡量。神经编码把这件事变成了损失函数的设计问题。训练时损失函数里既有码率项比如比特率的估计也有失真项。失真项可以换成更贴近人眼感知的指标甚至可以用一个判别网络来当“裁判”判断重建画面和原始画面在感知上差多少。这就把“优化目标”本身也变成了可学习、可调整的东西。这里有个关键细节码率项在训练时通常用熵模型来估计而不是真的去熵编码一遍。因为真正的熵编码不可导没法反向传播。所以神经编码里会用一个可微的熵模型来近似比特数训练完之后再用实际的熵编码器比如算术编码去压。这个“训练用近似、推理用真实”的套路是神经编码工程实现里的一个核心技巧。3.3 感知质量第一次真正进入优化闭环传统编码也不是完全不考虑感知比如 H.265 里有基于人眼对比敏感度的量化矩阵H.266 里也有感知相关的工具。但这些感知模型都是离线设计好、固定不变的。神经编码则可以把感知质量直接放进损失函数让网络在训练过程中主动去优化它。这意味着什么意味着在同样的码率下神经编码有可能在“看起来舒服”这件事上做得更好哪怕 PSNR 这种传统指标不一定更高。反过来说如果只盯着 PSNR 去评价神经编码可能会低估它的实际观感。这也是为什么神经编码的评测越来越强调主观质量、感知指标而不是单一的传统数值。4. 神经编码落地时真正卡脖子的几个环节4.1 熵编码不可导训练与推理的“两张皮”前面提到训练时用可微的熵模型估计码率推理时用真实的熵编码器。这个设计本身没问题但会带来一个落差训练时网络以为的码率和实际编码出来的码率可能对不上。如果熵模型估计得不准训练出来的模型在实际部署时码率控制就会失准。工程上的应对办法通常有两种。一种是让熵模型尽量贴近真实熵编码的统计特性比如用自回归模型或者超先验来建模隐变量的分布让估计更准。另一种是在推理阶段做码率微调比如调整量化步长或者截断某些隐变量通道把实际码率拉到目标附近。这两种办法各有代价前者增加训练复杂度后者可能损失一点质量。提示如果你在复现神经编码模型时发现“训练时码率很漂亮实际压出来完全不是那么回事”大概率就是熵模型和真实熵编码之间的 gap 没处理好。先检查熵模型的建模方式再检查推理时的码率控制逻辑。4.2 算力与延迟编码端和解码端的不对称传统编码的一个特点是“编码重、解码轻”。编码器可以慢慢搜、慢慢算解码器只要按标准做确定的逆操作就行。神经编码目前的一个尴尬是解码端也不轻。因为解码也要跑网络尤其是那些层数深、通道多的模型解码延迟和算力开销都不小。这在点播场景里可能还能接受但在实时场景比如视频会议、直播里就很要命。所以现在很多神经编码的研究会专门设计轻量化解码器或者把网络结构做成可以在不同算力档位之间切换的形式。另一个思路是混合方案用传统编码做基础层神经编码做增强层解码端按需加载。4.3 标准化与互操作没有标准就没有生态传统编码之所以能普及很大程度上是因为有标准。H.264、H.265 都是国际标准不同厂商的编码器和解码器可以互通。你用一个牌子的摄像头拍用另一个牌子的播放器放没问题。神经编码目前还没有形成这种级别的标准。每个研究团队用的网络结构、训练数据、熵模型都不一样模型之间不通用。这就导致一个现实问题你没法像装个 H.265 解码器那样装一个“神经解码器”就通吃所有神经编码内容。这也是为什么短期内神经编码很难完全取代传统编码更可能是先在特定场景比如自家平台内部的点播、特定硬件上的离线转码落地。对比维度传统编码H.265/H.266神经编码当前阶段规则来源人工设计数据驱动学习标准化程度国际标准互操作强尚无统一标准模型私有编码复杂度高且逐代上升训练成本高推理可控解码复杂度低硬件成熟相对较高硬件支持少感知优化离线固定模型可端到端学习落地场景通用特定平台/硬件优先5. 混合方案才是当下最现实的路5.1 传统编码做底座神经编码做增强完全抛弃传统编码、全部换成神经编码短期内不现实。更务实的做法是混合传统编码负责基础层保证兼容性和基本质量神经编码负责增强层在带宽允许时提升画质。这样即使解码端不支持神经编码也能退回到基础层正常播放。这种分层思路其实和可伸缩编码SVC有点像只不过增强层从传统编码换成了神经编码。好处是兼容性和先进性兼顾坏处是整体复杂度上升而且增强层的码率分配需要重新设计。5.2 神经编码做前处理或后处理另一条路是把神经编码用在传统编码的前后。比如编码前用神经网络做去噪、超分、内容自适应预处理让传统编码器更容易压解码后用神经网络做后处理把压缩损失补回来。这种方式不需要改变码流格式兼容现有生态落地阻力小很多。我实测过一些基于神经网络的解码后处理方案在低码率下对块效应和模糊的改善确实明显但要注意别过度处理否则会出现“塑料感”——画面干净了但细节和纹理也被抹掉了。调这个度比调传统滤波器更考验经验。5.3 端侧硬件的支持节奏决定落地速度任何编码技术要普及都绕不开硬件支持。H.265 推了这么多年到现在还有设备不支持就是因为硬件解码器的更新周期很长。神经编码要落地同样需要芯片厂商在解码端提供支持。目前已经有厂商在探索把轻量神经网络推理单元集成到视频解码管线里但距离大规模普及还有距离。所以如果你在做产品规划短期内不要把宝全押在神经编码上。更稳的策略是保持对神经编码的关注和预研但主力方案仍然基于成熟标准等硬件和标准明朗了再切换。6. 给开发者和技术决策者的实操建议6.1 评估神经编码时该看哪些指标如果你要评估一个神经编码方案别只看 PSNR。建议至少看这几项一是感知指标比如 LPIPS 或者专门的主观评测分数二是实际码率与目标码率的偏差这反映熵模型和码率控制的质量三是解码延迟和算力占用这决定能不能上你的目标设备四是模型大小和内存占用端侧部署时这是硬约束。还有一点容易被忽略鲁棒性。传统编码器对输入内容的变化相对稳定神经编码模型如果训练数据分布和实际内容差太多效果可能断崖式下跌。评估时一定要用多样化的内容去测别只用几个标准测试序列。6.2 复现神经编码论文时的常见坑复现神经编码论文坑比传统编码多得多。第一个坑是训练数据。很多论文用的训练集很大而且做了精细的预处理你如果直接用一个小数据集训效果差很远。第二个坑是熵模型实现细节论文里往往一笔带过但实际实现时自回归的顺序、超先验的结构、量化的方式都会影响最终码率。第三个坑是评测口径有的论文报的是理想熵有的是实际熵编码后的结果两者不能直接比。我的建议是复现时先把评测口径对齐确保你报的数和论文报的数是同一种。然后从一个小规模、结构简单的模型开始跑通全流程再逐步加复杂度。别一上来就复现最复杂的模型很容易卡在某个细节上出不来。6.3 团队技术栈该怎么过渡如果你的团队现在主要做传统编码想往神经编码方向过渡我的建议是分三步走。第一步先把神经网络的基础设施建起来包括训练框架、数据管线、模型部署工具链。第二步从神经编码的前处理或后处理切入这类任务对码流格式无侵入风险低容易出成果。第三步再尝试端到端的神经编码方案同时保持传统编码作为兜底。人员上传统编码工程师的优势在于对率失真、熵编码、码率控制的理解这些在神经编码里同样重要只是实现方式变了。缺的是深度学习工程能力这个可以通过项目实战补。别指望招一个纯做深度学习的人就能搞定神经编码编码领域的 domain knowledge 还是很关键的。7. 关于“系统缺少 hevc 解码器”这件事的再思考回到开头那个弹窗。它其实是一个缩影编码技术的演进从来不只是技术问题还是生态问题。H.265 技术上是成功的但专利授权分散、硬件支持节奏不一导致用户体验上反而出现了“装不了解码器”的尴尬。神经编码如果重蹈覆辙技术再先进落地也会磕磕绊绊。所以看神经编码不能只看论文里的率失真曲线。要看它能不能形成可互操作的标准能不能被硬件高效支持能不能在真实网络和真实设备上稳定运行。这些问题的答案目前还在逐渐清晰的过程中。我个人在实际接触神经编码相关项目的体会是它确实打开了一扇新门但这扇门后面的路比传统编码的路更依赖数据、算力和工程配套。对开发者来说现在是最好的学习窗口期——标准还没定死工具链还在快速迭代早一点理解底层逻辑等生态成熟时就能少走很多弯路。至于那个 hevc 解码器弹窗短期内大概还是会继续出现毕竟技术的惯性比技术本身跑得慢。