最近“emma图像融合”这个词连续好几天挂在检索热榜上我点进去翻了翻前排内容基本是同一批科普帖的排列组合配图很唬人但真正把“融合方法从哪来、往哪去、该怎么选”讲透的几乎没有。这恰恰是图像融合这个方向的真实写照——入门门槛低体系化理解难。图像融合说白了就是把同一场景下不同来源、不同模态的图像信息合成到一张图里让融合结果比任意一张源图都更完整、更可用。红外与可见光、多聚焦、多曝光、医学影像、遥感全色锐化……每个子方向都长出了一套独立的方法体系如果不靠综述论文搭框架直接扎进单篇论文的海洋里大概率会越读越乱。这篇博文就是我把近几年图像融合综述论文系统过了一遍之后沉淀下来的整理笔记、阅读路径和避坑经验。适合三类人刚进方向的研究生、要快速做技术调研的算法工程师以及正准备写自己综述或论文“相关工作”部分的老手。1. 先说清楚我为什么要花两周整理这份综述清单1.1 从“搜了一堆论文却读不进去”开始我最初接触图像融合时犯过一个很典型的错误先打开学术搜索引擎把“image fusion”相关的论文按时间排序一口气下载了二十多篇PDF然后从第一篇开始精读。结果读到第三篇就卡住了——每篇论文都在讲自己的方法有多好但不同论文之间用的术语体系都不一样。有的叫“活动级测量”有的叫“融合规则”有的直接讲“损失函数设计”我根本分不清哪些是同一个问题的不同叫法哪些是真正的技术路线差异。后来我才意识到问题不在论文本身而在我缺一张“地图”。单篇论文解决的是一个点上的问题比如“我提了一种新的注意力模块能提升红外和可见光融合的边缘保持能力”但如果你不知道这个模块在整个方法谱系里处于什么位置不知道它对比的基线为什么是那几个你的阅读效率会非常低。综述论文的价值就在这里它把十几年甚至几十年的散点工作按统一标准重新组织了一遍告诉你哪些是主干、哪些是枝叶、哪些已经过时。1.2 这份清单的定位不是论文列表是技术地图所以我把“整理综述论文”这件事从一开始就定位成“搭技术地图”而不是“攒一个PDF文件夹”。我需要搞清楚三件事第一图像融合到底有几个主流子方向每个子方向的目标和应用场景分别是什么第二每个子方向经历了哪几次大的方法论转向传统方法和深度学习方法的边界划在哪里第三综述论文反复引用的数据集和评价指标到底该怎么用才不会被论文里的数字带偏。这份整理的产出最终是一套“综述导读体系”按方向分章、按时间排线、按可复现性标优先级。整理过程中我踩了不少坑比如误把某篇方法论文当成综述读、被某些综述里过度美化的对比表格误导、在指标选择上做了无用功。下面这些内容既是我整理的结论也是我踩坑之后总结的避坑指南。2. 图像融合综述的第一层骨架先分清五个主流方向图像融合不是单一问题而是“一组问题共享同一套数学工具”。读综述之前必须先分清方向否则很容易把不同子方向的结论混在一起最后得出一些似是而非的规律。2.1 红外与可见光融合工程应用最密集的战场红外与可见光融合IVIF是综述数量最多、关注度最高的方向。它的目标很直观可见光图像纹理丰富、符合人眼观察习惯但在夜间、浓雾、烟尘等条件下效果差红外图像通过热辐射成像能稳定地暴露目标人、车辆、热源但分辨率低、纹理少、看起来“糊”。融合就是把两者的优势合起来让一张图既有清晰的结构细节又有可靠的目标显著性。这个方向的应用场景非常广安防监控、辅助驾驶、无人机侦察、工业检测都靠它。我整理综述时发现IVIF的方法谱系几乎就是整个图像融合方法史的浓缩版早期是多尺度变换金字塔、小波、稀疏表示、引导滤波2018年之后被深度学习主导先是基于CNN的端到端融合然后是GAN系列典型如FusionGAN把判别器引进来逼融合图保留更多纹理再到Transformer和双分支分解结构。读这个方向的综述基本能把整个图像融合领域的技术演进看掉一大半。2.2 多聚焦图像融合最适合新手上手的方向多聚焦融合解决的是一个很生活化的问题相机镜头景深有限拍近处清楚、远处就糊多聚焦融合就是把“一张焦点在近处”和“一张焦点在远处”的图合成起来得到一张全图清晰的照片。问题定义简单、评价标准直观清晰度是否提升所以非常适合作为入门练习。方法上多聚焦融合的核心矛盾是“怎么判断每个像素/每个区域来自哪张源图更清晰”。传统方法把这个问题拆成两步活动级测量用梯度、空间频率、拉普拉斯能量等算子衡量局部清晰度加融合规则取最大、加权平均再辅以一致性校验规则不复杂但很吃特征设计。深度学习兴起后这个方向很快被两类方法主导一类是端到端黑箱融合直接回归融合图像另一类是决策图引导的方法先用网络预测聚焦图再按图拼接。后者在可解释性上明显更好我在实际复现时也更偏爱这类思路。2.3 多曝光融合与医学图像融合各有各的难点多曝光融合MEF面向的是高动态范围场景。现实场景的光比经常超过相机传感器能记录的范围拍出来要么高光过曝、要么暗部死黑。多曝光融合把不同曝光时间的多张图合起来让亮部和暗部细节同时保留。这个方向与图像增强、HDR成像关系很近综述里的方法很多也来自“色调映射”那套体系。它的核心难点不在“对齐”而在“保留”——怎么在融合过程中不引入伪影、不丢失局部色彩层次。医学图像融合则是另一个极端。它主要合并CT、MRI、PET、SPECT等模态CT骨结构清楚、MRI软组织分辨好、PET反映代谢功能临床上需要在一张图里同时看解剖和功能信息。这个方向对保真度的要求极高因为融合结果直接辅助诊断任何伪造性的纹理都是不可接受的。读医学融合综述时要特别注意它评价指标里有相当一部分是专门针对“是否会引入医学上不存在的伪影”设计的。也正因为容错率低医学融合在深度学习时代的落地速度反而比IVIF慢半拍。2.4 全色锐化遥感领域不可跳过的一环全色锐化Pansharpening是遥感图像融合的专有名词。遥感卫星通常会同时提供两种数据高分辨率全色影像PAN空间细节丰富但只有灰度和低分辨率多光谱影像MS有光谱信息但空间模糊。全色锐化的目标是用PAN的空间结构去增强MS得到高分辨率的彩色影像。这个方向之所以特殊在于它的评价维度多了一个“光谱保真”。融合结果空间上变清晰了但颜色如果偏离原多光谱影像就是失败。传统方法里成分替换IHS变换、PCA、多分辨率分析小波、Laplacian金字塔、变分模型是三大分支它们之间在“空间注入”和“光谱保持”之间各有取舍。深度学习进来之后这个方向的综述明显分成了两派一派把全色锐化当作普通超分辨率问题用生成式网络直接重建另一派强调要显式建模PAN和MS的退化关系。读遥感方向的综述一定要额外注意作者是否区分了“全色锐化”和“多光谱锐化”这两个容易混在一起的概念。2.5 面向统一融合框架的综述趋势信号近两年一个明显的趋势是“通用融合框架”的兴起。传统综述按模态和应用把融合分成一个个垂直领域但一批新工作试图用一个网络同时处理红外可见光融合、多曝光融合、多聚焦融合等多个任务代表思路像U2Fusion那样用无监督损失统一多个融合目标或者像CDDFuse那样把图像分解为“通用结构特征”和“模态专属特征”再分别融合。这个趋势对读综述的影响很大如果你的知识框架还停留在“每个方向各有各的方法池”面对这类工作会很不适应反过来理解了通用框架再看回各方向的具体工作就能想明白很多设计动机。3. 从传统到深度学习的综述时间线十篇关键文献的坐标综述文献本身也有谱系。把时间线拉出来看能清楚看到领域重心的三次迁移早期奠基、方法大爆发、细分与体系化。3.1 传统方法时代的基底金字塔、小波与稀疏表示图像融合作为独立的学术方向可以追溯到遥感领域。1998年那篇关于多传感器图像融合的经典综述把融合从概念层面带到了系统的方法分类层面定义了后来被广泛使用的“像素级、特征级、决策级”三级划分框架。虽然后来像素级融合成了绝对主流但这个框架至今仍是论文引言里最常引用的“坐标系”。传统方法时代多尺度分析是绝对的主角。Laplacian金字塔、Ratio-of-Low-Pass金字塔、离散小波变换DWT陆续登场它们的共同逻辑是先把源图分解成不同尺度、不同方向的子带然后对每个子带按活动度取大或加权最后逆变换重建。2003年前后有综述把这一整套思路提炼成通用框架强调任何多尺度融合方法都可以归约为“分解—活动度测量—融合规则—逆变换”四个环节。这个框架的概括力极强直到今天很多深度学习论文的方法理解依然可以套进这个框架里看只不过“分解”从固定基函数变成了网络学出来的特征“活动度测量”变成了注意力权重。后续的稀疏表示、引导滤波等方法本质上也是在解决“怎么更准确地刻画局部活动度”的问题并没有跳出这个总的叙事。读这一段综述重点不是记住每个变换的公式而是建立“任何融合方法都瞒不过这四个环节”的基本盘。3.2 深度学习综述的井喷节点2017-20202017到2020年是图像融合综述的井喷期。2017年那篇像素级图像融合综述系统盘点了几何变换、稀疏表示、多尺度分析、神经网络等传统与早期学习方法的文本表达成了很多人入门的第一站。2018年紧接着出现了一篇专门针对“深度学习用于像素级融合”的综述把当时刚兴起的CNN融合方法按网络结构分成了分类、端到端、生成对抗等多个流派并且指出一个当时很多人没意识到的问题很多深度学习方法在公开数据集上的优势可能来自更大的模型容量而非更好的融合规则——这个观察直到今天依然成立。2019年出现的那篇红外与可见光融合综述是方法与应用结合得最好的一篇。它把融合方法按传统、深度学习、任务驱动三大类组织还专门用一章盘点了融合结果在不同视觉任务里的表现。2020年前后又有至少两篇高质量综述一篇继续深挖红外与可见光融合的方法细节另一篇聚焦多聚焦融合并把注意力机制作为单独一类梳理。这段时期的综述有个共同特点都会附一张“方法分类树”我建议读者把这几张分类树合在一起对比着看你很快会发现不同综述对同一篇论文的分类位置可能不一样这本身就是理解领域边界的有趣线索。3.3 近几年的细分综述与基准综述更专更细2021年之后综述的颗粒度明显变细出现了大量只看单一子问题的综述只谈Transformer图像融合的、只谈医学影像多模态融合的、只谈融合评价指标的。这类细分综述对做具体课题很有帮助但如果你刚入门不建议从它们读起——它们默认你已经知道大框架。比细分综述更重要的是另一类特殊“综述”带基准的综述代表形式是把几十种已有方法放进统一框架里重新评测。这类论文的典型价值是告诉你“现有方法在同一个数据集、同一套指标下的真实排名”因为原作者各自论文里的数字往往是在不同裁剪、不同预处理下得到的直接横向比较会得出错误结论。我身边不少同学在写对比实验时直接抄原始论文表格里的数字结果被审稿人质疑“你的设置怎么和别人不一样”这就是没读基准综述的教训。3.4 我筛选“必读文献”的三个标准综述太多不可能全读。我自己筛选核心综述用三个标准第一个标准是“分类框架是否被后续大量引用”。如果一篇综述提出的分类方式被后来几十篇论文沿用说明它的框架经得住考验值得精读。第二个标准是“是否自带可复现代码或基准”。纯观点综述读一遍就行带代码的综述值得反复回查因为你可以亲手验证它的排名。第三个标准是“作者是否同时活跃在方法一线”。综述作者如果自己也发重磅方法论文他对领域趋势的判断通常会比纯文献综述型的作者更接地气。按这三个标准我给自己划了一份“必读清单”大致是这个结构优先级文献类型为什么读阅读建议第一梯队像素级融合综述 深度学习像素级融合综述搭出完整方法分类树精读分类框架画出自己的树第一梯队红外与可见光融合综述应用最广、方法史最全重点看应用章节与方法分类法的对应关系第二梯队多聚焦/多曝光/细分方向综述补全垂直领域细节挑一个你准备做实验的方向精读第二梯队基准综述/评测综述拿到横向可比结论对照它的代码仓库重新跑自己的数据第三梯队通用融合框架的代表论文理解跨任务统一趋势结合官方代码做最小复现4. 把综述读出生产力的四步阅读法读综述不叫“读完”叫“榨干”。我用的是一套四步阅读法每一步都有明确产出。4.1 第一步先扫描分类框架再决定精读范围拿到一篇综述我不会从头读到尾。先花二十分钟做“扫描式阅读”读摘要、读结论、把所有二级标题抄到一页纸上重点关注作者的分类维度依据是什么。做完这一步我已经知道这篇综述是“按模态分”还是“按技术路线分”还是“按时间分”也知道哪些章节和我当前的问题有关。比如我如果只想搞懂红外与可见光融合里的注意力机制我就跳过前面的传统方法部分直接精读注意力相关小节。扫描之后我会把自己关心的那部分逐段读透其他部分只留一个“到用时能快速定位”的印象。这一步的核心目的是建立一个体面的“文件夹结构”。综述里的每个小节标题都会成为我知识库里的一个标签。以后读到任何单篇论文第一时间就是把它归类到已有的标签下。4.2 第二步用表格把算法、数据集、指标对齐纯粹的文字阅读很容易把信息读过就忘。我的做法是每读完一篇综述就在一个主表格里补充信息列结构大概是方法名称、所属子方向、核心思想、传统/深度类别、关键贡献、局限性、使用数据集、报告指标、是否有官方代码。这个表格不用写得很长关键是“把不同论文放到同一行里对齐”。综述之所以有用就是因为在它的叙事里所有方法面对的是同一套验证流程我的表格只是把这种“对齐”显性化。维护这个表格的另一个好处是写论文“相关工作”章节时可以直接从表格里生成段落草稿不用临时回去翻PDF。我上篇论文的相关工作部分几乎就是从这个表格里“翻译”出来的。4.3 第三步顺着参考文献反向追溯源头论文综述的正文是“二手信息”真正可靠的是它引用的源头论文。我有个习惯在综述里看到任何一句关键论断比如“X方法在Y数据集上显著优于Z”都会在脚注里找到原始文献顺手下载。这么做一开始很慢但坚持十篇之后你会发现自己已经建起了一张“引用关联网”哪些是源头哪些是跟风哪些是综述作者自己反复引用的自引工作——后者往往暗示着作者的研究偏好值得留意。反向追溯还有一个变体用论文引用检索工具查“谁引用了这篇综述”。如果一篇2020年的综述在2022年被大量引点开这些引用它的新论文你就获得了“这篇综述尚未覆盖的最新进展”。这是把综述当“活文档”用的关键技巧。4.4 第四步把“Future Work”清单转化为自己的选题池大多数综述的倒数第二节都会写“开放问题与未来方向”这是全篇信息密度最高的部分之一但很多人会跳过。我的做法是把每篇综述里提到的未来方向逐条抄进一个“选题池”文档然后做两件事跨综述找共识跨方向找空白。跨综述找共识很容易理解如果三篇不同作者写的综述都提到“当前融合评测缺乏统一基准”那你基本可以断定这是领域公认痛点。跨方向找空白则更有意思把红外可见光融合里的某个先进技术移植到多曝光融合里看看有没有人做过。“把所有综述里的未来方向的交集列出来”这件事本身就能撑起一篇方法论文的Introduction。我的经验是比起想破脑袋找创新点这个“选题池”方法更安静也更高效。5. 综述之外必须同步掌握的评测体系数据集与指标综述正文只是地图的一半另一半是评测体系。很多综述会在后几章统一对比各个数据集和指标这一部分值得单独拆出来研究。5.1 常用数据集与基准不同子方向有各自的默认基准集。红外与可见光融合这边TNO数据集是最老牌的夜间场景集图像对数量适中几乎每篇IVIF论文都用它FLIR数据集来自车载红外热像规模大、场景复杂但原始数据需要做严格的时空对齐直接拿来跑容易踩坑MSRS是一套较新的高分辨率数据集白天夜晚场景都有是目前对比表里出现频率最高的。多聚焦融合这边Lytro数据集用光场相机拍摄是长期以来的标准选项MFI-WHU由大学提供弥补了Lytro类别单一的问题。多曝光融合常用高动态范围成像数据集很多来自HDR竞赛医学融合常基于公开的脑部影像集和BraTS肿瘤分割数据遥感全色锐化则常见于WorldView、QuickBird以及高分系列卫星数据标注。读综述时我建议先做一个动作把该方向“出现频率最高的三个数据集”单独记下来然后去它们的发布页了解成像条件和标注方式。数据集的选择直接影响你对论文结果的判断——比如在TNO上效果好的方法拿到实际夜间监控场景里未必好用因为TNO拍摄距离近、目标大跟真实安防场景的尺度差异很大。5.2 客观指标的分类与使用陷阱图像融合的客观评价指标大致可以分成几类信息论类指标互信息MI、信息熵EN衡量融合图从源图中继承了信息量的多少结构类指标SSIM及其变体衡量结构相似度梯度信息类指标QAB/F、空间频率SF考察细节和边缘的保持程度有参考条件下还有PSNR、RMSE这类逐像素误差指标。此外针对专用方向还有一些专用指标项例如全色锐化里的光谱角映射和ERGAS医学融合里的标准化互信息等。使用指标时最大的坑是“有参考”与“无参考”的混用。多曝光融合和多聚焦融合理想融合图在语义上是确定的可以使用参考图算指标但红外与可见光融合其实没有严格意义上的真实融合标签很多论文却硬造出“参考图”来算PSNR这种数字参考价值很有限。另一个坑是单一指标骗人我曾复现过一篇论文它的熵值比基准高了0.3但融合图里明显出现了块状伪影因为熵只关心灰度直方图的分散程度根本不在乎空间结构是否合理。所以任何指标结论必须搭配视觉结果一起看。5.3 我的评测实践数值不能替代肉眼判断我在自己实验里的惯例是“肉眼优先、指标辅助”。主观评价至少看三件事边缘是否沿着真实物体的轮廓走、纹理区域是否出现模糊或重影、色彩是否和源图一致。看完主观结果再上指标而且至少同时报两个互补的指标比如“结构保真类指标信息类指标”避免单一维度带偏。最后所有对比要在同样的预处理、同样的输入尺寸、同样的硬件环境下重新跑出来绝不直接抄论文表格。这个习惯让我避免过至少三次“看似好结果、实则不可复现”的尴尬。6. 论文整理的工作流从PDF到可复用的知识库整理综述这件事方法论之外还需要一套能长期维护的工具链。我试过纯文件夹管理也试过各种笔记软件最后沉淀下来的流程是这样的。6.1 文献管理工具的选择逻辑主力工具是Zotero它对入门者友好能自动从DOI抓取元数据浏览器插件一键保存论文页很方便。标签系统的组织原则我定得很死每个标签对应我在第4.1节里提到的“技术树”上的一个节点比如“方向-红外可见光”“方法-基于GAN”“评测-无参考指标”。这样任何一篇论文进来打标签的过程本身就是一次归类思考。除了文献管理还要解决“追踪新综述”的问题。综述不是静态资源每年都会更新。我用学术搜索的关键词订阅和arXiv论文列表订阅来追踪新工作。订阅词不要只写“image fusion”最好拆成“image fusion survey”“infrared and visible image fusion”“multi-focus image fusion”等更精准的组合减少无关结果。想批量拉取近期列表也可以直接用接口查询比如这样一段命令式的思路curl http://export.arxiv.org/api/query?search_queryall:imagefusionANDall:surveystart0max_results20sortBysubmittedDatesortOrderdescending定期扫一遍返回结果把“标题看起来像综述”的下载下来进扫描式阅读流程。整套流程每周花不到半小时就能保证知识库不掉队。6.2 我的表格模板与笔记结构我维护三张核心表格。第一张是“综述总表”字段包括综述标题、作者、年份、期刊、子方向、分类框架、是否带基准、我的精读状态。第二张是“方法对比表”就是我前面说的算法对齐表。第三张是“数据集与指标表”记录每个数据集的特性和每个指标的好坏方向。三张表合起来就是一个轻量级知识库。笔记结构上我给每篇精读综述建一个独立笔记包含四个板块一句话贡献、分类框架图手绘或用文字列表、与我已有知识冲突的点、可用的图表引用位置。很多人读综述时喜欢摘抄漂亮句子我反而建议少摘抄、多转述——转述的过程就是强迫自己理解的过程。6.3 更新与复盘综述文档如何持续维护知识库建立之后最大的敌人是“陈旧”。我的做法是每季度做一次复盘把本季度新看的方法论文和新收集的综述归位更新方法对比表和数据集表同时重新翻一遍年初读过的经典综述用现在的眼光去看往往会发现当初漏掉的信息。比如我第一次读某篇深度学习融合综述时完全没注意它讨论的“特征损失函数设计”半年后自己开始做训练实验回头再看那段才意识到有多重要。综述值得反复读这句话是真的。7. 最后说说我的实际体会整理图像融合综述这件事远没有听起来那么枯燥。我最大的体会是综述不是用来“读完”然后放进收藏夹吃灰的它应该是一条持续使用的主干道。每一次重新翻看都会因为你当前的课题、手头的实验、踩过的坑而读出完全不同的信息。另一个比较实际的建议是越早开始整理越好但整理重点不要放在“收集标题”上而要放在“建立对比关系”上。哪怕第一天只整理了三篇论文只要表格里的字段是对齐的这数据就是有价值的。千万别等到需要写相关工作章节时才发现自己对着几百个PDF文件无从下手。最后再分享一个小技巧把整理好的综述表格同步到云端实验跑不动的时候、通勤的时候拿出来翻一翻时间久了你会发现自己对整个图像融合领域的感觉会比很多下载了上百篇论文却从没整理过的人要扎实得多。