我刚入坑小样本学习Few-shot learning那会儿最头疼的不是读不懂论文而是没人告诉我哪些论文值得精读、哪些只需要看摘要、哪些所谓的“创新点”其实只是换了套数据划分方式。网上搜到的整理贴要么停在2019年要么就是一堆标题堆砌连分类都没有。这个领域从度量学习到优化学习再到预训练模型时代的各种玩法分支已经多到让人眼花缭乱。这篇整理收藏贴我会一直维护更新初衷很简单帮后来的人节省筛选论文的时间。我把读过的论文按技术流派和应用场景做了归类每篇标注了核心思路和我的评价附带一些复现和对比实验时的实际经验。内容上不求全也不可能求全但求把每个分支的代表作和最新进展讲清楚适合刚入门的研究生、准备做小样本方向的工程师以及想快速了解这个领域版图的人。1. 小样本学习到底在研究什么三个典型问题先对齐在整理具体论文之前有必要把问题定义对齐否则后面谈方法容易产生歧义。1.1 场景一只有一个正样本怎么训练分类器最直觉的小样本场景是你有一个分类任务但每个类别只给了极少量的标注样本比如一个类别一张图one-shot或者每个类别五张图five-shot。传统的深度学习方法在这时候会严重过拟合因为模型参数动辄百万、千万级别数据量却是几十上百张。这个场景对应到数学上是这样的优化困境给定支撑集support setS {(x_i, y_i)}其中每个类别的样本数 K 非常小目标是学到一个分类器 f使得在查询集query setQ 上泛化误差最小。当 K 趋近于 1 时监督信息不足以约束高维参数空间模型只能记住训练样本而非学到可泛化的决策边界。1.2 场景二识别从未见过的类别N-way K-shot更常见的小样本设定是 N-way K-shot 分类训练阶段有大量类别的数据基类集合测试阶段遇到全新的类别每个新类别只有 K 个标注样本。模型需要在没有重新训练或仅有极少量梯度更新的情况下对新类别做出正确分类。这类设置是大多数论文的标准评测协议。以 5-way 5-shot 为例每个任务从测试类别中随机抽 5 个类每类 5 个支撑样本再从剩余数据中抽查询样本要求模型在这 5 个类上做分类。整个评测过程需要数百乃至上千个随机任务取平均以此降低偶然性。这里的核心假设是“训练和测试任务的分布一致”——基类上能迁移的归纳偏置inductive bias要被复用到新类别上。这也是为什么很多方法在 domain shift 下性能崩塌的根源。1.3 场景三跨域迁移的小样本还有一类问题是跨域小样本cross-domain few-shot learning比如在自然图像miniImageNet上训练但测试时换成医学影像、卫星图、手绘草图或者工业质检图像。这种情况比同域小样本更贴近真实业务但也难得多因为低级特征差异太大基于局部纹理的度量方法大概率失效。针对跨域问题的论文通常会引入domain adaptation或domain alignment组件。比如在特征提取时加入域对抗训练或在度量空间中做域无关性约束。这已经是小样本学习与迁移学习、域适应的交叉地带。1.4 三大技术分支的划分视角把小样本学习的所有方法归档最省力也最常用的切法是按“知识怎么被迁移”来分基于度量metric-based学一个距离函数或嵌入空间让同类样本靠近、异类样本远离。代表是孪生网络、匹配网络、原型网络。基于优化optimization-based让模型拥有快速适应能力通过对初始化、学习率或更新规则做元学习。代表是 MAML 及其变体。基于数据增强/表示学习hallucination / representation-based通过合成样本、特征增强或预训练表示来弥补数据不足。这个分类并不完美因为近两年的工作常常混合多种思路尤其预训练模型兴起后很多方法的核心变成“如何更好地利用预训练特征”和传统三类不完全兼容。但作为文献管理的初始索引这个切法足够好用。2. 度量学习分支让“距离”承担分类任务度量学习是小样本学习里最直观也最容易上手的分支核心思路是不做多复杂的参数更新而是在特征空间定义好合适的距离度量然后直接最近邻分类。这类方法训练速度快、对小样本任务的适配性好非常适合用来建立基线baseline。2.1 原型网络每个类算一个“平均脸”就行Prototypical NetworksSnell et al., 2017是度量学习里最具代表性的工作之一思路非常朴素每个类别用支撑样本的嵌入向量的均值来表示原型prototype查询样本的嵌入和所有原型做欧氏距离输出距离最近的类。这个设计精妙在它给“类别表示”一个几何上的合理性原型是支撑集样本嵌入的质心而嵌入空间通过训练被优化成“同类样本围绕质心紧凑分布”。对比匹配网络那种基于注意力加权全体支撑样本的方式原型网络省掉了注意力权重训练和推理都更轻。实际复现时有个细节影响很大嵌入空间的归一化。原论文并没有强求对特征做 L2 归一化但很多后续工作发现对嵌入向量做归一化后欧氏距离和余弦相似度的效果差异会缩得很小。如果不做归一化欧氏距离会被特征模长主导测试时容易出现分布外的极端值。我在 miniImageNet 上对比过加了 L2 norm 的 5-way 1-shot 准确率能差 2 到 3 个百分点。原型网络的另一个特性是可以天然扩展到半监督场景对支撑集和大量无标注数据一起做聚类用聚类中心作为更稳健的原型。这个变体叫 Semi-Prototypical Networks在实际工程里往往比纯监督版本更能扛住 K 很小的情况。2.2 匹配网络注意力机制开山之作Matching NetworksVinyals et al., 2016是最早把“支持集和查询集的匹配”纳入端到端训练的框架之一。它不像原型网络那样把支撑集压缩成单个向量而是用注意力机制让查询样本与支撑集每个样本做加权最近邻。这篇论文在历史上很重要因为它明确了 episode training任务化训练范式每次训练迭代随机抽取一个 N-way K-shot 任务并构造支撑集和查询集让模型的训练过程与推理设定完全一致。这个设计后来几乎成为整个领域的标配。有一个在论文里不算起眼但对复现影响巨大的细节匹配网络在训练和测试时分别对嵌入函数做了不同设置。训练时两个嵌入网络支撑集和查询集各一个是分开的测试时则共享参数。如果你在实现中偷懒直接全程共享参数精度会有小幅下降反之如果完全不共享又会过拟合基类。最佳实践是先训练共享版本再在微调阶段放开一个额外的特征适配层。2.3 关系网络距离函数本身也可学习Relation NetworksSung et al., 2018的思路更进一步既然特征可以学那距离函数为什么不能学它把“查询样本和支撑样本拼接后的特征”输入一个小网络直接回归一个关系分数而不是固定使用欧氏距离或余弦距离。这个思路的优点是灵活复杂相似度比如“形状相同但颜色不同”的情况可以被关系模块捕捉到。但反过来也有代价关系模块增加了参数量在 K 非常小如 one-shot时反而可能过拟合。我在几个数据集上都观察到one-shot 时关系网络的方差比原型网络大不少五次随机评测的波动能到 1.5% 左右对论文里那些“我们涨了 0.3%”的说法要打个问号。2.4 度量进化从全局距离到深度匹配传统度量方法在 5-way 1-shot 上做到 60% 左右准确率之后就很难往上走了主要瓶颈在于全局池化丢掉了空间细节。后续代表性工作包括DeepEMDZhang et al., 2020用最优传输optimal transport计算两张图的结构化距离把图像看成空间上的“土堆”距离就是搬运成本。这种思路在处理精细分类鸟的种类、车的型号时优势明显但计算量巨大我不建议在算力有限的场景直接上。FRNFew-shot Learning with Global Matching, 2020用双向匹配解决“查询样本的某个局部特征找不到对应支撑特征”的问题在跨域场景下比原型网络稳健很多。Deep Nearest Neighbor2021简单粗暴在训练好的特征空间里做 k-NN把小样本准确率拉高到当年 SOTA。这个框架太朴素以至于不少审稿人会质疑 novelty但它验证了一个重要结论预训练特征的质量有时比复杂算法更关键。度量学习这边最容易踩的坑是“特征和度量不匹配”换了一个预训练 backbone 后原来设计的距离度量不再有效。遇到这种情况先别急着改度量函数试试在嵌入后加一层线性适配器linear adapter效果往往立竿见影。3. 优化学习分支让模型学会快速适应如果说度量学习是“换个测距方式”优化学习就是“换一套更新参数的策略”。这个分支的核心思想来自元学习meta-learning模型不是直接学一个分类器而是学一个“能够快速适应新任务”的初始化或者学一组更新的超参数。3.1 MAML模型无关的元学习算法Model-Agnostic Meta-LearningFinn et al., 2017是优化学习分支的基石。它的目标非常优雅找到一个初始化参数使得在这个初始化基础上只需要几步梯度下降就能在新任务上获得很好的表现。训练过程中每个任务先执行几步内循环inner loop更新然后在查询集上计算最终损失再通过二阶导或近似更新初始参数。这个“为快速微调而优化”的框架不关心模型结构因而叫 model-agnostic。MAML 在论文中报告的数字很好但复现难度在 Few-shot 领域是出了名的。主要问题在二阶导数完整计算 Hessian 矩阵的代价极高大多数实现都用一阶近似FOMAML来替代这会导致精度明显下降。实际中我建议先用 FOMAML 快速验证 pipeline再考虑用 implicit MAMLiMAML或直接上 Mokey 等高效近似。3.2 一阶方法家族Reptile 到底行不行Nichol et al.2018提出的 Reptile 属于一阶元学习算法和 FOMAML 类似但实现更简单每个任务更新几步后直接把初始参数向任务更新后的参数方向挪一小步不需要计算任何二阶导数。Reptile 的代码简洁到令人感动但它在 Few-shot 分类上的性能普遍低于 MAML 系方法。原因在于 Reptile 的更新方向既包含适应新任务的分量也包含让参数在任务间更稳健的分量两者的比例不可控。相比之下MAML 的损失函数对“查询集表现”的针对性更强。如果你的目标是用最少的代码跑通一个元学习基线Reptile 是好的选择但如果你想冲实验指标MAML 系或 LEO 更靠谱。3.3 基于隐空间的元优化LEOLatent Embedding OptimizationRusu et al., 2019主要解决 MAML 在高维参数空间直接优化带来的不稳定问题。它通过一个编码器把任务信息压缩到低维隐空间在隐空间里做几步梯度下降再把隐向量解码为分类器参数。LEO 明显比 MAML 稳健尤其在 miniImageNet 上训练时损失曲线非常好看。但它在实现上引入了更多组件编码器、解码器、关系网络辅助损失每个组件都有自己的超参数整体调参成本不低。如果算力有限我建议用 LEO 开源的官方代码跑尽量不要自己从零实现。3.4 优化学习中容易被论文掩盖的大坑优化学习分支论文的复现难度普遍高于度量学习主要有三个原因内循环步数不可过大否则训练不稳定过小则任务适应不充分。常见的默认值是 5 步但到底几步最优和数据集的难度强相关需要单独调。内循环学习率通常是固定值但也有不少论文会学出来一个逐参数的学习率向量这会让参数量暴增对显存非常不友好。任务批量大小meta-batch size决定了每次更新的任务数。很多论文只写了 total steps不说每个 step 用几个任务。如果你用 Task 4 跑出来的结果去对比 Task 1 的论文数字对比是不公平的。经验法则先跑通小规模 ablation如 1-shot 只在 5 个类别上再放大到完整 benchmark。直接上完整设置很容易被各种崩溃和 OOM 打击到怀疑人生。4. 数据增强和表示学习没有新类样本就“制造”或“借用”知识第三大分支的基本思路很直接既然小样本的“小”是问题的根源那就想办法把数据变“多”或者让特征表示变得足够强使得即便数据少也能把分类问题解决。4.1 传统图像变换与特征增强最朴素但有效的方法是构造性数据增强随机裁剪、翻转、色彩抖动、CutMix、MixUp 等。这些操作在小样本场景下尤其有效因为样本少意味着数据分布覆盖不足简单增强就能显著提升泛化性。特征层面的增强则更进一步比如在嵌入特征向量上做插值类似 SMOTE或者在特征空间中加入噪声作为隐式正则。有一篇发表于 2019 年前后的工作专门做了系统实验结论是特征增强的下限很高即使只加最简单的高斯噪声也能在 5-way 1-shot 上带来 1 到 2 个百分点的提升。DeepSMOTE 系列将其发挥到极致是对特征空间做合成过采样。4.2 基于生成模型的数据合成用 GAN 或 VAE 直接合成新类别的训练图像是很多早期工作尝试过的路线。但实际效果并不理想图像级生成在小样本下极其不稳定GAN 会崩溃VAE 会产生模糊样本。原因很好理解——生成模型本身就依赖大规模数据让它从 K 个样本里学会生成一个类别的新样本难度不比分类本身小。近两年这个方向被扩散模型diffusion model带起来了。稳定扩散模型可以在少量样本的基础上进行微调生成高质量的增广图像。Brain-diffusion 等一系列工作在这个方向上陆续出现。把扩散模型作为数据增强器而不是分类器是当前比较实用的一种组合方式。4.3 自监督与预训练表示近代小样本的“隐藏主旋律”2021 年之后小样本学习最核心的变量变成了预训练表示。大型模型在超大规模数据上学习到的特征天然具有很强的可迁移性。许多新的小样本方法本质上是在探索“如何从预训练特征中提取任务相关信息”。这里有一篇绕不开的论文BaselineChen et al., 2019。它的核心观点非常解构用一个标准分类网络在基类上预训练然后在测试时用简单的逻辑回归或最近质心分类效果已经可以打败大多数复杂的元学习方法。这篇论文的价值在于帮领域“祛魅”——很多花哨的元学习算法并没有真正学到可迁移的归纳偏置只是隐式地在做表示学习。后续有一系列工作沿着这个方向推进比如将特征做白化whitening、加入通道注意力等。近期的 SOTA 几乎都离不开大规模预训练模型这也是为什么我会将这类方法单独划为“预训练适配”的范式。4.4 多模态与基础模型时代的 Few-shot当 CLIP、GPT-4V 这样的多模态基础模型出现后小样本问题的解题方式又变了你不再需要从零训练一个骨干网络而是通过提示词或少量示例来“对齐”模型已有的知识。比如 CoOp 系列将上下文学习变成可学习的连续向量通过对任务数据进行几十步优化来调整文本端的提示。还有一类做法直接利用 CLIP 的图像-文本联合嵌入空间将支撑集样本嵌入映射到类别文本嵌入周围在 1-shot 场景下能达到不错的零样本效果。从文献管理角度看基础模型时代的 Few-shot 论文关键词通常是prompt tuning、adapter、in-context learning、test-time adaptation。整理时最好和传统 Few-shot 分开目录不然很容易造成“小样本分类”这一块技术栈的前后混乱。5. 基准测试与数据集选错评测方案等于白做文献整理到最后总逃不开一个环节拿 benchmark 验证。这个环节的坑比想象中多得多。5.1 常用数据集一览与适用场景以下是目前小样本分类用得最多的数据集我按推荐度做个简要梳理数据集类别数领域适用场景备注miniImageNet10064/16/20划分自然图像标准学术对比图片小84x84训练快但已被刷爆tieredImageNet608351/97/160划分自然图像层级验证跨类别泛化类间差异更大更接近真实新类CIFAR-FS / FC100100自然图像细粒度低分辨率快速实验FC100 的类间相似度更高更难CUB-200200细粒度鸟类细粒度小样本类别相似度高适合度量方法检验Meta-Dataset多数据集混合多域跨域小样本综合评测评测标准复杂且官方代码库持续更新CDFSL 系列多数据集跨域医学/遥感等实战跨域迁移常用 EuroSAT、ChestX-Ray 等5.2 评测协议的隐藏差异同一个 miniImageNet不同论文的准确率可能直接对比性很低原因就在于某些细节没写清楚支撑集和查询集的采样方式是否固定随机种子查询样本每类取多少个常见是 15 或 16但有的是 5是否采用 transductive inference测试时能否看到整个 batch 的未标注数据。Transductive 方法如利用查询集做聚类或正则化通常比 inductive 方法高 2 到 4 个百分点但两者在真实业务中的可应用性完全不同。我见过很多“复现论文涨点”的案例最终查下来只是评测协议不一致。所以每读一篇论文建议顺手记录它的评测设置是否 transductive、查询集大小、数据增强列表、backbone 结构。5.3 可复现性清单录论文笔记时该记什么记录小样本论文时我通常会在表格里留这几列算法名称、类别度量/优化/增强/预训练、backbone、评测协议N-way/K-shot/是否 transductive、数据集准确率、是否开源、代码质量能否直接跑出论文报告数字。这套表格如果从第一天就坚持维护到后来写综述或者做横向对比时效率会提升十倍。6. 论文阅读路径与实用工具从入门到系统化面对一大堆论文光收藏不整理等于没有整理。列一下我维护这个方向的文献管理方法供参考。6.1 按阶段排阅读顺序给完全从零开始的人一个建议顺序先读三篇综述可以看王晋东等学者在 B 站或知乎的综述视频提纲或者读 2020 年前的 few-shot 综述 PDF先建立整体框架。再精读四篇奠基性论文Matching Networks、Prototypical Networks、MAML、Relation Networks。这四篇分别对应匹配、原型、优化、关系四个核心思路读完就有地图了。然后读 Benchmark 性质论文Baseline、Meta-Dataset 等了解评测的完整面貌。最后按自己的具体任务去检索图像分类相关找 transductive 方法跨域场景找 domain-shift 方法医学影像找低分辨率增强方法。6.2 文献管理与检索工具论文管理我用 Zotero 比较多配合 ZoteroGPT 插件做摘要提取和标签自动分类。建立智能文件夹按“度量学习”“优化学习”“数据增强”“预训练适配”“跨域小样本”这几个方向自动归类比手工分类省力得多。检索方面的关键词建议覆盖few-shot learning、few-shot classification、episodic training、meta-learning、N-way K-shot、cross-domain few-shot、test-time training、prompt learning 等。在 arXiv 上设置 RSS 订阅每天自动收邮件能很大程度上避免漏掉新论文。6.3 给自己的文献库建一个“快速筛查表”每篇论文收藏时都顺手回答三个问题它的方法是在哪个环节改进了流程数据、特征、分类器、优化还是评测它对比的 baseline 是老方法还是和自己同源的方法它有没有开源这套筛查表虽然机械但对于建立一个科技感十足的文献库非常关键。7. 复现与扩展实战论文不会写进 Methods 的细节最后分享一些这几个月大量复现后攒下的实际经验。这些细节论文里基本不会写但影响巨大。7.1 Baseline 先行永远先搭一个简单可跑的基线不管你要读哪篇论文先把这个领域的 standard baseline 跑出来。在小样本分类里最简单可靠的 baseline 就是在基类上正常训练一个分类网络用交叉熵测试时把最后一层分类器扔掉换成最近质心分类或逻辑回归。这个 baseline 在很多数据集上能超过 60% 到 70% 的已发表方法但实现成本极低。有了这个基线你再去看那篇新论文就能判断它的提升到底是方法本身带来的还是因为它的 backbone 更强、输入分辨率更高、训练迭代更多。7.2 超参数敏感性比模型结构更值得关注在小样本分类中学习率调度cosine annealing 与否、Weight decay 大小、支撑集/查询集的比例对最终结果的影响往往不亚于算法本身。比如在 miniImageNet 上跑原型网络调整类别内样本归一化方式就带来了接近 3% 的波动这个幅度远大于一些方法之间 0.5% 的差异。所以复现论文时我强烈建议先花时间还原它的训练配置——数据增强列表尤其关键。有篇 2019 年的工作模型结构摆在那不加强增强 58%加了最简单翻转裁剪直接变成 62%。这已经足以说明问题。7.3 显存与速度优化先验证后扩展元学习方法通常占用显存极高因为内循环的梯度需要跨任务累积。解决思路有两个梯度累积gradient accumulation或者减少元任务批量大小。如果论文里用 4 个任务更新一次你的卡跑不动可以试试 2 个任务更新一次但学习率减半效果往往接近。另外一个很实用的 trick对支撑集特征做缓存。在评测阶段支撑集是固定的可以先把支撑集所有图像的特征一次性提取出来然后只对查询集做前向传播。这能省掉大约一半的推理时间。度量方法和优化方法都适用。7.4 代码层面的常见踩坑数据加载器必须在每个 episode 中重置随机种子否则同一个任务反复出现评测结果会被高估。验证集和测试集不可混合做数据增强策略调参否则会有数据泄漏。在使用预训练 backbone 时确认它是否已经在目标数据集上训练过——比如是否用了 CIFAR 预训练的 ResNet 去测 CIFAR-FS这种信息泄漏在早期论文里并不罕见。保存模型时不要只保存了最终权重还要记录评测协议相关的配置参数否则几周后回来根本不知道当时的准确率是怎么算出来的。这套经验不光对你复现论文有用对你将来自己投稿也至关重要。很多审稿人就是靠这些细节判断一个工作是否扎实。复现新论文时如果发现它比论文结果低了 2% 以上先不要怀疑方法本身优先检查它的数据增强、学习率策略和评测协议。整理小样本学习的文献不是单纯收集 PDF。真正的整理是把问题分类、把方法归流、把实验结果做成可对比的表格、把复现过程中踩到的坑记录下来。这个领域发展太快两年前的所谓 SOTA 在预训练模型面前可能已经不够看但核心科学问题没有变如何用极少的标注样本完成可靠的学习和推理。带着这个问题意识去看论文才能在一堆术语和指标中找到真正有价值的方向。