元学习解决小样本学习数据稀缺问题leedl-tutorial 完整实操路径【免费下载链接】leedl-tutorial《李宏毅深度学习教程》李宏毅老师推荐苹果书PDF下载地址https://github.com/datawhalechina/leedl-tutorial/releases项目地址: https://gitcode.com/GitHub_Trending/le/leedl-tutorial你手上每个类别只有5张带标注的图直接训练分类器模型大概率只是把这5张背下来。李宏毅深度学习教程leedl-tutorial给了一条可动手的路用MAML算法从零实现小样本学习在Omniglot数据集上跑通5-way 1-shot实验再和迁移学习基线做对比。 先搞清楚一个前提小样本学习到底解决什么小样本学习不是让模型记住更多而是让它学会怎么学。传统分类器要成千上万张标注图才敢上线小样本学习把它换成了另一个问法每轮只给几个类、每个类几张样本要求模型立刻分对。这像新员工只看过5张发票样例就要判断新来的那张是否合规——要学的不是那5张而是面对新类别时如何快速建立判断力这套通用方法。 拆开来看MAML如何让模型学会快速适应MAML让模型学会学得快MAMLModel-Agnostic Meta-Learning把训练拆成两层。内循环从当前任务抽几张support样本做15步梯度更新让模型临时适应这个任务外循环把内循环更新后的参数代回query集算损失反向传播调的是初始参数θ。它优化的不是答案而是让梯度下降几步就收敛的初值。这也解释了为什么MAML换个网络结构照样能用。for each task: θ θ - α·∇L_support(θ) # 内循环用少量样本适应当前任务 θ θ - β·∇L_query(θ) # 外循环让下次适应更快元任务采样在任务上训练而不是在数据上普通训练的输入是一堆标注样本MAML的输入是一串随机抽出来的任务。每一轮从Omniglot里随机抽5个字符类n-way k-shot这里取5-way 1-shot每类取1张图再拆成support和query两组。训练时模拟的就是测试时的处境模型见过只有几张样本这种局面上线时才不会露怯。普通训练恰恰从未经历过它失效也就顺理成章。 跑一遍数据会说话以教程HW15作业为例数据集是Omniglot手写字符28×28小图约50个字符每轮meta-batch抽5个任务每个任务5-way 1-shot模型与迁移学习基线用的是同一款小CNN。按教程作业给出的数字训练精度从26.7%起步最终爬到84.8%起点几乎等于随机猜验证精度稳定在78%上下说明不是把训练集背了下来对比基线同结构网络换成迁移学习BaseSolver训练few-shot下的精度明显低于MAML曲线的形态正是小样本实验的典型样子训练精度冲得快测试精度爬得慢但稳两者差距始终没有失控。⚠️ 避坑清单跑MAML最容易栽的三处误区1把MAML当普通训练循环 → 外循环梯度要穿过内循环参数别跳过二阶梯度误区2内循环学习率调太大 → 一步就走过头α要明显小于外循环的β误区3只盯着训练精度调参 → 1-shot太容易过拟合应以query集精度为准 接着学去哪儿找小样本学习的动手入口HW15-MetaLearning.ipynb从零跑通元学习的入口实现MAML并与迁移学习基线对比HW15.pdf作业要求与参考页码编码时对照用HW11-Adaptation.ipynb补迁移学习与域适应背景理解小样本场景为什么有效Homework/readme.md15个作业总目录查前置知识用先打开HW15的notebook把base求解器跑通再补上MAML的TODO。当你能在同一份Omniglot测试集上对比两者的精度时小样本学习就真正上手了。【免费下载链接】leedl-tutorial《李宏毅深度学习教程》李宏毅老师推荐苹果书PDF下载地址https://github.com/datawhalechina/leedl-tutorial/releases项目地址: https://gitcode.com/GitHub_Trending/le/leedl-tutorial创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考