简介面向遥感图像分类任务的ResNet实现资源适合有一定Python与深度学习基础、希望将残差网络用于高分辨率或多光谱图像识别的学习者无论是科研入门还是工程验证都有参考价值。压缩包共10个文件7个Python脚本分别对应残差网络结构定义、模型训练、推理预测、数据集处理与日志管理2个Markdown文档说明环境搭建与使用方式1个txt保存结果记录整体仅14KB轻量易用。已有147人学习下载可作为遥感图像深度学习实践的良好起点。资源核心价值在于通过可运行的代码串联起数据预处理、模型构建、训练与评估的完整流程帮助读者理解ResNet如何利用残差块缓解梯度消失并通过跳跃连接提取从边缘纹理到建筑物、道路等高级语义的多层次特征配套说明文档同时降低了环境配置与复现门槛便于动手验证分类效果。1. 这个zip包名字就是个坑Restnet还是ResNet遥感图像分类识别到底该信谁你可能也在硬盘里躺着这样一个压缩包基于Restnet的遥感图像分类识别.zip解压之后发现模型文件里全是conv1、layer1这样的名字。先别急着吐槽文件名少写了一个字母很多老工程师把ResNet写成Restnet已经是习惯代码里跑的都是标准残差网络。这个标题想做的事情很明确用残差网络对遥感影像做地物分类比如把一张航拍图识别成农田、建筑、水体、林地。这件事能解决的实际问题包括农业普查、城市违建监测、灾害评估甚至生态红线巡查凡是需要“让计算机替人看一眼图”的场景都能用。适合谁读如果你是刚接触遥感深度学习的学生、做GIS开发想引入AI能力的工程师或者要快速搭建一个遥感影像分类识别基线的一套方案这篇笔记能帮你从头到尾走通并且把最容易被坑的地方提前指出来。别看ResNet已经是老熟人但遥感图像分类识别这件事和ImageNet上的照片分类有本质区别。如果不搞清楚这些区别直接拿一套自然图像分类代码丢进去你大概率会在验证集上得到一个惨淡的精度。2. 拆开这个zip之前遥感图像分类识别为什么不用VGG而是ResNet2.1 遥感影像和ImageNet照片的差别你的网络必须先过这三关遥感影像和普通照片最大的不同在于拍摄角度和尺度。普通照片拍的是平视视角物体占画面的主体遥感影像是俯视视角一张512×512的影像里可能包含几十栋房子、几百棵树、几块农田每个目标只占十几个像素。这种小目标密集分布的特点对特征提取网络提出了三个要求。第一是目标尺度跨度大。一个城市影像里立交桥和下水道井盖同时存在可能需要网络既能识别全局布局又能捕捉局部细节。VGG靠堆叠小卷积核也能做到但它的深度一旦超过19层训练就会变得极不稳定。第二是背景占比高遥感影像中大量区域是“无效”地物比如阴影、裸土、道路边线这些背景和前景的边界模糊网络要有足够大的感受野才能分辨。第三是类间相似度极高水体与阴影、草地与农田、裸地与沙地在光谱和纹理上都很接近浅层特征根本分不开。ResNet的残差结构恰恰在这三点上都有优势。它通过恒等映射让梯度能直接反传到浅层使得网络可以挖到50层、101层而不发生退化深层网络能提取到更抽象的高层语义特征这对区分“阴影”和“水体”这类细微差别的任务特别关键。而VGG单纯加深会带来优化困难参数量也大得吓人在遥感这种往往只有几千张训练样本的任务里VGG的过拟合速度比ResNet快得多。2.2 ResNet残差结构在遥感场景下的真实收益不只是防退化很多人以为ResNet只是“深”靠层数取胜。其实残差设计的核心思想是让某个层的输出在输入基础上做个微调。假设某个层次想学到的理想映射是H(x)残差结构让网络去拟合F(x)H(x)-x最后把F(x)加上x作为输出。这样一来即使深层网络某一层学不到有用的东西至少能让恒等映射通过不会比浅层网络更差。这就是“退化问题”的解法。放到遥感图像分类识别里这个结构带来的实际收益是你可以放心地把网络深度从18加到50而不必担心训练集精度反而下降。遥感场景下最耗精力的不是网络不够深而是小目标信息在层层卷积之后可能丢失。残差连接相当于给每个stage都留了一条“高速公路”让浅层的边缘、纹理信息更容易传到最终分类层。同时ResNet在ImageNet上的预训练模型已经学习到了通用形状和纹理特征这些特征对遥感地物同样有效比如边缘、角点、周期性纹理。虽然遥感影像和自然照片的域差异存在但低层特征的可迁移性非常强这也是遥感分类任务普遍用ResNet做骨干网络的原因。2.3 选型对照ResNet18/34/50/101在遥感任务里怎么挑不是任何遥感任务都适合直接上ResNet101。我的经验是先看数据量再看显存最后看类别数。给一个直观的对照表模型参数量级适合的数据量适合的场景ResNet18约1100万千张级快速原型、二分类、时间有限ResNet34约2100万三千到一万张中等数据量、类别10左右ResNet50约2500万一万张以上通用遥感分类识别基线推荐首选ResNet101约4400万两万张以上细粒度分类、类别多且样本充足如果只有几千张影像用ResNet50不迁移学习很容易过拟合可以先从ResNet18起步。如果你的显卡只是8G显存ResNet101的512×512输入几乎训不动老老实实选ResNet50。遥感图像分类识别的公开数据集比如NWPU-RESISC45有31500张AID有一万张这种情况下ResNet50是公认的baseline数据量少或类别数只有个位数的自建数据集ResNet18反而更稳。选型的执行步骤很简单先统计训练集的类别数和每类样本量再在GPU上用一个小batch测试各模型的显占最后决定深度。不要一上来就追求最大最深ResNet18跑通流程之后再逐步升级到ResNet50这个习惯能让你省下大量反复调参的时间。3. 把Restnet遥感分类识别跑起来数据组织、训练脚本与关键参数3.1 数据集目录怎么摆Train/Val/Test 与 label.txt 的约定拿到一个zip包里面最可能混乱的就是数据目录。很多代码写死的路径是data/train/类别名/图片.jpg如果你解压后目录结构不统一第一步就要先整理。常见做法是用datasets.ImageFolder读取数据它要求train和val下各有一个类别子目录子目录名字就是类别标签。你可以用一条shell命令把原始图片按类别拷好mkdir -p data/train data/val data/test # 假设你有一张CSV映射文件名,类别比如img_001.jpg,farmland awk -F, { system(mkdir -p data/train/$2); cp data/raw/$1 data/train/$2/$1 } label.csv这段命令从label.csv里读出文件名和类别然后创建对应的类别目录并把图片复制进去。注意把data/raw/替换成你实际的原始图片路径。如果标注是VOC或GeoJSON格式需要先转成这种简单的目录结构ResNet训练代码不负责解析标注格式。另外在data/下放一个label.txt每一行是类别名顺序要和训练目录里的类别字母序一致比如echo -e farmland\ncity\nwater\nforest data/label.txtlabel.txt的作用是给每个类别一个稳定索引测试阶段用同一个文件来映射预测结果。这里有几个容易出错的地方类别子目录名不要带中文训练集和验证集切分时避免同一个文件出现在两边不要用随机切分要按地块或时段切防止同一样本出现在train和val里造成精度虚高。3.2 用PyTorch实现ResNet训练的最小可用脚本下面这个脚本是遥感图像分类识别训练的标准骨架我标注了关键注释。你可以直接复制保存为train_resnet.py在命令行执行python train_resnet.py。import torch import torch.nn as nn import torch.optim as optim from torchvision import datasets, transforms, models from torch.utils.data import DataLoader def get_dataloader(data_dir, batch_size32, image_size224): # 遥感影像常用随机裁剪翻转做增强保留原始灰度范围即可 transform_train transforms.Compose([ transforms.Resize((image_size 32, image_size 32)), transforms.RandomCrop(image_size), transforms.RandomHorizontalFlip(), transforms.RandomVerticalFlip(), # 遥感影像是俯视垂直翻转不改变语义 transforms.ToTensor(), transforms.Normalize(mean[0.485, 0.456, 0.406], std[0.229, 0.224, 0.225]) ]) transform_val transforms.Compose([ transforms.Resize((image_size, image_size)), transforms.ToTensor(), transforms.Normalize(mean[0.485, 0.456, 0.406], std[0.229, 0.224, 0.225]) ]) train_set datasets.ImageFolder(data_dir /train, transformtransform_train) val_set datasets.ImageFolder(data_dir /val, transformtransform_val) train_loader DataLoader(train_set, batch_sizebatch_size, shuffleTrue, num_workers4) val_loader DataLoader(val_set, batch_sizebatch_size, shuffleFalse, num_workers4) return train_loader, val_loader, len(train_set.classes) def create_model(num_classes, pretrainedTrue): model models.resnet50(pretrainedpretrained) # 把最后的全连接层替换成适合遥感类别数量的输出 in_features model.fc.in_features model.fc nn.Linear(in_features, num_classes) return model def train_one_epoch(model, loader, criterion, optimizer, device): model.train() total_loss, correct, total 0, 0, 0 for images, labels in loader: images, labels images.to(device), labels.to(device) optimizer.zero_grad() outputs model(images) loss criterion(outputs, labels) loss.backward() optimizer.step() total_loss loss.item() * images.size(0) correct (outputs.argmax(1) labels).sum().item() total labels.size(0) return total_loss / total, correct / total def validate(model, loader, criterion, device): model.eval() total_loss, correct, total 0, 0, 0 with torch.no_grad(): for images, labels in loader: images, labels images.to(device), labels.to(device) outputs model(images) loss criterion(outputs, labels) total_loss loss.item() * images.size(0) correct (outputs.argmax(1) labels).sum().item() total labels.size(0) return total_loss / total, correct / total if __name__ __main__: device torch.device(cuda if torch.cuda.is_available() else cpu) train_loader, val_loader, num_classes get_dataloader(data, batch_size32) model create_model(num_classes, pretrainedTrue).to(device) criterion nn.CrossEntropyLoss() optimizer optim.Adam(model.parameters(), lr1e-3) scheduler optim.lr_scheduler.StepLR(optimizer, step_size10, gamma0.1) best_acc 0 for epoch in range(1, 31): train_loss, train_acc train_one_epoch( model, train_loader, criterion, optimizer, device) val_loss, val_acc validate(model, val_loader, criterion, device) scheduler.step() print(fEpoch {epoch:02d} | train_loss {train_loss:.4f} | ftrain_acc {train_acc:.4f} | val_loss {val_loss:.4f} | val_acc {val_acc:.4f}) if val_acc best_acc: best_acc val_acc torch.save(model.state_dict(), best_resnet50.pth) print(Best val acc:, best_acc)这段代码的逻辑很直白数据加载采用ImageFolder按类别目录自动生成标签模型用resnet50预训练版本并替换最后的全连接层输出类别数由数据集决定训练循环里每个batch清零梯度、计算损失、反向传播、更新参数验证阶段用no_grad关闭梯度避免显存浪费每个epoch结束时用StepLR把学习率乘0.1并把验证精度最高的模型保存下来。参数说明pretrainedTrue会去下载ImageNet预训练权重如果你的训练环境连不了外网可以先在有网的机器下载对应的.pth文件放到~/.cache/torch/hub/checkpoints/目录或者把pretrained改为False但那样收敛速度会慢很多。batch_size设为32对8G显存刚好如果你的卡只有4G显存改成16。num_workers4是通用值Windows下如果报多进程错误改成0。训练轮数30轮是给一个小数据集的参考值真实项目建议用早停策略而不是固定轮数。3.3 三个必须调好的参数学习率、batch size和图像尺寸这三个参数之间相互制约我给出一个能落地的调参顺序。参数建议范围我的调整习惯学习率Adam: 1e-4~1e-3SGD: 1e-3~1e-2先用1e-3跑10轮如果loss波动大降到1e-4batch size4~64看显存显存不足时梯度累积代替增大batch图像尺寸224/256/512小目标多就上512但batch要减半学习率是遥感分类识别里最敏感的参数。Transfer learning场景下预训练模型的前面层贡献的是通用特征后面层需要重新学遥感专属特征所以常见做法是骨干网络和FC头用不同学习率。你可以把参数分组optimizer optim.Adam([{params: model.features.parameters()}, {params: model.fc.parameters()}], lr1e-3)然后给features部分设置lr1e-4实现“骨干冷静、头部激进”的效果。如果loss在第二个epoch就暴跌到接近0说明学习率太大模型在“硬背”样本赶紧降。batch size在遥感任务里往往由显存决定。ResNet50在512×512输入下8G显存只能放4-8张。这时候不要硬撑应该用梯度累积。简单说就是每4个小batch做一次参数更新等效于batch size4×832但要稍微降低学习率。图像尺寸这个参数最容易被忽略。Remote sensing的影像原始分辨率一般很高很多代码直接Resize((224,224))结果井盖、车辆这些目标被压缩成几个像素怎么训都学不到。我一般会先看一眼训练集中目标占比如果目标边长占原图比例小于10%就用512×512输入如果纯是场景级别的大类分类224就够了。记住尺寸越大越需要更多GPU显存也越容易过拟合不是越大越好。4. 遥感图像分类识别中最容易踩的六个坑避坑指南4.1 过拟合训练集精度99%验证集卡在70%现象训练loss持续下降训练集精度到99%但验证集精度从第8个epoch开始不再上升甚至下降。原因遥感数据集样本量通常只有几千到几万ResNet50参数量超过2500万不迁移学习或者数据增强太弱模型把训练集里的噪声纹理当成了类别特征。解决三条路同时走。第一必须加载ImageNet预训练权重不要从零训第二增强数据变换加入随机旋转、颜色抖动、随机擦除第三用正则化手段比如在FC层后加nn.Dropout(p0.3)或者对训练loss施加权重衰减。这段增强配置可以直接替换第3章代码里的transform_traintransform_train transforms.Compose([ transforms.Resize((256, 256)), transforms.RandomCrop(224), transforms.RandomHorizontalFlip(), transforms.RandomVerticalFlip(), transforms.RandomRotation(30), transforms.ColorJitter(brightness0.2, contrast0.2, saturation0.2), transforms.ToTensor(), transforms.Normalize([0.485, 0.456, 0.406], [0.229, 0.224, 0.225]) ])过拟合一旦出现先检查的是验证集是否和数据泄漏有关。如果验证集图片和训练集来自同一块区域且距离很近模型记住的是区域背景而非地物特征这种“虚假精度”会在换到新区域时彻底崩盘。正确做法是按时序或空间分块划分数据集让验证集代表真实的未知样本。4.2 类别不平衡模型把所有地物都预测成“林地”现象训练出来的模型在预测时几乎只输出样本最多的那个类别比如把水体、建筑都识别成林地虽然总体准确率不低但每个少数类的召回率接近0。原因遥感地物类别天然不均衡林地和农田面积大湿地、工业区样本少。交叉熵损失在样本不平衡时会被大头类别主导模型觉得预测成林地最“安全”。解决给损失函数每个类别加上权重权重和样本数成反比。计算权重可以用一行代码from sklearn.utils.class_weight import compute_class_weight import numpy as np # train_labels 是训练集所有图片的类别索引列表 weights compute_class_weight(balanced, classesnp.unique(train_labels), ytrain_labels) weight_tensor torch.tensor(weights, dtypetorch.float32).to(device) criterion nn.CrossEntropyLoss(weightweight_tensor)加上类别权重后少数类的loss会放大模型被迫重视它们。如果这种做法导致多数类精度明显下降可以改用Focal Loss它会降低易分类样本的loss权重让模型关注难例。对于极稀疏类别比如某类只有50张合成过采样也是手段把同一张影像做多种增强后重复进入训练集相当于变相增加了样本量。4.3 波段处理把8波段的遥感影像硬塞进RGB三通道现象用Sentinel-2多光谱影像训练输入是8个波段但模型第一层卷积只接受3通道数据你发现要么报错要么只能取前3个波段模型精度惨不忍睹。原因ResNet的预训练权重是为RGB三通道设计的遥感多光谱影像包含可见光和红外等多个波段直接丢弃信息等于自废武功。解决如果坚持用预训练权重常见做法是从多波段中选择3个代表性波段组合成伪彩色图比如用近红外、红、绿合成标准假彩色对植被识别非常有效。如果你想保留全部波段需要修改网络第一层卷积的输入通道数并拷贝预训练权重import torch.nn as nn from torchvision import models model models.resnet50(pretrainedTrue) old_conv1 model.conv1 # 原始conv1是3通道 new_conv1 nn.Conv2d(8, 64, kernel_size7, stride2, padding3, biasFalse) with torch.no_grad(): new_conv1.weight[:, :3, :, :] old_conv1.weight # 前3通道用预训练值 # 剩余5通道用原始权重的均值初始化 new_conv1.weight[:, 3:, :, :] old_conv1.weight.mean(dim1, keepdimTrue) model.conv1 new_conv1这段代码把原来3通道的卷积权重复制到新的8通道卷积的前3个通道剩下的5个通道用均值填充保证初始特征提取不震荡。注意修改后原来的预训练权重在第一层就不再完全兼容微调时第一层的学习率要调低给模型时间适应新的波段分布。如果只是做三通道合成的话预处理里把读取的图像模式改成RGB不需要改网络结构。4.4 归一化统计用错训练loss一开始就是NaN现象训练第一个epoch loss就是nan或者指数级飙升模型权重直接损坏。原因有可能是你忘了对输入做ToTensor把0-255的整数像素直接送进网络也可能是用了ImageNet的mean/std对遥感影像完全不适用导致某些通道数值超出loss函数的数值稳定范围。解决先做ToTensor把像素缩放到0-1然后统计自己数据集的均值和标准差覆盖掉ImageNet的默认值。统计代码可以用一小段脚本from torchvision import datasets, transforms from torch.utils.data import DataLoader dataset datasets.ImageFolder(data/train, transformtransforms.ToTensor()) loader DataLoader(dataset, batch_size64, shuffleFalse) mean 0.0; std 0.0; count 0 for images, _ in loader: # images shape: [B, C, H, W] mean images.mean(dim[0, 2, 3]) * images.size(0) std images.std(dim[0, 2, 3]) * images.size(0) count images.size(0) mean / count std / count print(mean, std)统计出来后把第3章代码里的Normalize((0.485,...), (0.229,...))替换成你自己的统计值。尤其注意遥感影像的均值往往不是0.5比如近红外波段在假彩色合成下均值可能很高。归一化设置不对轻则收敛慢重则训练崩溃。这个问题在标题中的“Restnet”代码包里出现的频率非常高因为很多人直接复制了ImageNet的归一化却忘了遥感输入分布完全不同。4.5 显存不足batch都降到2了还是Out of Memory现象训练脚本报CUDA out of memory把batch_size改成2仍然报错甚至一个batch都跑不动。原因ResNet50中间层的特征图在512×512输入下会占据大量显存如果同时开了多个DataLoaderworker并预加载每个worker也会复制一部分数据到显存。还有一个隐藏原因是PyTorch默认在反向传播时保存中间激活中间特征图数量巨大。解决先确认你用的是不是torch.backends.cudnn.benchmark True这个开关能让卷积加速并降低内存碎片然后开启混合精度训练能大幅减少显存占用from torch.cuda.amp import autocast, GradScaler scaler GradScaler() for images, labels in train_loader: images, labels images.to(device), labels.to(device) optimizer.zero_grad() with autocast(): outputs model(images) loss criterion(outputs, labels) scaler.scale(loss).backward() scaler.step(optimizer) scaler.update()这段代码把前向和loss计算放在autocast上下文里用FP16半精度计算梯度缩放防止精度损失。实测在相同显存下混合精度能把batch size提升1.5倍到2倍。如果还不行就把图像尺寸从512降到384再不行降到256优先保batch size而不是分辨率。最后检查一下是否别的进程也在占用显卡用nvidia-smi看一眼显存占用这个坑很多人忽略了。5. 冻结预训练权重再微调遥感Restnet分类识别的提速与提精度技巧跑到这一步你已经能训练出一个能用的模型了。但遥感项目的周期往往不是“跑通”就结束而是要在精度、速度、稳定性之间反复磨合。我最后分享一个最实用的技巧冻结预训练骨干先训FC头再逐步解冻。具体做法分三步先把模型的所有参数冻结只训练最后一层全连接跑5个epoch。这一步速度极快内存占用也小目的是验证数据管道是否正常、学习率是否合理同时让分类器先适应目标的特征分布。然后解冻layer4和fc用之前学习率的1/10做微调跑10个epoch。最后再解冻全部层用1/100的学习率跑完整训练。def set_trainable(model, trainable_layers): for name, param in model.named_parameters(): param.requires_grad False if any(layer in name for layer in trainable_layers): param.requires_grad True # 第一阶段只训FC头 set_trainable(model, [fc.]) # 第二阶段解冻layer4和FC set_trainable(model, [layer4., fc.]) # 第三阶段全部解冻 set_trainable(model, [conv1., bn1., layer1., layer2., layer3., layer4., fc.])冻结的另一个好处是减少过拟合。遥感数据量小完全解冻后模型容易学飞保留大部分预训练参数等于给模型加了一个强先验。解冻顺序也有讲究先解冻高层再解冻低层因为低层边角特征在遥感域里和自然图片更接近改动太大反而容易破坏已有特征。我自己习惯遇到新数据集时不管数据量大小都先走一遍这个流程既能快速摸到精度上限也能避免一开始就陷入全量训练的玄学调参。验证技巧方面除了看验证集精度一定要多看混淆矩阵。遥感类别不平衡时只能看总体accuracy会被假象骗到。我一般每轮验证时顺手用sklearn.metrics.confusion_matrix生成一个矩阵观察哪些类别互相混淆再针对混淆严重的类别补充训练样本或调整损失权重。另外用torchvision.utils.make_grid可视化一些预测错误的图片确认是模型问题还是标注问题这一步能省下大量排查时间。希望这个冻结微调的习惯能帮到你避免在一个不成熟的训练设置上浪费整周时间。本文还有配套的精品资源点击获取