简介一份基于Python与卷积神经网络CNN的网络入侵检测算法源码及项目说明面向计算机专业学生、网络安全学习者及科研人员适合用于毕业设计、课程设计或安全系统开发场景。整个资源打包为zip压缩包共33个文件大小约21.58MB主要包含Python训练与预测脚本、训练好的模型权重文件、NSL-KDD数据集、XML与文本格式的项目配置、精度与准确率的可视化图片以及详细的说明文档结构清晰便于检索。项目内容完整覆盖CNN模型构建、数据预处理、训练、测试与性能评估等流程附有代码注释、数据集说明、模型架构设计和训练过程说明读者可以按照文档逐步复现网络入侵检测系统的构建与调优过程。通过实践能够掌握深度学习在网络安全领域的具体应用方法理解网络流量异常特征的分析思路并可将所学迁移至企业内部网络安全监控、云服务提供商安全防护等真实场景中。目前已有134人学习对于需要完成相关毕设或课程设计的同学是一份可直接参考的实战资源。1. 网络入侵检测与 CNN为什么流量特征也能像图像一样被“看穿”很多人第一次听见“CNN 网络入侵检测”这个组合第一反应是CNN 不是拿去识别猫和狗的吗怎么和入侵检测扯上关系其实把网络会话提取成固定长度的特征向量再重组成二维矩阵CNN 卷积神经网络就能像识别图像纹理一样识别出攻击模式这比随机森林和 SVM 的泛化能力更强。基于 Python 的这套网络入侵检测算法源码核心流程是把公开数据集 NSL-KDD 喂给 CNN经过预处理、矩阵重塑、卷积训练最后输出“正常还是攻击”的判断。它适合正在做毕设的学生、想从传统机器学习转向深度学习的算法工程师也适合评估 CNN 是否值得引入现有安全设备的一线研发。落地前先记住一句话网络入侵检测真正要盯的不是准确率而是误报率与漏报率之间的平衡。2. 把 41 维流量特征变成 CNN 能吃的二维矩阵预处理代码与参数2.1 为什么不能把原始流量直接丢给 CNN特征工程是入场券网络抓包拿到的原始流量是字节流长度不定、噪声极大CNN 的输入却要求固定形状。所以社区里做网络入侵检测的常见做法不是做端到端的原始报文识别而是先交给特征工程从每条连接会话里提取出协议类型、服务类型、连接时长、源字节数、目的字节数、失败登录次数等特征。KDD Cup 99 与 NSL-KDD 这两个公开数据集就是干这件事的每条记录有 41 个特征标签标注了 normal 或具体的攻击类型。先用这类公开数据集跑通全流程再考虑替换成自己的流量特征这是最稳的路径。符号型特征是个绕不开的坎。协议类型、服务类型、连接状态这类的值是字符串CNN 只认数字。常见做法是用 LabelEncoder 做整数映射配合后面整体归一化而不是用 OneHotEncoder否则 41 维特征会被撑成上百维意义不大。数值型特征的量纲差别很大源字节数可能上万登录次数可能只有个位数所以必须在 reshape 之前做标准化否则卷积核算出来的特征会严重偏向大数值维度。2.2 train/test 必须分开标准化一次 fit两次 transform数据标准化经常有人偷懒把训练集和测试集拼在一起 fit或者测试集单独 fit这两种做法都会污染模型评估。正确做法是训练集上 fit 一次保存 scaler训练集和测试集都用这同一个scaler去 transform。下面是加载 NSL-KDD 并做标准化的最小代码。import pandas as pd import numpy as np from sklearn.preprocessing import LabelEncoder, StandardScaler NUM_FEATURES 41 LABEL_INDEX -1 # 最后一列是标签 def load_nsl_kdd(path): df pd.read_csv(path, headerNone) # 前 41 列是特征最后一列是标签 X df.iloc[:, :NUM_FEATURES].values y df.iloc[:, LABEL_INDEX].values return X, y X_train, y_train load_nsl_kdd(NSL_KDD_Train.csv) X_test, y_test load_nsl_kdd(NSL_KDD_Test.csv) # 标签统一转成字符串再做整数映射 label_encoder LabelEncoder() y_train label_encoder.fit_transform(y_train.astype(str)) y_test label_encoder.transform(y_test.astype(str)) # 标准化只 fit 训练集 scaler StandardScaler() X_train_scaled scaler.fit_transform(X_train) X_test_scaled scaler.transform(X_test) # 这里不能再次 fit print(训练集特征形状:, X_train_scaled.shape) print(测试集特征形状:, X_test_scaled.shape)这段代码的逻辑分三段第一段按列维度切分特征和标签适配 KDD 系列数据集的原始格式第二段用 LabelEncoder 把字符串标签映射成整数fit 在训练集上transform 同时作用于训练集和测试集第三段标准化。关键参数是 STANDARDIZED_CENTERED 的 fit 位置scaler.transform 只是套用训练集统计量一旦对测试集再 fit测试集的信息就提前泄露进了评估流程后面模型分数虚高就不奇怪了。2.3 把一维向量 reshape 成 7x6 的“伪图像”补位与截断NSL-KDD 的 41 维特征是一维向量CNN 通常吃二维输入所以要做一次形状变换。常见做法是把 41 维重组成接近方形的矩阵比如 7 行 6 列但 7x6 是 42多出的 1 格没法凭空生成另一个选择是 5 行 8 列40 格又要丢掉 1 维。这两种方案都不完美我一般选 7x6 补零原因很简单补零只是增加一个恒定为 0 的维度不改变原有信息而截断会真实丢掉一维特征。def reshape_to_image(X, h7, w6): n X.shape[0] target h * w if X.shape[1] target: X X[:, :target] # 如果特征数多于格数截断最后一维 elif X.shape[1] target: pad_width target - X.shape[1] padding np.zeros((n, pad_width)) X np.hstack([X, padding]) # 如果特征数少于格数用 0 补齐 return X.reshape(n, 1, h, w) # 变成 (样本数, 1, 高, 宽) X_train_img reshape_to_image(X_train_scaled) X_test_img reshape_to_image(X_test_scaled) print(训练集输入形状:, X_train_img.shape)reshape 之后张量成了四维样本数、通道数、高、宽这是 PyTorch 里 Conv2d 的标准输入布局。参数 h 和 w 决定感受野的几何形状7x6 是经验值也可以用 5x9 让每行多几个特征但不要用 1x41 这样的长条卷积核在这种长条上横跨时pooling 几乎没有压缩空间CNN 的表达能力会打折。reshape 之后的矩阵没有空间语义严格说是“伪图像”但 CNN 对局部相关模式的提取能力在这里依然成立它学到的不是像素纹理而是特征与特征之间的局部相关关系。3. 搭建 CNN 入侵检测模型用 PyTorch 复现训练骨架的必调参数3.1 怎么样的结构够用Conv2d BatchNorm Dropout FCCNN 基本结构是“卷积层 池化层 全连接层”这句话说了很多年真正落地时的问题是怎么定深度。网络入侵检测的特征矩阵只有 7x6不是“猫狗识别”那种 224x224 的大图深层的 ResNet 在这里反而容易过拟合。我常用的骨架是两层卷积加一层全连接第一层卷积从 1 通道升到 32 通道第二层从 32 升到 64 通道中间穿插 2x2 的 MaxPool最后展平接两层全连接中间夹 Dropout。这个结构参数少、跑得快在小样本数据集上收敛稳定。为什么不用 LSTM 或 Attention流量特征本身是统计特征不是时间序列特征之间的顺序关系并不强RNN 的优势在这里发挥不出来而 CNN 的局部感受野能捕捉特征组合的关联性比如“目的大端口 短连接时长 高发送字节数”这种组合往往是扫描行为。多年经验下来CNN 在 NSL-KDD 这类表格型入侵检测任务上的性价比是最高的模型更小训练更容易稳定。3.2 最小可运行模型定义、训练、验证三步走下面给一个完整的 PyTorch 实现包含模型定义、训练主循环、验证循环。这个代码可以直接复制运行注意把 X_train_img 和 y_train 换成上一章预处理后的数据。import torch import torch.nn as nn import torch.optim as optim from torch.utils.data import DataLoader, TensorDataset class CnnIDS(nn.Module): def __init__(self, in_channels1, num_classes2): super().__init__() self.features nn.Sequential( nn.Conv2d(in_channels, 32, kernel_size3, padding1), nn.ReLU(), nn.BatchNorm2d(32), nn.MaxPool2d(2), nn.Conv2d(32, 64, kernel_size3, padding1), nn.ReLU(), nn.BatchNorm2d(64), nn.MaxPool2d(2), ) self.classifier nn.Sequential( nn.Flatten(), nn.Linear(64 * 1 * 1, 64), nn.ReLU(), nn.Dropout(0.5), nn.Linear(64, num_classes) ) def forward(self, x): return self.classifier(self.features(x)) def train_model(train_x, train_y, epochs30, batch_size64, lr1e-3): train_x torch.tensor(train_x, dtypetorch.float32) train_y torch.tensor(train_y, dtypetorch.long) dataset TensorDataset(train_x, train_y) loader DataLoader(dataset, batch_sizebatch_size, shuffleTrue) device torch.device(cuda if torch.cuda.is_available() else cpu) model CnnIDS(in_channels1, num_classeslen(set(train_y.tolist()))).to(device) criterion nn.CrossEntropyLoss() optimizer optim.Adam(model.parameters(), lrlr) for epoch in range(epochs): model.train() total_loss 0.0 for xb, yb in loader: xb, yb xb.to(device), yb.to(device) optimizer.zero_grad() logits model(xb) loss criterion(logits, yb) loss.backward() optimizer.step() total_loss loss.item() * xb.size(0) avg_loss total_loss / len(train_y) if epoch % 5 0: acc evaluate_model(model, train_x, train_y.to(device), device) print(fepoch {epoch}, loss {avg_loss:.4f}, train_acc {acc:.4f}) return model def evaluate_model(model, x, y, device): model.eval() with torch.no_grad(): x x.to(device) y y.to(device) pred model(x).argmax(dim1) return (pred y).float().mean().item() # 二分类场景可以直接这样跑 model train_model(X_train_img, y_train, epochs30)逻辑说明CnnIDS 的 features 段做特征提取第一个卷积从 1 通道升到 32 通道7x6 的输入经过 kernel_size3, padding1 后尺寸不变ReLU 激活后接 BatchNorm 做归一化再经过 2x2 MaxPool尺寸减半第二个卷积升到 64 通道再池化一次7x6 的矩阵缩成约 1x1 的 64 维向量最后交给 classifier 做分类。参数上要盯这几个kernel_size3 是最小能捕捉局部组合的窗口改成 5 会明显加大参数且更容易过拟合padding1 保证特征图尺寸不缩水Dropout 0.5 在最后全连接之前打一半神经元是应对小数据集的主要防过拟合手段。训练循环用的是交叉熵损失和 Adam 优化器。交叉熵适合分类Adam 默认 lr1e-3 在多数数据集上不用调就能收敛。batch_size64 在特征矩阵很小的情况下能让梯度稳定显存消耗也低。epochs30 只是起步值NSL-KDD 训练集在一万条量级时通常会看到 10 轮之后训练集准确率超过 98%验证集在 20 轮后开始出现波动早停点一般落在 15 到 25 轮之间。3.3 kernel_size、padding、学习率三个直接影响收敛的参数kernel_size 决定了卷积核每次看多少特征。7x6 的输入上kernel_size3 是在 3x3 邻域内找局部相关性覆盖特征组合kernel_size5 会引入更多噪声项模型在小数据集上震荡明显。padding 的作用不是玄学它保证卷积前后尺寸不变省去后续计算特征图尺寸的负担。学习率方面有一个常见的翻车点刚上手很容易把 lr 调成 1e-2CNN 在小特征图上会直接发散loss 变成 nan降到 1e-3 后马上恢复。如果数据量只有几千条用 lr1e-4 配合更长的训练轮数会更稳。BatchNorm 的位置也有讲究。放在卷积层之后、激活之前是常见做法它能加速收敛并抑制梯度消失。但在 mini-batch 很小的时候比如 batch_size32 以下BatchNorm 的统计量波动反而会让训练不稳定这时候要么调大 batch_size要么去掉 BN 改用 LayerNorm这一点在入侵检测这种样本量不大的场景里尤其重要。4. 训练与评估准确率只是起点误报率与漏报率决定模型能不能用4.1 训练集、验证集、测试集三权分离防止把记忆当学会很多人只在训练集上测准确率结果模型在训练集上 99%一上测试集就掉到 85%。原因很直接模型把训练样本背下来了没有学会泛化。正确做法是从训练集里再切出一部分做验证集验证集不参与梯度更新只用来做早停和调参最后再用完全没有参与训练和验证的测试集做一次终评。这里的划分有个隐蔽坑如果直接从 KDD 原始文件按行随机切分同一个 IP 的会话会同时出现在训练集和验证集里模型会通过 IP 级别的记忆作弊。多数公开源码包不做这一层处理我一般建议先用 session 级别分组再切分。NSL-KDD 不提供现成的 IP 字段划分可以考虑按时间窗口或 connection id 分组至少也要在代码里显式记录切分种子保证结果可复现。4.2 混淆矩阵、检测率、误报率三行代码算出来二分类模型输出的是“正常”和“攻击”两个类别。准确率只说明整体判对比例在网络入侵检测里给不出有效信息假设数据里有 95% 正常流量、5% 攻击流量一个什么都不学、全部输出“正常”的模型准确率也有 95%但它一个攻击都没拦住。真正要看的指标是检测率召回率和误报率。from sklearn.metrics import confusion_matrix, classification_report def evaluate_detection(y_true, y_pred, label_names(normal, attack)): tn, fp, fn, tp confusion_matrix(y_true, y_pred).ravel() detection_rate tp / (tp fn) # 漏报率 1 - detection_rate false_positive_rate fp / (fp tn) # 误报率 precision tp / (tp fp) f1 2 * precision * detection_rate / (precision detection_rate 1e-9) print(f检测率(召回率) : {detection_rate:.4f}) print(f误报率 : {false_positive_rate:.4f}) print(f精确率 : {precision:.4f}) print(fF1 Score : {f1:.4f}) print(classification_report(y_true, y_pred, target_nameslabel_names)) return detection_rate, false_positive_rate, f1 # 例子假设模型预测结果在 test_pred 里 # evaluate_detection(y_test, test_pred) ravel() 按 [TN, FP, FN, TP] 的顺序把混淆矩阵展开这是 sklearn 的固定排列不要自己想当然否则 TP 和 FP 算反了。检测率也叫召回率衡量攻击流量被拦下的比例误报率衡量正常流量被误判为攻击的比例。上线时如果误报率太高安全运营人员每天会收到大量无效告警最后连真正的告警都不看了这是入侵检测落地最致命的问题。4.3 多分类场景哪些攻击类型最容易混成正常流量NSL-KDD 的攻击标签不是只有 normal 和 attack而是分成 DoS、Probe、R2L、U2R 四大类。如果把每个具体攻击家族当独立类别模型往往把 R2L 和 U2R 误判为 normal。原因是 U2R 和 R2L 在训练集中样本太少一少模型就会用“大类别先验”来猜把低置信度样本直接归到 normal。实践中我的处理是如果业务只需要报警和告警定性就先把 R2L 和 U2R 合并成“其他攻击”。这样虽然损失了攻击细分信息但检测率明显提升。此外类别不平衡还会干扰损失函数。CrossEntropyLoss 在二分类模型养成“全猜 normal”的坏习惯时很顽固可以给损失函数加类别权重把攻击类别的权重设成正常类的 3 倍模型会被逼着为少数类保留足够空间。PyTorch 里直接传 CrossEntropyLoss(weighttorch.tensor([1.0, 3.0])) 即可具体倍数根据训练集正负样本比例来定不要凭感觉调到 10 倍否则误报率会压不住。5. 避坑指南数据泄露、类不平衡与三个隐蔽翻车点5.1 数据泄露验证集 AUC 0.99上线却失效现象模型在 train 和 validation 上的准确率都超过 99%但换一批新流量后检测率不到 50%。原因数据泄露。最常见的是把标准化 scaler 在训练集和测试集上分别 fit或者在做特征选择时先看全量数据再切分导致测试集的信息提前参与训练。NSL-KDD 还有一层隐性泄露测试集和训练集存在大量重复记录直接用原始文件切分会把同一条记录分到两边。解决先按 session 去重或按时间切分再交叉验证。标准化严格采用“训练集 fit、测试集 transform”的方式。如果模型在验证集上的表现远好于新数据第一反应不是调网络结构而是检查数据划分链路。5.2 类不平衡准确率 90%攻击一个没拦住现象训练完看准确率 90% 以上把测试集里攻击样本单独拉出来看检测率只有 3%。原因NSL-KDD 本身训练集里正常样本与攻击样本比例接近 1:1但真实网络流量通常攻击占比不到 5%不少项目直接把真实流量喂进来模型很快学会“全输出正常”就能得到很高的准确率。解决不要只用准确率评估。看混淆矩阵盯 detection_rate 和 false_positive_rate。给损失函数加类别权重或使用加权采样让每个 batch 里攻击样本占比不低于 20%。样本太少时用 SMOTE 这类过采样要谨慎CNN 在伪图像上做插值生成的新样本容易失真加剧过拟合。5.3 阈值设置模型输出 0.6 不等于攻击现象模型对某条样本输出概率 0.6你按 0.5 判断它是攻击结果是一堆误报。原因CrossEntropyLoss 训练出的模型在概率校准上并不完美输出 0.5 附近的样本往往处于特征边界区直接切 0.5 会把大量正常流量推入告警池。解决不要硬编码阈值 0.5。在验证集上扫一条阈值曲线从 0.1 到 0.9 每 0.05 算一次误报率和检测率取 F1 最高的点作为上线阈值。落地时把阈值做成配置文件而不是写死在代码里安全运营团队调整告警灵敏度时就不用重新训练模型。5.4 环境复现torch 版本差异带来的黑匣子问题现象同一份源码在组员机器上跑出来的准确率差 2 个点找了好久找不到原因。原因PyTorch 版本升级带来的默认行为差异比如某些版本 Conv2d 的权重初始化方式变了或 cuDNN 在不同 GPU 上选择了不同的卷积实现。这些差异不是代码 bug但足以影响基线对比。解决项目里锁死依赖版本用 requirements.txt 固定 torch 和 numpy 的具体版本并在训练前固定随机种子import random import numpy as np import torch def set_seed(seed42): random.seed(seed) np.random.seed(seed) torch.manual_seed(seed) torch.cuda.manual_seed_all(seed) torch.backends.cudnn.deterministic True torch.backends.cudnn.benchmark False set_seed(42)cudnn.benchmark 设为 False 会牺牲一点训练速度但换来了可复现性。做论文或和外部对比时这步省不掉。5.5 迁移图像增广技术把旋转翻转让给特征矩阵翻车更隐蔽现象有人把图像分类里的随机裁剪、随机旋转用到 7x6 特征矩阵上最后验证集准确率奇高测试集惨不忍睹。原因伪图像的行列有特征含义不同维度之间没有平移不变性。把第 1 维和第 7 维“平移”一下原始特征语义完全错乱旋转更是直接把协议类型和字节数混在一起CNN 学会的根本不是有效模式。解决对特征矩阵只做数值扰动比如加入少量高斯噪声、以很小概率把某个特征置 0这叫 feature dropout。对二维矩阵做任何空间变换都是错的这一点和图像增强有本质区别。6. 把模型从实验台搬到告警盒推理脚本与阈值校准这一步训练完模型只是第一步真正上线需要一个接收特征、输出告警概率的推理脚本。这个脚本的逻辑比训练简单得多加载模型权重、加载 scaler、对每条新样本做同样的标准化和 reshape、算出概率后与阈值比较。import json def inference(model, scaler, feat_vector, threshold0.5): # feat_vector 是长度为 41 的一维 numpy 数组 feat_scaled scaler.transform([feat_vector]) feat_img reshape_to_image(feat_scaled, h7, w6) with torch.no_grad(): logits model(torch.tensor(feat_img, dtypetorch.float32)) prob torch.softmax(logits, dim1)[0][1].item() # 返回是否告警和概率值 return prob threshold, prob # threshold 不写死在函数里外部配置 with open(threshold.json, r) as f: config json.load(f) threshold config.get(attack_threshold, 0.5) print(inference(model, scaler, X_test[0], threshold))这里我没用训练时的 model.eval()推理时必须补上否则 Dropout 还在生效模型输出会波动。此外每一帧流量特征只做一次推理生产环境里考虑加入时间窗口聚合比如同一源 IP 在一分钟内被连续判定为攻击 5 次以上才触发告警这比单条概率阈值更能抑制尖峰误报。阈值校准的建议放在最后。我在实际现场遇到最多的问题不是模型不收敛而是模型在实验台很好看一旦接入真实流量运营团队被误报淹没后干脆关掉告警。后来我养成一个习惯每版模型上线前先用历史一周流量回放画出误报率和检测率的权衡曲线让运营确认能接受的误报率上限再反推阈值。CNN 的参数学得快但阈值往往是决定系统生死的那一个变量。希望帮到你。本文还有配套的精品资源点击获取