简介面向高校计算机、通信、人工智能及自动化等相关专业学生的课程设计/毕业设计项目基于UNSW_NB15数据集构建CNN与随机森林联合的网络入侵检测方案解决网络流量正常与攻击行为的二分类识别问题。项目包含42列特征与二分类标签的数据处理流程完整覆盖特征处理、Pearson相关性过滤、随机森林特征选择、CNN训练等关键环节并参考《基于深度神经网络的网络入侵检测技术》组织实验流程同时给出依赖安装指引可帮助读者从数据处理到模型评估快速跑通整套机器学习加深度学习方法。压缩包约10.02MB主要由Python源码、项目说明文档和答辩PPT组成脚本按数据预处理、样本平衡、特征筛选、模型训练等模块划分便于逐步复现与二次修改。目前已有339人学习浏览热度表现较好适合作为期末课程大作业、课程设计或毕业设计的参考起点。借助样本平衡、Min-max归一化、特征筛选及CNN训练脚本读者既能复现基线实验也能参考论文思路调整特征或网络结构开展更深入的对比实验。1. Python基于CNN网络和随机森林的网络入侵检测这套源码组合解决什么问题计算机专业做网络入侵检测十个里有八个被导师建议过用深度学习试试剩下两个被建议用随机森林。而标题这套方案的取巧之处在于它把 CNN 卷积神经网络和随机森林都放进了一条流水线里用 CNN 从网络连接记录里自动提特征用随机森林做最终分类。这不只是两个模型凑在一起而是把特征学习和分类决策拆成了两段规避了单一模型在小样本攻击类别上的翻车问题。这篇文章就顺着这个思路把数据预处理、CNN 特征提取器、随机森林分类器、参数调法和答辩材料怎么写一步步拆给你。适合正在做课设、毕设或者想拿 NSL-KDD 这类公开数据集练手的人。2. 为什么要用 CNN 随机森林做入侵检测而不是二选一2.1 单模型在入侵检测里的两个硬伤梯度淹没与特征语义断裂先说为什么不只用一个模型。CNN 端到端做分类的常规操作是特征提取层 softmax 输出层整个网络用交叉熵损失做梯度下降。这个机制在图像分类上很好用但放到网络入侵检测里有个实际问题攻击流量里的类别数量极度不平衡。NSL-KDD 这类数据集里Normal 和 DoS 样本能占掉绝大多数U2R、R2L 这类小众攻击可能只有几十条。交叉熵的梯度在各个类别上是按样本量加权的小样本类别的梯度贡献被大类别淹没网络训练完以后对 U2R、R2L 几乎学不到东西。随机森林的问题在另一边。它虽然对不平衡数据比梯度下降模型皮实但它直接作用在 41 维原始流量特征上时特征语义是碎的。比如src_bytes和dst_bytes之间的比例关系serror_rate和rerror_rate的组合模式这些二阶甚至更高阶的交互特征单棵决策树靠单特征阈值切分很难一步挖出来。你要么手工做大量特征工程要么让模型自己学。CNN 的价值正好在这里一维卷积核在相邻特征维度上滑动能把局部特征组合自动提炼出来相当于替随机森林做了特征工程。所以这个组合的选型逻辑很清晰CNN 负责把 41 维原始记录压缩成一组抽象特征向量随机森林负责在这个特征空间上做稳健分类。CNN 不需要输出最终类别它的任务到特征向量就结束随机森林不接触原始特征只吃 CNN 提炼后的结果。两段解耦之后你可以单独调卷积结构也可以单独换随机森林参数互不干扰。这也是这个题目在答辩时最好讲的一点。2.2 混合模型的整体数据流连接记录 → 特征编码 → 卷积特征 → 树分类整套流程从数据到结果一般拆成五步。第一步是把原始连接记录装载成表格NSL-KDD 的 txt 文件每行是一条网络连接记录38 个数值特征加 3 个符号特征再加 1 个标签共 42 列。第二步是把 3 个符号特征协议类型、服务类型、连接状态标志编码成数值因为 CNN 和随机森林都吃不了字符串。第三步是对连续型特征做标准化把不同量纲拉回同一个尺度。第四步是把 41 维特征向量整理成 CNN 能接受的形状训练 CNN 做特征提取。第五步是把 CNN 倒数第二层输出的特征向量喂给随机森林训练分类器并评估。我一般会把项目拆成四个脚本预处理脚本、CNN 特征提取脚本、随机森林脚本、评估脚本。目录结构大概长这样nids_cnn_rf/ ├── data/ │ ├── KDDTrain.txt │ └── KDDTest.txt ├── preprocess.py ├── cnn_extractor.py ├── rf_classifier.py └── evaluate.py环境方面用 Python 3.8 以上的版本装 TensorFlow、scikit-learn、pandas、numpy、matplotlib 就够了。CPU 版本跑 NSL-KDD 这个规模的数据集完全够不需要 GPU因为训练样本只有一万多条不是 ImageNet。python -m venv venv source venv/bin/activate pip install tensorflow-cpu pandas numpy scikit-learn matplotlib2.3 二分类还是五分类NSL-KDD 上的常见设定数据集的标签处理有两种常见设定。二分类把标签变成normal和attack只看一条连接是不是攻击简单直接准确率能做到 90% 以上适合先跑通流程。五分类则保留成Normal、DoS、Probe、R2L、U2R五类能回答这是什么攻击但小类别识别率会很难看U2R 类别的 recall 常年是 0这是数据集本身的特性不是模型调得不对。两种设定的选择取决于你的题目要求。如果是课程设计二分类作为主结果五分类作为扩充实验放在答辩 PPT 的对比页里是比较稳妥的策略。如果是毕业论文建议两个都做二分类证明模型有效五分类暴露问题再针对性处理比如重采样、代价敏感学习这部分能撑起一整章的内容。设定类别数难度建议用途二分类2低acc 可达 90%跑通主流程、验证模型有效性五分类5高小类 recall 低论文深度实验、答辩对比3. 数据准备与预处理NSL-KDD 的装载、编码与标准化3.1 字段模板和数据集装载脚本NSL-KDD 是从 KDD Cup 99 原始数据清洗出来的版本去掉了大量冗余样本训练集和测试集的样本量比原始数据集合理很多。原始文件是 txt 格式没有表头读取时必须用headerNone然后手动指定列名。列名顺序是固定的41 个特征加 1 个标签任何一列对错位后面全盘出错所以字段模板要复制准。读取脚本通常长这样import pandas as pd KDD_COLUMNS [ duration, protocol_type, service, flag, src_bytes, dst_bytes, land, wrong_fragment, urgent, hot, num_failed_logins, logged_in, num_compromised, root_shell, su_attempted, num_root, num_file_creations, num_shells, num_access_files, num_outbound_cmds, is_host_login, is_guest_login, count, srv_count, serror_rate, srv_serror_rate, rerror_rate, srv_rerror_rate, same_srv_rate, diff_srv_rate, srv_diff_host_rate, dst_host_count, dst_host_srv_count, dst_host_same_srv_rate, dst_host_diff_srv_rate, dst_host_same_src_port_rate, dst_host_srv_diff_host_rate, dst_host_serror_rate, dst_host_srv_serror_rate, dst_host_rerror_rate, dst_host_srv_rerror_rate, label ] def load_kdd(path): df pd.read_csv(path, headerNone, namesKDD_COLUMNS) return df train_df load_kdd(data/KDDTrain.txt) test_df load_kdd(data/KDDTest.txt) print(train_df.shape, test_df.shape)这段代码的核心是把 txt 按 CSV 方式解析用names参数把 42 列列名一次性绑定。shape打印出来应该分别是(125973, 42)和(22544, 42)如果列数不对优先检查下载的文件是不是完整版。标签列在最后一位符号特征在前 4 列protocol_type是第 2 列service是第 3 列flag是第 4 列这三个必须单独处理。3.2 符号特征的编码LabelEncoder 与类别对齐三个符号特征不能直接喂进模型。protocol_type常见取值就tcp、udp、icmp三种service有几十种flag有十多种。用LabelEncoder做整数编码是最简做法但这里有一个比编码本身更重要的细节测试集里可能出现训练集没有见过的取值比如训练集没出现的某种service字符串。如果你的编码器只在训练集上fit到测试集上编码时就会直接抛错。更好的做法是把训练集和测试集拼在一起先 fit 编码器或者用sklearn里带handle_unknown参数的处理方式。拼接 fit 最省事from sklearn.preprocessing import LabelEncoder symbol_cols [protocol_type, service, flag] encoders {} for col in symbol_cols: enc LabelEncoder() # 先拼后 fit保证训练集和测试集用同一套映射表 combined pd.concat([train_df[col], test_df[col]], axis0).unique() enc.fit(combined) train_df[col] enc.transform(train_df[col]) test_df[col] enc.transform(test_df[col]) encoders[col] enc这段代码的关键在于fit的输入是训练测试拼接后的唯一值列表而不是只拿训练集去 fit。LabelEncoder遇到没见过的类别会抛ValueError这是新手最容易撞上的报错。另外编码完的整数本身没有大小语义比如tcp被编成 1、udp被编成 0这个大小关系没有实际含义CNN 会把它当成数值特征用但通常影响不大因为还有后面标准化和卷积层的非线性变换兜底。3.3 数值特征标准化scaler 只能在训练集上 fit数值特征的量纲差异很大。src_bytes可能上百万serror_rate是 0 到 1 的小数count是几十到几百。如果直接扔给 CNN量纲大的特征会在卷积核更新时主导梯度方向。标准化是必须的但更关键的是操作顺序StandardScaler只能在训练集上fit然后把训练集的均值和标准差应用到测试集绝不能用全量数据 fit否则测试集的信息会泄漏到模型里评估结果虚高。标准做法如下from sklearn.preprocessing import StandardScaler num_cols [c for c in KDD_COLUMNS if c not in symbol_cols and c ! label] scaler StandardScaler() X_train_raw train_df[num_cols].values.astype(float32) X_test_raw test_df[num_cols].values.astype(float32) # 只 fit 训练集transform 训练集和测试集 X_train scaler.fit_transform(X_train_raw) X_test scaler.transform(X_test_raw)X_train和X_test到这里就是形状为(样本数, 41)的二维矩阵。注意num_cols的构造方式排除 3 个符号列和label列剩下的 38 个连续特征里也混着一些计数类特征比如num_root、num_file_creations这些字段大部分取值是 0标准化后依然稀疏不需要额外处理CNN 和随机森林都能自适应。到这里数据预处理的主流程就结束了下一步是把这 41 维特征组织成 CNN 能消化的形状。4. 搭建 CNN 特征提取器并接上随机森林分类器4.1 用 Conv1D 构造一维卷积特征提取器41 维特征本质是一条 1D 序列不是图像所以这里用的是Conv1D而不是Conv2D。输入形状是(41, 1)表示 41 个时间步、每个步长 1 个通道。卷积核大小kernel_size3或 5意思是每次滑动看相邻 3 个或 5 个特征维度这能让卷积核挖掘出相邻特征组合成的局部模式比如serror_rate和srv_serror_rate同时升高这样的关联关系。特征提取器的结构一般这样搭from tensorflow.keras.models import Model from tensorflow.keras.layers import Input, Conv1D, Dropout, GlobalAveragePooling1D, Dense def build_cnn_extractor(input_dim41): inputs Input(shape(input_dim, 1)) x Conv1D(filters64, kernel_size3, activationrelu, paddingsame)(inputs) x Dropout(0.3)(x) x Conv1D(filters128, kernel_size3, activationrelu, paddingsame)(x) x Dropout(0.3)(x) x GlobalAveragePooling1D()(x) x Dense(128, activationrelu)(x) features Dense(64, activationrelu, namefeature_vector)(x) extractor Model(inputsinputs, outputsfeatures) return extractor结构上做了两次一维卷积卷积核数从 64 加到 128每层后面跟一个 Dropout 防止过拟合。GlobalAveragePooling1D的作用是把卷积输出的序列压成一个向量相比直接Flatten它能减少参数量而且对序列长度变化更鲁棒。最后一个Dense(64)就是我们要的特征向量它的输出会在下一步喂给随机森林。这是混合模型最关键的一个接缝CNN 到这里不输出类别概率只输出 64 维的抽象表示。4.2 提取特征向量的三种方式与推荐CNN 里能当特征向量用的位置有三处。第一处是倒数第二层全连接层的输出也就是上面代码里的feature_vector它接收了全部卷积信息。第二处是GlobalAveragePooling1D的输出维度等于最后一层卷积的 filters 数信息更局部。第三处是直接把 softmax 层的输入拿过来也就是分类层之前的裸 logits。实际使用时推荐第一处也就是直接取Dense(64)的输出理由有两个一是它的维度经过人为压缩64 维对随机森林来说大小合适不会像 128 维甚至更高的 logits 那样带来维度灾难二是它经过了完整的前向传播语义抽象程度最高。取特征向量的代码很简单extractor build_cnn_extractor() # 再训练一个临时分类头用来驱动 CNN 学习特征 input_layer extractor.input output_layer Dense(2, activationsoftmax, nameclassifier)(extractor.output) tmp_model Model(inputsinput_layer, outputsoutput_layer) tmp_model.compile( optimizeradam, losssparse_categorical_crossentropy, metrics[accuracy] ) print(tmp_model.summary())这里output_layer接的是特征提取器的输出加上一个 2 分类的 softmax 头用二分类目标训练整个网络。这个临时分类头的作用只是让 CNN 学会区分正常和攻击训练完以后它会被丢掉真正保留的是它底下的特征提取能力。sparse_categorical_crossentropy要求标签是整数编码也就是 0、1 那种数字和LabelEncoder编排的逻辑是配套的。4.3 随机森林参数怎么定先从默认值开始随机森林这部分相对简单但也别乱调。随机森林对超参数不敏感最优先调的是n_estimators一般 300 到 500 棵树就够再往上收益很小训练时间却线性增长。max_depth保持默认 None让树自由生长配合袋外样本防止过拟合。min_samples_split用默认 2 或者调到 5都是可接受的范围。训练随机森林的代码from sklearn.ensemble import RandomForestClassifier # 用训练好的 CNN 提取特征 X_train_cnn extractor.predict(X_train[:, :, np.newaxis], verbose0) X_test_cnn extractor.predict(X_test[:, :, np.newaxis], verbose0) rf RandomForestClassifier( n_estimators300, random_state42, n_jobs-1, class_weightbalanced ) rf.fit(X_train_cnn, y_train) y_pred rf.predict(X_test_cnn)注意几个细节。X_train[:, :, np.newaxis]是为了把二维特征矩阵补成 CNN 需要的三维形状axis2 上添一个单通道维度。class_weightbalanced让随机森林在计算分裂增益时自动给少数类更高的权重这是处理不平衡最省力的一招。n_jobs-1用满所有 CPU 核心500 棵树在一万多条样本上训练只需要几秒。random_state42固定住随机种子保证重复实验结果可复现这很重要答辩时如果被要求当场重跑复现性就是你的底气。4.4 完整训练流程epochs、batch_size、早停CNN 部分的训练不能盲目跑满固定轮数。NSL-KDD 训练集规模不大网络很容易过拟合训练几个 epoch 后验证集准确率就开始下降。早停机制几乎是必须的。from tensorflow.keras.callbacks import EarlyStopping X_train_cnn_3d X_train[:, :, np.newaxis] X_test_cnn_3d X_test[:, :, np.newaxis] history tmp_model.fit( X_train_cnn_3d, y_train, epochs50, batch_size128, validation_split0.2, callbacks[EarlyStopping(monitorval_loss, patience5, restore_best_weightsTrue)], verbose1 )batch_size128是个均衡选择太小比如 16训练震荡大太大比如 512收敛慢且容易卡在局部最优。validation_split0.2从训练集里切出 20% 做验证用于早停判断注意这时测试集仍然完全不能参与训练。patience5表示验证损失连续 5 个 epoch 不下降就停止restore_best_weightsTrue会把权重回滚到验证集上表现最好的那一步这是防过拟合的后悔药。训练结束后用extractor.predict分别提取训练集和测试集的特征向量然后回到上面的随机森林代码完成分类训练。到这里一条完整的CNN 提特征、随机森林做分类的流水线就闭环了。下一步进入评估环节但评估里全是坑。5. 避坑从数据泄露到小类识别率归零的五个现场5.1 测试集里出现训练集没见过的 service 取值现象跑预处理时报ValueError: y contains new labels或者训练集正常、测试集编码报错。原因LabelEncoder默认不支持新类别。NSL-KDD 的测试集和训练集在服务类型分布上天然有差异训练集里没有的service类型在测试集里会出现直接用训练集 fit 的编码器去转测试集必然翻车。解决像前面代码那样先对训练测试两边的该列做unique()合并再统一 fit 编码器。如果担心未来上线时出现全新类别更稳妥的方案是给未知类别分配一个专门的other桶比如把service中低频取值全部归并成一个类别这样模型对未知服务类型不至于完全束手无策。5.2 归一化和标准化把测试集也算进去现象模型评估准确率惊人95% 甚至更高但换到真实场景表现落差巨大答辩时被问住。原因标准化时用了全量数据的均值和方差测试集的信息在训练阶段就暴露给了模型。这属于数据泄露评估结果虚高属于典型的自欺欺人。解决严格遵循先划分、后处理的顺序。scaler只允许在训练集上 fit测试集只用transform。用小样本先跑通流程时也要养成这个肌肉记忆。判断泄露最简单的自查办法看你的代码里fit_transform作用在什么数据上如果X_test或全量X出现在 fit 相关的语句里那就已经泄露了。5.3 U2R 和 R2L 的识别率是 0但整体准确率却很高现象打印分类报告Normal 和 DoS 的 f1-score 都在 0.95 以上但 U2R 的 recall 是 0.00R2L 也只有零星几个点。整体准确率依然 90% 多模型看起来很成功。原因NSL-KDD 本身就极度不平衡。KDDTrain 里 U2R 类只有几十条样本R2L 也才几百条而 Normal 和 DoS 占了几万条。准确率被大头类别主导小类别完全被淹没。单独用class_weightbalanced能救一点但无法根治。解决评估时不要只看 accuracy必须看每类别的 precision、recall、f1-score。如果小类无法提升论文里就明确把这个边界写出来——本模型在小样本类别上的识别率受限于数据集固有分布后续工作可引入重采样或生成式方法。承认边界比藏着掖着安全得多评审老师会接受这个解释。想硬刚的话可以先对训练集做随机欠采样或 SMOTE把小类样本复制出头再重新训练但要注意这会改变先验分布必须在论文里充分讨论。5.4 CNN 结果随特征排列顺序漂移感受野的玄学现象同样是 41 个特征换了一下排布顺序比如把duration从第 1 列挪到第 20 列模型效果就变了而且说不清为什么。原因一维卷积的滑动窗口天然给相邻特征赋予了局部性它假设相邻位置在语义上相关。KDD 的 41 个特征本身并没有按语义相关性排列src_bytes旁边是dst_bytes还算合理但duration旁边是protocol_type就未必有实际关联。卷积核在跨越这些无关特征时学到的是人为排列带来的伪模式。解决这是可以接受的局限性不必过度纠结。实际经验是标准列顺序在多轮实验里表现不差可以保持默认。非要优化的话可以做简单特征重排对比实验把相关性比较高的特征手动放到相邻位置观察验证集波动或者用kernel_size5、7这类更大的感受野降低单个局部窗口对特征排列的敏感度。关键是多跑几次结果取平均值报告别拿单次随机种子说事。5.5 训练集和测试集分布不一致是设计使然现象训练集上 acc 到了 99%测试集上只有 75% 左右怎么调都提不上去。以为是过拟合但 Dropout、正则都加了还是这样。原因NSL-KDD 的测试集是故意做得和训练集分布不一致的它包含训练集从未见过的攻击变体。这跟普通机器学习竞赛测试集和训练集同分布的前提不同所以测试集掉点不全是模型问题而是数据集的评审标准本身就是泛化能力。解决别想着把 KDDTest 硬拟合到 90% 以上。报告结果时分两栏一栏是测试集整体准确率另一栏是各攻击类别的检测率如果某个攻击类别的检测率特别低单独说明它不在训练集分布里。答辩时主动抛出这组数字解释数据集的设计意图比被老师追问到哑口无言要体面得多。6. 答辩与二次开发验证指标、可视化与 PPT 故事线6.1 用混淆矩阵加分类报告代替准确率答辩时只贴一个 94% 的准确率是远远不够的。最容易被追问的点就是你这个准确率是在什么数据上测的、每个类别表现如何。所以评估脚本里至少要有混淆矩阵和完整分类报告import matplotlib.pyplot as plt from sklearn.metrics import confusion_matrix, classification_report, ConfusionMatrixDisplay labels [Normal, DoS, Probe, R2L, U2R] cm confusion_matrix(y_test, y_pred, labelsrange(len(labels))) disp ConfusionMatrixDisplay(confusion_matrixcm, display_labelslabels) disp.plot(cmapBlues) plt.title(CNNRF Confusion Matrix on KDDTest) plt.savefig(confusion_matrix.png, dpi150, bbox_inchestight) plt.show() print(classification_report(y_test, y_pred, target_nameslabels, digits4))这段代码里digits4控制指标精度小类别的 0.0000 要敢放出来。ConfusionMatrixDisplay是 scikit-learn 现成的可视化工具一张带颜色深度的混淆矩阵图放在 PPT 里比十个数字表格更有冲击力。注意如果做的是二分类labels换成[normal, attack]即可。6.2 答辩 PPT 的故事线建议PPT 建议控制在 12 到 15 页按动机—数据—方法—实验—结论五段走。方法页画一张流程示意图就够了41 维输入箭头指向 Conv1D再指向 Dense 特征向量再指向 RandomForest每层标注输出的维度。实验页放对比表单独 CNN、单独随机森林、CNNRF 三者的准确率和加权 F1。不要虚构别人的论文数据就用自己的实验三个模型各自跑一遍也不难。结论页必须写清两点CNN 的贡献是特征提取随机森林的贡献是对小类别更鲁棒的分类决策两者解耦让系统可替换性更强。6.3 拿到源码包后的检查顺序如果你是从网上下到的源码包先别急着跑。第一步看项目说明里写的数据集路径NSL-KDD 文件要单独下载如果代码里是read_csv(KDDTrain.txt)而你没放对路径第一行就报错。第二步检查预处理和模型是两个文件还是一个文件混在一起的话优先拆开。第三步确认库版本TensorFlow 2.x 之间的 API 差异很大比如Dense、Conv1D这类高层 API 在 2.10 和 2.15 里用法不同报错先查版本。第四步用小批数据跑通全流程比如取原始数据的 2000 行做一次端到端验证确认形状和维度都对再切全量数据。第五步才是调参和答辩准备。我做这类项目时养成的习惯是每改一个参数就记一次实验结果哪怕只是改了kernel_size从 3 到 5也把当次的准确率和 F1 记到一张表格里。答辩时被问到你这个参数是怎么定出来的直接翻出当时的记录讲调参过程比临时找理由可信得多。混合模型这个方向本身不难难点全在细节的取舍和实验的严谨性希望帮到你。本文还有配套的精品资源点击获取