简介NSL-KDD 入侵检测数据集是经典 KDD99 的改进版本面向从事机器学习、网络空间安全与入侵检测研究的学生、科研人员及算法工程师可用于分类、异常检测与特征工程等实验的基准评测。压缩包共 11 个文件约 5.74MB以 arff 与 txt 两类数据文件为主分别适配 Weka 等工具直接加载和脚本读取解析另附 jpg 图表与 html 说明页便于快速了解数据分布。该数据集剔除了训练集冗余记录、清除了测试集重复样本并按难度级别反比采样使分类器不再偏向高频类别不同算法的检测率能在更宽范围内区分评估结果更准确且可复现训练与测试规模设置合理整套实验无需随机抽样即可低成本运行。目前已有 4400 人学习下载适合作为入侵检测方向入门与对比实验的可靠数据基础。1. NSL-KDD 入侵检测数据集为什么 2024 年还在用它跑基线如果你最近在做一个网络流量异常检测的原型或者要给团队交一份「自适应入侵检测」的可行性验证大概率会被人推荐 NSL-KDD。它不新甚至有点老但它是少数几个「下载下来就能跑、跑完还能和别人对比」的公开数据集。KDD Cup 99 的原始版本有大量重复记录训练集和测试集分布也不一致NSL-KDD 就是针对这两个问题做的清理版去掉了训练集里的冗余记录让测试集里的记录不重复同时把难度做了分层。这意味着你训出来的模型准确率不会因为「见过同一类样本几百遍」而虚高。它适合谁适合刚入门入侵检测、想先把「特征工程 → 模型训练 → 评估」这条链路跑通的人也适合已经有一套检测框架、需要一个稳定基线来验证新想法的人。不适合谁不适合直接拿它当生产环境的唯一依据——它的流量特征偏旧攻击类型也有限。但作为基线它仍然是性价比最高的选择之一。下面我会按「数据长什么样 → 怎么读进来 → 怎么训 → 怎么避坑 → 怎么进阶」的顺序把这条链路拆开讲。2. 先把 NSL-KDD 读明白文件结构、特征列与标签映射2.1 压缩包里到底有什么三个文件的分工NSL-KDD 的压缩包解压后通常包含这几个文件KDDTrain.txt、KDDTest.txt以及对应的 20% 子集版本。训练集和测试集都是纯文本每行一条记录逗号分隔。最后一列是标签倒数第二列是难度等级difficulty level这个难度等级是 NSL-KDD 特有的表示这条记录被多少种分类器误判过数值越大越难。我一般先不急着写模型而是用 pandas 把两个文件读进来看一眼形状和标签分布。这一步能帮你判断后面要不要做类别平衡也能提前发现测试集里有没有训练集没出现过的攻击类型。import pandas as pd # 列名按 NSL-KDD 官方文档的顺序定义 col_names [ duration, protocol_type, service, flag, src_bytes, dst_bytes, land, wrong_fragment, urgent, hot, num_failed_logins, logged_in, num_compromised, root_shell, su_attempted, num_root, num_file_creations, num_shells, num_access_files, num_outbound_cmds, is_host_login, is_guest_login, count, srv_count, serror_rate, srv_serror_rate, rerror_rate, srv_rerror_rate, same_srv_rate, diff_srv_rate, srv_diff_host_rate, dst_host_count, dst_host_srv_count, dst_host_same_srv_rate, dst_host_diff_srv_rate, dst_host_same_src_port_rate, dst_host_srv_diff_host_rate, dst_host_serror_rate, dst_host_srv_serror_rate, dst_host_rerror_rate, dst_host_srv_rerror_rate, label, difficulty ] train pd.read_csv(KDDTrain.txt, namescol_names) test pd.read_csv(KDDTest.txt, namescol_names) print(train.shape, test.shape) print(train[label].value_counts().head(10))这段代码的关键在列名顺序。NSL-KDD 的 41 个特征加上 label 和 difficulty一共 43 列。列名顺序错了后面所有分析都是错的。protocol_type、service、flag是三列类别型特征其余是数值型。标签列里正常流量是normal攻击类型有neptune、smurf、portsweep等几十种。我一般会把具体攻击类型再归成五大类DoS、Probe、R2L、U2R、Normal这样评估时更清晰。2.2 标签映射与类别不平衡训练集和测试集的分布差异NSL-KDD 有一个很容易被忽略的点测试集里包含训练集没出现过的攻击子类。比如训练集里有smurf测试集里可能有apache2。如果你直接按具体标签做多分类测试时会出现模型没见过的类别准确率会掉得很难看。常见做法是先把标签映射到五大类再做分类。# 把具体攻击名映射到五大类 attack_map { normal: Normal, neptune: DoS, back: DoS, land: DoS, pod: DoS, smurf: DoS, teardrop: DoS, mailbomb: DoS, apache2: DoS, processtable: DoS, udpstorm: DoS, satan: Probe, ipsweep: Probe, nmap: Probe, portsweep: Probe, mscan: Probe, saint: Probe, warezclient: R2L, guess_passwd: R2L, ftp_write: R2L, imap: R2L, phf: R2L, multihop: R2L, warezmaster: R2L, spy: R2L, snmpgetattack: R2L, snmpguess: R2L, httptunnel: R2L, named: R2L, sendmail: R2L, xlock: R2L, xsnoop: R2L, worm: R2L, buffer_overflow: U2R, loadmodule: U2R, rootkit: U2R, perl: U2R, sqlattack: U2R, xterm: U2R, ps: U2R } train[category] train[label].map(attack_map) test[category] test[label].map(attack_map) print(train[category].value_counts()) print(test[category].value_counts())映射完之后你会看到Normal 和 DoS 占了大头U2R 和 R2L 样本极少。训练集里 U2R 可能只有几十条测试集里更少。这种极端不平衡会让模型倾向于把少数类全判成多数类。后面讲模型训练时我会说怎么用类别权重和采样来缓解。提示映射表不是唯一的不同论文对某些攻击的归类有差异。关键是保持训练和测试用同一套映射否则评估结果没有意义。3. 从原始文本到模型输入编码、归一化与特征选择3.1 类别特征怎么处理独热编码与标签编码的取舍protocol_type只有 tcp、udp、icmp 三种flag有十几种service有七十种左右。对protocol_type和flag我一般用独热编码因为类别少且没有序关系。对service独热编码会一下子增加七十多列如果数据量不大容易过拟合。常见做法是先用标签编码再根据特征重要性决定要不要保留或者直接对高频 service 做独热、低频的归为 other。from sklearn.preprocessing import OneHotEncoder, LabelEncoder # protocol_type 和 flag 用独热 ohe OneHotEncoder(sparse_outputFalse, handle_unknownignore) proto_flag ohe.fit_transform(train[[protocol_type, flag]]) proto_flag_test ohe.transform(test[[protocol_type, flag]]) # service 先用标签编码后续看重要性再决定 le LabelEncoder() train[service_le] le.fit_transform(train[service]) test[service_le] le.transform(test[service])handle_unknownignore这个参数很重要。测试集里可能出现训练集没见过的 service 取值如果不加这个参数transform 会直接报错。加了之后未知类别会被编码成全零向量模型至少不会崩。3.2 数值特征归一化为什么 MinMax 比 Standard 更常用NSL-KDD 的数值特征量纲差异很大src_bytes可能到几百万serror_rate只在 0 到 1 之间。如果不做归一化基于距离的模型比如 KNN、SVM会被大数值特征主导。我一般用 MinMaxScaler 把数值特征压到 0 到 1因为很多特征本身就是比例或计数MinMax 对异常值的敏感度比 Standard 低一些。from sklearn.preprocessing import MinMaxScaler num_cols [c for c in col_names if c not in [protocol_type, service, flag, label, difficulty]] scaler MinMaxScaler() train[num_cols] scaler.fit_transform(train[num_cols]) test[num_cols] scaler.transform(test[num_cols])注意这里必须用训练集的 scaler 去 transform 测试集不能重新 fit。否则测试集的分布信息会泄漏到训练过程里评估结果会偏乐观。这是很多人第一次做的时候容易翻车的地方。3.3 特征选择41 维里哪些真正有用41 个特征不是每个都有用。比如num_outbound_cmds在 NSL-KDD 里几乎全是 0is_host_login也基本不变。我一般先跑一遍方差过滤把方差接近 0 的列去掉再用随机森林看特征重要性保留前 20 到 25 个。这样既能降维也能减少噪声。from sklearn.ensemble import RandomForestClassifier from sklearn.feature_selection import VarianceThreshold # 去掉方差极低的特征 selector VarianceThreshold(threshold0.01) X_train_sel selector.fit_transform(train[num_cols]) X_test_sel selector.transform(test[num_cols]) # 用随机森林看重要性 rf RandomForestClassifier(n_estimators100, random_state42) rf.fit(X_train_sel, train[category]) importances pd.Series(rf.feature_importances_, indexselector.get_feature_names_out()) print(importances.sort_values(ascendingFalse).head(15))从经验看src_bytes、dst_bytes、count、srv_count、same_srv_rate、dst_host_srv_count这几个几乎总是排在前列。service编码后的某些列也会进来。特征选择不是必须的但如果你要做轻量级模型或者边缘部署这一步能省不少计算。4. 训练一个能打的基线模型选择、类别权重与评估指标4.1 选什么模型从随机森林到轻量梯度提升NSL-KDD 上最常见的基线是随机森林和 SVM。随机森林不用太多调参就能到不错的水平SVM 在小样本上表现好但训练慢。如果你想要更高一点的准确率可以上 XGBoost 或 LightGBM但要注意别过拟合。我一般先用随机森林跑一个基线再决定要不要换。from sklearn.ensemble import RandomForestClassifier from sklearn.metrics import classification_report, confusion_matrix # 合并独热和数值特征 import numpy as np X_train np.hstack([X_train_sel, proto_flag]) X_test np.hstack([X_test_sel, proto_flag_test]) rf RandomForestClassifier( n_estimators200, max_depth20, class_weightbalanced, # 缓解类别不平衡 random_state42, n_jobs-1 ) rf.fit(X_train, train[category]) pred rf.predict(X_test) print(classification_report(test[category], pred)) print(confusion_matrix(test[category], pred))class_weightbalanced会让模型对少数类样本给更高权重U2R 和 R2L 的召回率通常会提升但 Normal 的精确率可能略降。这是一个取舍取决于你更在意漏报还是误报。入侵检测场景里漏报攻击通常比误报更严重所以我倾向于偏向召回。4.2 评估指标怎么选准确率会骗人在 NSL-KDD 上如果你把所有测试样本都判成 Normal准确率也能到 40% 多。所以准确率不能作为唯一指标。我一般看三个宏平均 F1、少数类召回率、混淆矩阵。宏平均 F1 对每个类别一视同仁能反映模型在 U2R 和 R2L 上的表现。少数类召回率直接告诉你漏了多少攻击。指标含义在 NSL-KDD 上的参考值随机森林基线宏平均 F1五类 F1 的算术平均0.65 到 0.75U2R 召回用户提权攻击的检出率0.20 到 0.50R2L 召回远程入侵的检出率0.30 到 0.60Normal 精确率正常流量被误判的比例0.90 以上这些数值不是绝对的取决于特征处理和参数。但如果你跑出来 U2R 召回是 0那基本是模型完全没学到少数类需要回去检查类别权重和采样。4.3 处理极端不平衡过采样、欠采样与代价敏感U2R 在训练集里可能只有几十条随机森林即使加了 class_weight也可能学不好。我一般会先试 SMOTE 过采样把少数类合成到几百条。但 SMOTE 对高维稀疏数据效果不稳定有时候反而不如直接用代价敏感。另一种做法是欠采样多数类但会丢信息。实际项目里我倾向于组合对 U2R 用 SMOTE对 R2L 用 class_weight然后看验证集上的召回变化。from imblearn.over_sampling import SMOTE smote SMOTE(sampling_strategy{U2R: 500, R2L: 2000}, random_state42) X_res, y_res smote.fit_resample(X_train, train[category])sampling_strategy里指定的是目标类别和希望达到的样本数。注意 SMOTE 只能在训练集上做测试集绝对不能碰。另外SMOTE 之后要重新训练模型不能拿原来的模型直接预测。5. 避坑与排查NSL-KDD 上最容易翻车的 5 个地方5.1 现象测试集准确率远低于训练集差距超过 20 个百分点原因测试集里有训练集没出现过的攻击子类模型把它们全判成了 Normal 或已知类别。这是 NSL-KDD 的设计特性不是 bug。解决把标签映射到五大类让模型学的是「大类模式」而不是「具体攻击名」。如果还是差很多检查特征里有没有强依赖具体攻击名的列比如某些 service 取值只在特定攻击里出现。5.2 现象U2R 和 R2L 的召回率一直是 0原因这两类样本太少模型完全忽略了它们。即使加了 class_weight如果权重不够大树模型还是会优先分多数类。解决先确认训练集里这两类的数量。如果少于 100 条用 SMOTE 过采样到 500 条以上。同时把 class_weight 设成 balanced再跑一次。如果还是 0检查标签映射有没有把这两类误映射到别的类。5.3 现象归一化之后模型效果反而变差原因归一化用错了方式。比如对protocol_type这种类别列做了 MinMax或者对测试集重新 fit 了 scaler。解决只对数值列做归一化类别列走独热或标签编码。scaler 必须用训练集 fit测试集只 transform。检查代码里有没有fit_transform出现在测试集上。5.4 现象随机森林训练很快但预测时内存爆了原因独热编码把service展开成七十多列加上其他特征总维度可能到一百多。如果测试集很大内存会吃紧。解决对service用标签编码而不是独热或者只对高频 service 做独热。也可以用sparse_outputTrue让独热输出稀疏矩阵减少内存占用。5.5 现象换了一个随机种子F1 波动超过 0.1原因数据量不够大尤其是少数类样本少模型对初始化敏感。解决跑多次交叉验证取平均和标准差。如果标准差很大说明模型不稳定需要增加少数类样本或简化模型。我一般至少跑 5 折看宏平均 F1 的均值加减一个标准差。注意NSL-KDD 的测试集不能用来调参。调参要用训练集切出来的验证集否则测试集就失去了「未见数据」的意义。6. 进阶用法把 NSL-KDD 当成自适应检测的试验台如果你已经跑通了基线下一步可以试试「自适应入侵检测」这个方向。NSL-KDD 虽然旧但它有一个很适合做自适应实验的特性训练集和测试集的分布不一致。你可以模拟「概念漂移」——把训练集按时间或难度排序分阶段喂给模型看它能不能在线更新。具体做法是先用前 70% 训练然后在后 30% 上评估再用一个滑动窗口把新样本逐步加入训练观察召回率的变化。另一个进阶方向是特征层面的自适应。NSL-KDD 的 41 维特征里有些在测试集上分布变了比如serror_rate的均值可能偏移。你可以监控这些特征的分布变化当偏移超过阈值时触发模型重训。这比固定模型更接近真实场景。# 简单的滑动窗口重训示例 window_size 5000 step 1000 for start in range(0, len(train) - window_size, step): window train.iloc[start:start window_size] # 用窗口数据重训模型 rf.fit(window[num_cols], window[category]) # 在当前窗口后的数据上评估 eval_data train.iloc[start window_size:start window_size step] pred rf.predict(eval_data[num_cols]) # 记录指标变化这段代码只是示意实际用的时候要处理类别编码和归一化的一致性。但思路是通的用滑动窗口模拟在线学习看模型在分布变化时的表现。如果你要做论文或者技术报告这个实验能提供比单次训练更有说服力的结论。我自己的习惯是每次拿到一个新数据集先跑一个最朴素的基线记录下所有指标然后再逐步加特征工程和调参。这样后面不管换什么模型都有一个稳定的参照。NSL-KDD 的好处就是它足够稳定你今天的实验结果下个月换台机器还能复现。希望帮到你。本文还有配套的精品资源点击获取