简介这套源码包以Python机器学习为核心构建了面向KDD Cup网络数据集的入侵检测系统覆盖数据预处理、特征工程、模型训练与评估等关键环节适合毕业设计、课程设计及算法入门者参考。压缩包共16个文件整体约17.52MB包含Python核心脚本、XML/IML工程配置、Markdown说明文档以及GZ压缩的数据集文件Python脚本负责模型构建与训练配置文件便于项目导入Markdown提供使用指引GZ数据解压后可直接用于训练测试模块划分清晰。系统重点使用CNN模型进行特征学习数据预处理、训练与预测流程完整正确率可达99.5%可作为完整方案直接运行或二次开发。源码经本地编译验证难度适中适合快速产出课程项目初稿。目前已有196人学习下载对需要快速理解机器学习与网络安全的同学有较高参考价值。1. 网络入侵检测交给机器学习关键不在模型而在流程流量里藏着攻击但传统规则引擎只能抓住已知特征换个变形就漏。用 python 做机器学习驱动的网络入侵检测系统正是把“特征提取、模型训练、实时预测”串成一条流水线让系统能识别从未见过的攻击模式。这个方向不是让你拿随机森林跑个准确率就交差难点在数据分布、特征对齐和误报控制。适合正在做毕设或想转安全研发的从业者你能拿到一份可运行的系统源码但更值得研究的是为什么同一个模型在离线评测和在线环境里表现会差一截。本文按我实际搭这套系统的顺序讲。2. 数据集与特征工程从原始流量到监督学习能吃的表格2.1 NSL-KDD 与 CICIDS2017选哪套数据决定项目下限常见做法是先选公开数据集。老牌的 NSL-KDD 去掉了 KDDCUP99 里大量重复记录训练集和测试集分布更合理但它是 1999 年模拟环境产生的与现实流量差距大。CICIDS2017 包含良性与多种攻击流量时间跨度五天特征更贴近真实网络但文件体积大、需要自己清洗。我从实际项目角度给一个选择标准如果你的目标是“高分项目”NSL-KDD 足够让机器学习流程跑通并且社区资料多、踩坑有对照如果你的目标是“能演示实时检测”CICIDS2017 的 pcap 文件更容易配合抓包工具做联调。二者并不冲突常见方案是在 NSL-KDD 上做模型选型再用 CICIDS2017 做最终验证。表两类数据的差异对比维度NSL-KDDCICIDS2017数据规模12 万左右记录约 280 万流量会话特征维度41 个基础特征80 个流量统计特征攻击类型DoS、Probe、R2L、U2RBrute Force、DDoS、Web Attack、Botnet 等标签体系五分类 / 二分类按攻击类别细分适合阶段模型验证、课程设计工程化、实时检测演示2.2 特征构造与数值化会话特征、协议特征与标签编码拿到 pcap 或 csv 后第一步是把原始流量抽象成“会话记录”。每个会话可以按五元组源 IP、目的 IP、源端口、目的端口、协议聚合然后计算每个会话的持续时长、发送字节数、接收字节数、包数量、包平均长度、标志位统计等。在 NSL-KDD 上这 41 个特征已经帮你算好所以入门阶段不需要自己解析 pcap。特征数值化有几个默认操作字符型协议列tcp、udp、icmp用 LabelEncoder 转成整数service 列也是同样的方式。注意训练集和测试集要合并做 LabelEncoder或提前把类别字典存下来否则测试集里出现训练集没见过的类别时transform 会直接报错。这是新手最容易翻车的地方。看一段特征处理的代码import pandas as pd from sklearn.preprocessing import LabelEncoder # 读取训练集和测试集 train pd.read_csv(KDDTrain.csv) test pd.read_csv(KDDTest.csv) # 手动指定列名NSL-KDD 原始文件没有表头 cols [duration,protocol_type,service,flag,src_bytes, dst_bytes,land,wrong_fragment,urgent,hot, num_failed_logins,logged_in,num_compromised, root_shell,su_attempted,num_root,num_file_creations, num_shells,num_access_files,num_outbound_cmds, is_host_login,is_guest_login,count,srv_count, serror_rate,srv_serror_rate,rerror_rate,srv_rerror_rate, same_srv_rate,diff_srv_rate,srv_diff_host_rate, dst_host_count,dst_host_srv_count,dst_host_same_srv_rate, dst_host_diff_srv_rate,dst_host_same_src_port_rate, dst_host_srv_diff_host_rate,dst_host_serror_rate, dst_host_srv_serror_rate,dst_host_rerror_rate, dst_host_srv_rerror_rate,label] train.columns cols test.columns cols # 合并做标签编码保证类别字典一致 cat_cols [protocol_type,service,flag] all_data pd.concat([train[cat_cols], test[cat_cols]], axis0) encoders {} for col in cat_cols: le LabelEncoder() le.fit(all_data[col].astype(str)) train[col] le.transform(train[col].astype(str)) test[col] le.transform(test[col].astype(str)) encoders[col] le这段代码的核心逻辑是先 concat 再 fit而不是分开 fit。分开 fit 的后果是训练集里 flag 列有 “SF”“S0”测试集可能多一个 “REJ”编码错位后模型完全失去意义。另外注意astype(str)这一步防止缺失值变成 float 导致编码器报错。特征构造之后要做标签映射。NSL-KDD 的标签是 attack 类别名比如 “neptune”“warezclient”通常把它们归并为两大类正常normal和攻击attack。如果要五分类则映射为 Normal、DoS、Probe、R2L、U2R。我建议先跑二分类验证流程再扩展多分类这样调试成本低。3. 模型选型与训练流程随机森林、XGBoost 与深度学习怎么选3.1 经典机器学习路线随机森林与梯度提升树的参数网络入侵检测场景里表格型特征居多树模型往往比深度学习更稳。随机森林对异常值不敏感能处理非线性关系并且能输出特征重要性方便你解释系统。XGBoost/LightGBM 训练速度更快、精度更高但调参复杂度也更高。综合来看入门先固定随机森林跑通后再换 XGBoost 做对比。参数不是越多越好。我常用的随机森林初始参数是n_estimators200、max_depth15、min_samples_leaf5、max_featuressqrt。n_estimators太大收益递减max_depth太深容易过拟合。在入侵检测数据集上通常会把class_weight设为balanced因为攻击类别占比往往偏低。下面是完整的最小训练脚本用 sklearn 实现import pandas as pd from sklearn.ensemble import RandomForestClassifier from sklearn.model_selection import train_test_split from sklearn.metrics import classification_report, confusion_matrix # 读取已经数值化的数据 # 假设 train 已通过前面代码处理这里直接构造特征矩阵 X train.drop(columns[label]) y (train[label] ! normal).astype(int) # 二分类1 为攻击 # 切分验证集 X_train, X_val, y_train, y_val train_test_split( X, y, test_size0.2, random_state42, stratifyy ) # 初始化随机森林 model RandomForestClassifier( n_estimators200, max_depth15, min_samples_leaf5, max_featuressqrt, class_weightbalanced, n_jobs-1, random_state42, ) # 训练 model.fit(X_train, y_train) # 预测与评估 y_pred model.predict(X_val) print(classification_report(y_val, y_pred)) print(confusion_matrix(y_val, y_pred))这里stratifyy很关键它保证切分后训练集和验证集里攻击样本比例一致避免随机切分把攻击样本全分到验证集导致模型训练不足。class_weightbalanced会自动调整权重让模型更关注少数类。3.2 用 python 和 sklearn 跑通一个最小训练脚本上面的脚本已经是完整可运行的但需要注意几个参数的作用。max_featuressqrt表示每次分裂只随机抽取约 sqrt(特征数) 个特征这能降低树之间的相关性是随机森林降低方差的关键机制。n_jobs-1使用所有 CPU 核心训练几万条样本的 NSL-KDD 数据集通常几十秒内完成。如果换成 XGBoost常见做法如下import xgboost as xgb xgb_model xgb.XGBClassifier( n_estimators300, max_depth6, learning_rate0.05, subsample0.8, colsample_bytree0.8, scale_pos_weightsum(y_train 0) / sum(y_train 1), eval_metricaucpr, use_label_encoderFalse, ) xgb_model.fit(X_train, y_train)scale_pos_weight用于处理二分类正负样本不平衡值是负样本数除以正样本数。eval_metricaucpr比默认的 logloss 更能反映少数类检测效果。use_label_encoderFalse是 xgboost 2.0 之后的默认要求旧代码不写会报警告。3.3 评价指标为什么准确率是陷阱F1 和混淆矩阵才是重点网络入侵检测数据天然不平衡正常流量占 80% 以上模型只要全部预测为正常准确率就有 80%。很多“高分项目”报出 99% 准确率但看一眼混淆矩阵攻击类别的召回率可能是 0。所以评估要看三样东西召回率真正攻击被抓住的比例、精确率报警里有多少是真实攻击、F1-score二者的调和平均。对于 IDS 场景召回率通常比精确率更优先因为漏报一个攻击的代价远大于误报。但完全追求召回率会导致误报爆炸运维每天收到几百条告警最后没人看。实战中我会用 PR 曲线或 ROC 曲线的 AUC 做模型筛选而不是看单一阈值下的准确率。调阈值可以用model.predict_proba(X_val)[:, 1]得到概率然后自己搜索最佳阈值比如遍历 0.3 到 0.9选出 F1 最高的点。4. 入侵检测系统源码拆解把离线模型变成实时检测器4.1 离线训练与在线检测的架构分隔“系统源码”不等于训练脚本完整项目通常包含数据预处理模块、离线训练模块、实时抓包模块、检测引擎和告警模块。常见做法是把训练和检测解耦离线模块输出一个模型文件joblib 或 pmml在线模块加载模型文件对实时流量做预测。这样重训练不影响在线服务模型更新也是替换文件。一个典型目录结构长这样ids_system/ ├── data/ # 存放原始数据和特征映射 ├── features/ │ ├── build_features.py # 特征工程 │ └── online_feature.py # 实时流量的特征对齐 ├── models/ │ ├── train_model.py │ └── rf_model.joblib # 训练好的模型 ├── detector/ │ ├── capture.py # pcap 抓包 │ ├── predict.py # 预测引擎 │ └── alert.py # 告警输出 └── main.py # 入口训练脚本负责把模型保存为joblib格式import joblib # model 是上一节训练好的 RandomForestClassifier joblib.dump(model, models/rf_model.joblib) # 同时保存特征名列表用于在线对齐 feature_names X_train.columns.tolist() joblib.dump(feature_names, models/feature_names.joblib)保存特征名列表这一步很容易被忽略但它是在线预测不崩的前提。在线预测时如果特征顺序发生变化模型还能跑但结果已经完全不可信。4.2 捕获流量并预测pcap 解析、特征对齐与告警输出在线检测常用的库是scapy它可以从网卡或 pcap 文件中读取数据包并按五元组聚合会话。实际项目里不会对单个包做预测而是对一个时间窗口内的会话做预测。常见做法是维护一个会话字典key 是五元组value 是会话统计信息包数、字节数、标志位计数。当一个会话结束或达到时间窗口上限时将其构造成一条特征向量送入模型。下面是一个简化版的实时预测流程import time from collections import defaultdict from scapy.all import sniff import joblib import pandas as pd model joblib.load(models/rf_model.joblib) feature_names joblib.load(models/feature_names.joblib) # 会话字典五元组 - 统计信息 sessions defaultdict(lambda: { packet_count: 0, src_bytes: 0, dst_bytes: 0, start_time: None, tcp_flags: set(), }) def extract_features(session): # 这里按业务补充特征确保列名与离线训练时一致 feat { duration: session[last_time] - session[start_time], src_bytes: session[src_bytes], dst_bytes: session[dst_bytes], count: session[packet_count], # ... 其他特征 } # 转成 DataFrame列顺序按特征列表重排 df pd.DataFrame([feat]) return df.reindex(columnsfeature_names, fill_value0) def handle_packet(pkt): if pkt.haslayer(IP): src pkt[IP].src dst pkt[IP].dst sport pkt[TCP].sport if pkt.haslayer(TCP) else 0 dport pkt[TCP].dport if pkt.haslayer(TCP) else 0 key (src, dst, sport, dport) sess sessions[key] if sess[start_time] is None: sess[start_time] pkt.time sess[last_time] pkt.time sess[packet_count] 1 sess[src_bytes] len(pkt) # 时间窗口 60 秒到了就预测并清空 if pkt.time - sess[start_time] 60: x extract_features(sess) prob model.predict_proba(x)[0, 1] if prob 0.5: print(f告警: {src}:{sport} - {dst}:{dport}, 攻击概率 {prob:.2f}) del sessions[key] # 开始监听网卡按需指定 iface sniff(prnhandle_packet, storeFalse, ifaceeth0)代码里的reindex(columnsfeature_names, fill_value0)是特征对齐的关键。在线统计的特征如果缺失某些列用 0 填充而不是直接丢掉这样可以保证输入模型的张量形状正确。prob 0.5是默认阈值实际项目中需要根据验证集调整。5. 避坑与常见问题我在这类项目里踩过的五个真实的坑5.1 训练集和测试集同分布导致的“高分假象”现象训练集准确率 99%测试集 98%一上真实流量就瘫。原因是公开数据集的测试集和训练集来自同一次模拟环境协议分布、IP 段、攻击工具都太相似。解决在 CICIDS2017 上用“按天切分”做时间维度的验证例如用周一到周三的数据训练用周四的数据测试。跨时间评估的能力才是真实 IDS 需要的。5.2 类别不平衡U2R/R2L 攻击几乎学不出来现象多分类模型对 DoS 检测很好但对 U2R、R2L 的 F1 只有 0.1。原因是这两类样本极少NSL-KDD 里 U2R 只有 200 条左右模型直接把它们当成噪声。解决不要指望模型从两百条样本学到泛化规律。常见手段是过采样SMOTE但更实际的做法是降级为二分类——只区分正常和异常不细分攻击类型。或者把稀有类当作异常检测问题用 Isolation Forest 一类方法做无监督而不是硬套监督分类。5.3 特征对齐错位在线预测时字段顺序一变就崩现象离线训练正确在线预测报ValueError: feature names mismatch。原因是训练时特征是[duration, protocol_type, ...]在线程序构建的特征字典 key 顺序不同或者少了某一列。解决保存特征名列表预测前用df.reindex(columnsfeature_names)强制对齐。这是整个系统里最值得写进代码注释的一条经验。5.4 阈值设置与误报率IDS 不是学术实验现象模型默认 0.5 阈值验证集 F1 不错但连续灌入正常流量后大量误报运维被告警淹没。原因是验证集里的“正常流量”和真实网络的正常流量分布不同真实流量会出现很多验证集没见过的组合。解决上线前记录正常流量的预测概率分布把阈值调高到正常流量的 95 分位以上。我一般在 0.7~0.9 之间选阈值宁可漏一些模糊样本也要保证告警可信。5.5 模型体积和推理延迟你是不是把整个训练集加载进内存了现象训练好的随机森林 200 棵树模型 500MB在线预测每个包都要跑一遍CPU 飙到 100%。原因是n_estimators太大且没有做特征筛选。解决先用model.feature_importances_挑 top 10 特征重新训练再把n_estimators降到 100 以内。对于 IDS 场景300 棵树和 100 棵树的效果差距很小但延迟减少一半。如果还不行就换成逻辑回归或蒸馏后的模型。6. 进阶用增量学习与流量滑窗让检测系统跟上新攻击6.1 滑窗特征与时间衰减静态模型上线后会被绕过这是必然的。更可靠的方案是给特征加入时间上下文每个会话不仅看自身统计还看过去 5 分钟内同源 IP 的行为。常见做法是维护一个“窗口计数器”记录滑动窗口内每个源 IP 的连接数、失败次数、不同目的端口数。这些特征能抓住慢速扫描和暴力破解的时间模式。窗口体现代价是内存IP 基数大时可以用字典加过期清理超过窗口时间的数据直接删除。6.2 增量更新策略与验证方法模型更新不需要每天 full retrain。轻量做法是“周期性批重训练”每晚把白天产生的告警重新标注追加到历史数据用昨天的模型参数做热启动训练 10 个 epoch如果是神经网络或者重新拟合随机森林树模型无法热启动。更工程化的办法是维护两个模型一个用于在线预测一个在后台用新数据离线训练验证 AUC 比线上模型高时才切换。验证时必须用时间切分保证测试集时间在训练集之后。我用多窗口滑窗加随机森林跑过一套内部检测系统最深的体会是特征对齐和阈值校准比调模型参数更值得花时间。每次从离线模拟切到在线环境都要重新校准阈值这是这行绕不开的功课希望这些经验能帮你少走几步弯路。本文还有配套的精品资源点击获取