简介基于粒子群优化支持向量机的故障诊断与分类代码以经典葡萄酒数据集作为验证对象面向需要掌握优化算法与机器学习结合的初学者以及从事设备故障诊断的科研和工程人员可帮助解决支持向量机参数难以手工调整的问题。葡萄酒数据集包含十三个化学属性与三个类别常用于多分类算法验证这里用来模拟设备不同工作状态。压缩包内仅包含1个M文件大小约3KB代码涵盖了粒子群初始化、适应度计算、粒子速度和位置更新、支持向量机训练与测试等完整流程结构紧凑便于直接运行与二次开发。目前已有三百零四人学习下载适合用于课程设计、算法对比或故障分类入门。通过这份代码读者能快速理解粒子群优化如何提升支持向量机性能并可将其推广到其他分类或诊断场景。1. PSO-SVM 在解决什么小样本故障分类的最后一公里调参问题PSO-SVM 就是把粒子群优化算法PSO和支撑向量机SVM绑在一起用最常见的诉求是拿 SVM 做故障诊断或小样本分类时核函数的惩罚系数 C 和核宽度 gamma 怎么定。网格搜索太慢随机搜索碰运气而 PSO 能在几十次迭代里逼近一组好参数省下的时间在轴承故障诊断、工业产线状态监测这种实时性要求高的场景里非常值。这个方案适合两类人一类是设备健康管理或故障诊断从业者手里有振动信号、电流信号但样本量不大另一类是刚接触 SVM 和智能优化算法的同学想找一个能跑通全流程的工程模板。下面按「SVM 为什么适配故障诊断 → wine 数据集落地代码 → 实战踩坑 → 验证方法」一条线讲透。2. SVM 故障诊断凭什么值得用核函数与超参数 C、gamma 的真实作用2.1 SVM 为什么是故障诊断的小样本之王从最大间隔到支持向量故障诊断场景里最难受的数据形态是正常样本几十条、故障样本十几条加起来不到一百条。这种量级喂给卷积神经网络几乎必过拟合但 SVM 恰恰为这种小样本分类而设计。它的目标不是拟合所有样本而是找一条把类别分开的决策边界并且让边界到最近样本的距离间隔最大。离边界最近的几个训练样本叫支持向量模型最终只依赖它们而不是全部数据。这意味着即使样本量小只要支持向量有代表性分类边界依然稳定。这个特性让 SVM 在轴承故障诊断里常年占一席之地。同一类工业机器人的内部轴承正常状态和磨损状态的振动信号频谱差异往往呈线性或弱非线性SVM 用线性核就能分开遇到更复杂的工况变化换径向基核函数RBF也能扛住。对比 lasso 这类线性模型lasso 擅长做特征选择但分类边界太死板对比 CNNCNN 优势在原始信号端到端学习但需要上千样本。SVM 正好卡在中间人工提取特征 SVM 分类这是工业界最稳的路径之一。SVM 的核心数学形式是一个带约束的凸优化问题在所有能把正负类分开的平面里选择距离最大的那个超平面。写成约束形式就是每个样本满足 (y_i(w \cdot x_i b) \geq 1)优化目标是 (\frac{1}{2}||w||^2) 最小。加了拉格朗日乘子之后决策函数只依赖样本内积这才有了核函数的用武之地。硬间隔假设数据完全可分但真实故障信号必然有噪声重叠于是引入了软间隔允许少量样本越界用惩罚系数 C 来控制越界的代价。2.2 C 和 gamma 才是真正的黑匣子参数语义与 PSO 的用武之地实际用 SVM 时线性可分根本不用考虑90% 的人直接上 RBF 核 (K(x_i, x_j) \exp(-\gamma ||x_i - x_j||^2))。这时真正影响模型命运的就两个参数C 和 gamma。C 是误分类惩罚力度C 大模型越严格容易过拟合C 小模型越宽容容易欠拟合。gamma 是 RBF 核的宽度倒数gamma 大每个支持向量的影响范围小决策边界曲折过拟合gamma 小影响范围大边界平滑欠拟合。这两个参数一错SVM 的准确率能直接从 95% 跌到 60%而且你从训练损失上往往看不出问题要到测试集才翻车。参数范围经验值偏大后果偏小后果C0.1 ~ 100过拟合、支持向量多、泛化差欠拟合、边界过于宽松gamma0.001 ~ 10决策边界锯齿状、过拟合边界太平滑、类别混叠网格搜索的做法是在 C 和 gamma 的对数网格上逐点枚举假设各取 20 个值就是 400 次五折交叉验证每次验证要在 100 个样本上训 5 次模型轻则几分钟重则半小时。PSO 的思路完全不同把 (C, gamma) 看作二维空间里的一个点每个点是一个粒子几十个粒子一起在参数空间里飞靠「个体最优」和「全局最优」两个吸引力不断修正速度几十轮后收敛到近似最优区域。它不保证绝对最优但能在 30 轮内找到和网格搜索几乎一样的点耗时往往缩短到十分之一。PSO 的迭代公式很直白速度更新(v_{i}^{t1} w v_{i}^{t} c_1 r_1 (pbest_i - x_i^t) c_2 r_2 (gbest - x_i^t))位置更新(x_{i}^{t1} x_i^t v_{i}^{t1})w 是惯性权重控制粒子沿原方向飞行的趋势c1、c2 是学习因子分别控制粒子向自己历史最好位置和全局最好位置靠拢的力度r1、r2 是 [0,1] 随机数保证搜索有探索性。真正工程化时参数空间必须取对数坐标因为 C 和 gamma 的有效范围横跨几个数量级直接线性搜索会让小数值区间完全被淹没。这是 PSO 调 SVM 最容易忽略的细节后面代码里也会体现。3. 用 wine 数据集跑通 PSO-SVM 全流程从归一化到分类准确率3.1 wine 数据集为什么这个 178 样本的经典数据集适合验证 PSO-SVMwine 数据集是 UCI 机器学习库的经典红葡萄酒品种分类数据178 个样本、13 个特征、3 个类别特征包括酒精含量、苹果酸、灰分、类黄酮等化学指标。它和故障诊断数据有三个高度相似的特征样本量小、特征维度适中、多分类。所以拿它验证 PSO-SVM跑通的流程可以直接迁移到轴承故障诊断、机器学习故障分类任务上。注意这里 wine 是数据名称和 Linux 上的 Wine 兼容工具不是一回事。wine 的难点不在分类本身而在于验证整套参数优化流程178 个样本做训练测试划分后训练集只剩 140 条左右五折交叉验证每折 112 条训练、28 条验证SVM 在这种量级下很容易因参数不合适而波动。这恰恰是 PSO 发挥价值的地方。另外 wine 是 3 分类SVM 默认的 one-vs-one 策略会把三对类别分别训练决策函数输出维度等于类别数最终用投票或最大置信度取分类结果这和多类故障诊断的目标完全一致。3.2 PSO-SVM 的完整落地代码训练、调参、评估一条龙下面这份代码是我常用的 PSO-SVM 最小可运行版本依赖 numpy 和 scikit-learn建议先跑通再改数据。核心流程是归一化 → 分层抽样 → 对 (C, gamma) 做对数坐标下的 PSO 搜索 → 用最优参数训练最终模型 → 测试集评估。# psosvm_wine.py import numpy as np from sklearn.datasets import load_wine from sklearn.model_selection import train_test_split, StratifiedKFold, cross_val_score from sklearn.preprocessing import StandardScaler from sklearn.svm import SVC from sklearn.metrics import accuracy_score, confusion_matrix # ---------- 1. 数据准备 ---------- X_raw, y_raw load_wine(return_X_yTrue) # wine: 178个样本, 13个特征, 3个类别 scaler StandardScaler() X scaler.fit_transform(X_raw) # 归一化必须在划分前完成但统计量只来自训练集 # 这里仅做demo严格做法见第4章坑5 X_train, X_test, y_train, y_test train_test_split( X, y_raw, test_size0.2, random_state42, stratifyy_raw ) print(训练集形状:, X_train.shape, 测试集形状:, X_test.shape) # ---------- 2. 粒子群定义 ---------- N 20 # 粒子数 D 2 # 每个粒子是 (log10(C), log10(gamma)) max_iter 30 # 迭代轮数 w_max, w_min 0.9, 0.4 c1, c2 2.0, 2.0 # 搜索范围C在[0.1, 100]gamma在[0.001, 10]全部取对数 lb np.array([-1, -3]) ub np.array([2, 1]) # 五折分层交叉验证作为适应度评估 kf StratifiedKFold(n_splits5, shuffleTrue, random_state42) def fitness(particle): C 10 ** particle[0] gamma 10 ** particle[1] model SVC(CC, gammagamma, kernelrbf, decision_function_shapeovr) score cross_val_score(model, X_train, y_train, cvkf, scoringaccuracy) return score.mean() # 初始化在搜索边界内均匀随机 particles np.random.uniform(lb, ub, (N, D)) velocities np.random.uniform(-0.2, 0.2, (N, D)) pbest particles.copy() pbest_score np.array([fitness(p) for p in pbest]) gbest pbest[np.argmax(pbest_score)].copy() gbest_score pbest_score.max() for it in range(max_iter): w w_max - (w_max - w_min) * it / max_iter for i in range(N): r1, r2 np.random.rand(D), np.random.rand(D) velocities[i] (w * velocities[i] c1 * r1 * (pbest[i] - particles[i]) c2 * r2 * (gbest - particles[i])) # 边界处理越界拉回边界对应维度速度清零 particles[i] np.clip(particles[i] velocities[i], lb, ub) for d in range(D): if particles[i, d] lb[d] or particles[i, d] ub[d]: velocities[i, d] 0 cur fitness(particles[i]) if cur pbest_score[i]: pbest_score[i] cur pbest[i] particles[i].copy() if pbest_score.max() gbest_score: gbest pbest[np.argmax(pbest_score)].copy() gbest_score pbest_score.max() print(fiter {it1}/{max_iter}, best acc {gbest_score:.4f}, fC {10**gbest[0]:.3f}, gamma {10**gbest[1]:.4f}) # ---------- 3. 用最优参数训练并评估 ---------- best_C 10 ** gbest[0] best_gamma 10 ** gbest[1] final_model SVC(Cbest_C, gammabest_gamma, kernelrbf, decision_function_shapeovr) final_model.fit(X_train, y_train) y_pred final_model.predict(X_test) print(最优 C {:.3f}, gamma {:.4f}.format(best_C, best_gamma)) print(测试集准确率: {:.4f}.format(accuracy_score(y_test, y_pred))) print(混淆矩阵:) print(confusion_matrix(y_test, y_pred))这份代码里有几个关键设计需要特别说明。第一粒子位置和速度都在 log10 空间粒子取值 -1 到 2 对应 C 从 0.1 到 100gamma 从 0.001 到 10。用对数坐标的原因是 C 和 gamma 在指数尺度上变化如果直接线性搜索gamma 从 0 到 10 的区间里有效值几乎全挤在 1 以下PSO 大概率错过好点。第二适应度函数用五折分层交叉验证的平均准确率wine 是 3 分类分层保证每一折三个类别的比例和原始数据一致避免某折里某个类别缺失导致评分失真。第三惯性权重 w 从 0.9 线性降到 0.4前期粒子飞得快、探索范围大后期飞得慢、收敛到最优区域这是 PSO 调参里很常见的退火策略。运行这份代码在普通电脑上大约 30 秒到 1 分钟每次迭代算 20 个粒子的 fitness每个 fitness 是 5 次 SVM 训练。如果样本量从几百涨到几千fitness 单次训练耗时明显上升建议把粒子数 N 从 20 降为 10迭代数从 30 降为 15先粗搜再细搜或者用缓存机制跳过重复位置。代码里还用了 decision_function_shapeovr它决定多分类时每对类别都训练分类器ovo 是默认这里使用 ovr 让决策边界语义更直观对最终准确率影响不大。3.3 让训练测试划分更严谨分层采样为什么不能省wine 数据集三类别本身是均衡的59/71/48但如果直接用 train_test_split 不加任何控制随机划分后某类在训练集可能只剩 30 条SVM 在少类别上的支持向量就会失真。stratifyy_raw 这个参数让训练集和测试集中每一类占比和原始数据一致。做故障诊断时这条尤为重要故障类别往往占比极低假设 5% 的故障类一次随机划分可能让测试集一条故障样本都没有准确率虚高到 99%上线后才知道根本分不了故障。代码里还有一处不易察觉但影响大的习惯归一化在 train_test_split 之前对整个 X_raw 做 fit_transform。严格讲这有数据泄露风险因为 scaler 的均值和方差用了测试集信息。在 wine 这种小数据集上误差很小但到了工业数据上建议把 scaler 改成先 fit 训练集再用同一个 scaler transform 测试集这是第 4 章专门讲的坑建议往下看。4. 故障诊断场景的六大坑样本不平衡、特征冗余与 PSO 早熟4.1 坑 1故障样本只有 20 条SVM 硬训也能过拟合现象训练集准确率 100%测试集准确率 70%而且每次运行结果波动大。原因故障类样本太少SVM 学到的是个别样本的噪声支持向量全落在故障类的少数几个点上。解决优先用类别权重惩罚。SVC 里直接给 class_weight 参数或传 balanced 让 sklearn 按类频率自动加权误分类少数类的代价变大决策边界会向少数类偏移。# 不平衡场景下的SVC配置 model SVC(Cbest_C, gammabest_gamma, kernelrbf, class_weightbalanced)如果有几十条以上故障样本还可以用过采样SMOTE补样本但注意 SMOTE 必须只对训练集做否则测试集混入合成样本会虚高。工业上我一般先试 class_weightbalanced如果还不够再上 SMOTE因为过采样生成的样本毕竟不是真实故障特征。4.2 坑 2原始特征冗余C 和 gamma 调破天也救不回来现象换了最优参数准确率还是 85% 上不去PSO 适应度曲线停在一个平台完全不涨。原因输入里有大量与故障无关的特征或特征之间有强相关性SVM 在高维噪声下边界被带偏。解决先做特征选择再进 PSO-SVM。轴承故障诊断常用特征有均值、峰峰值、方差、峭度、频谱能量占比等十几个可以先计算方差阈值去掉恒定特征再用相关系数矩阵过滤高度相关特征或者直接用随机森林的特征重要性做人肉前筛。from sklearn.feature_selection import VarianceThreshold # 去掉方差过低的特征比如某些统计量几乎恒定 selector VarianceThreshold(threshold0.01) X_reduced selector.fit_transform(X_train) print(特征数量从, X_train.shape[1], 降到, X_reduced.shape[1])注意 threshold 要按特征量纲调归一化后的数据阈值 0.01 通常够用。这里做完特征选择后第 3 章的 PSO 代码基本不用改只需把 fitness 函数里用的 X_train 换成 X_reduced 即可。4.3 坑 3PSO 在 C 和 gamma 上局部收敛迭代曲线早早触顶现象迭代到第 5 轮适应度就停在 0.93 不动换一组初始随机种子结果差异很大。原因一是参数空间没有用对数坐标粒子全挤在小数值区间二是惯性权重 w 衰减太快粒子在前几轮没来得及探索就缩回最优区域三是粒子数太少例如 N5 时很容易陷入一个局部高点。解决确认粒子位置在 log10(C)、log10(gamma) 空间把 w 从 0.95 降到 0.4、衰减曲线改成余弦下降粒子数至少 15每次跑 3 个随机种子取最优或在上一步粗搜得到的 C、gamma 附近做局部细搜。# 检查粒子初始化分布是否覆盖搜索空间 # 位置lb和ub分别是[-1,-3]和[2,1]log10空间下均匀覆盖 particles np.random.uniform(lb, ub, (N, D)) # 打印实际对应的C和gamma范围 print(C范围: {:.3f} ~ {:.1f}.format(10**lb[0], 10**ub[0])) print(gamma范围: {:.4f} ~ {:.1f}.format(10**lb[1], 10**ub[1]))4.4 坑 4核函数选择跑偏RBF 不是全场景万能现象RBF 核 PSO 调完准确率 0.88换成线性核哪怕不调超参也有 0.90。原因当特征数量远大于样本数或者数据本身在原始空间线性可分时RBF 核的复杂度反而带来过拟合RBF 的 gamma 又把局部噪声放大了。解决做一轮快速试验固定 C1比较 linear 核和 rbf 核的交叉验证分数如果 linear 不落下风就直接用 linear省去 PSO 调 gamma 的成本。故障诊断里振动信号频谱特征往往有较强线性可分性线性核在样本少的时候非常可靠。for kernel in [linear, rbf]: model SVC(C1.0, kernelkernel) scores cross_val_score(model, X_train, y_train, cv5) print(f{kernel} kernel acc {scores.mean():.4f})4.5 坑 5归一化泄露测试集信息准确率虚高得像中彩票现象测试集准确率 0.99 甚至 1.0换一批数据立刻掉到 0.80。原因很多人把 StandardScaler 对整个数据集 fit 后再划分训练测试scaler 的均值标准差已经包含了测试集分布信息。模型训练时看到的仍是完整数据分布评估结果当然偏乐观。解决训练测试划分放在归一化之前scaler 只 fit 训练集然后 transform 训练集和测试集。from sklearn.preprocessing import StandardScaler scaler StandardScaler() X_train_scaled scaler.fit_transform(X_train) X_test_scaled scaler.transform(X_test)这里的区别是 fit_transform 只学习训练集统计量测试集仅被变换不贡献任何统计信息。PSO 的 fitness 函数里全部用 X_train_scaled 和 X_test_scaled保证调参过程也没碰到测试集。4.6 坑 6类别标签被 LabelEncoder 编码成有序整数现象SVM 训练频繁告警或者准确率非常差。原因LabelEncoder 把故障类别 normal、bearing_wear、gear_broken 编码成 0、1、2本身没问题但如果代码后续顺手做了特征拼接或乘除操作这些类别标签被当作连续数值参与计算SVM 就会把类别序号之间的差异当距离使用。解决对分类任务只做索引编码不参与任何数值运算预测结果用 classes_ 属性反查原始标签。from sklearn.preprocessing import LabelEncoder encoder LabelEncoder() y_encoded encoder.fit_transform([normal, bearing_wear, gear_broken]) # 预测后反查 inverse encoder.inverse_transform(y_encoded)这个问题在轴承故障诊断代码里尤其隐蔽常见的做法是把标签转成数字后和特征拼成一个 DataFrame 再抽特征一旦有不小心加 1 或乘 2 的操作分类模型就会学到错误的数值关系。代码里尽量把标签单独保存别和特征矩阵混在一起处理。5. 把 PSO-SVM 从 demo 推到产线交叉验证、混淆矩阵与参数后验第 3 章的代码跑通只是第一步真正上产线验证模型可靠性时我一般先做三件事一是把单次 train_test_split 改成多次重复看准确率的标准差二是画混淆矩阵重点看故障类别是否互相混淆三是把 PSO 每次迭代的适应度曲线保存下来确认收敛过程没有异常。这三个动作能挡住大部分「实验室 98%现场 70%」的尴尬。混淆矩阵在故障诊断里的价值比总准确率高得多。wine 数据只有 3 类看不出区别换到轴承故障场景正常样本如果和磨损样本混在一起总准确率再高也没意义因为漏报一次故障就是设备停机损失。看混淆矩阵时重点盯对角线之外的元素如果某两类互相误判考虑增加该工况下的样本或把这两个类别的特征单独做 PCA 看是否可分。PSO 的适应度曲线建议存档而不是只打印。曲线应该呈单调爬升然后平稳如果中途突然跳变往往是随机种子偶发导致某个粒子飞出了搜索空间边界检查边界处理逻辑。另一个实用技巧是分两段搜索第一段按第 3 章的宽范围跑 15 轮得到粗略最优 C、gamma第二段把搜索范围缩到第一段最优值附近 ±0.5 个数量级再用 15 轮细搜。这个方法比一次性跑 40 轮更不容易陷入局部最优也比网格搜索的两阶段枚举速度更快。最后一件事是学习曲线。当把 PSO-SVM 应用到产线内部机器人轴承故障诊断时很难一开始就有几千条带标签数据。用小样本训练完后用 learning_curve 画出训练集大小对交叉验证分数的影响如果曲线还在明显上升说明样本量不足应该优先扩充数据而不是继续花时间调参如果曲线已经进入平台期再去精调 C、gamma 才有实际收益。这一步能帮你判断接下来把人力投在采数据还是调模型上这是我做过的项目里踩得最深的一个教训一开始总想优化算法后来发现瓶颈是数据标签不够调参怎么调都突破不了那个平台。希望帮到你。本文还有配套的精品资源点击获取