粒子群优化算法PSO大概是群体智能里最容易被拿来“改进”的算法之一。最近我在一个参数寻优项目里标准PSO跑到一半就出现早熟换了参数也不行。于是专门针对“改进粒子速度和位置更新公式”这一层做了一版速度不再使用固定惯性权重位置不再只是简单叠加速度而是引入自适应权重、异步学习因子和带概率触发的扰动项。整体改动只有几十行代码但收敛精度和稳定性都比原版明显更好。这篇文章会完整记录这个项目的改进思路、公式推导、Python实现和踩坑过程适合正在做算法调优的研究生、工程师以及想自己动手把PSO改一版、却不知道从哪下手的同学。1. 改进粒子速度和位置更新公式的思路拆解1.1 标准粒子群算法的两个核心公式标准PSO里每个粒子有两个核心量速度v和位置x。迭代时分别按下面两个公式更新v(t1) w · v(t) c1 · r1 · (pbest - x(t)) c2 · r2 · (gbest - x(t))x(t1) x(t) v(t1)其中w是惯性权重c1是认知学习因子c2是社会学习因子r1和r2是[0,1]之间独立采样的随机数。这个公式几乎所有教材上都有一开始用也觉得没什么问题。但放到真实项目里问题很快就暴露出来了前期收敛快后期所有粒子都挤到同一片区域种群多样性几乎为零如果w和c配得不好速度会越叠越大粒子直接飞出定义域一旦遇到Rastrigin这种多峰函数十次有八次会停在局部最优附近再也跳不出来。所以“改进粒子速度和位置更新公式”这件事本质上是在改粒子的“飞行策略”。速度公式决定粒子接下来往哪个方向飞、飞多远位置公式决定粒子最终落在哪里。两者一个管方向一个管落点任何一环有问题都会影响全局搜索效果。1.2 这次改进的主线设计我这次没有推倒重来而是在原公式上做“叠加式”改进。速度侧做了三件事惯性权重w随迭代次数动态变化让算法前期多探索、后期多开发学习因子c1和c2异步变化避免粒子只跟着自己历史走或只跟着全局最优走速度加上边界限制和缩放处理防止粒子“起飞”。位置侧做两件事以一定概率在xv的基础上叠加一个重尾分布扰动或者差分向量扰动帮助粒子跳出局部最优同时保留原始更新作为基线保证算法不退化。改进后的整体框架可以写成v(t1) w(t) · v(t) c1(t) · r1 · (pbest - x(t)) c2(t) · r2 · (gbest - x(t))x(t1) x(t) v(t1) mutate()w(t)、c1(t)、c2(t)都是迭代次数t的函数mutate则是条件触发的扰动函数可以换成Lévy飞行、差分向量或者反向学习。下面几节逐个说明为什么这样设计以及实际操作时需要注意什么。2. 核心细节解析与实操要点2.1 惯性权重从固定常数改成动态变化标准PSO里惯性权重w通常是个固定值比如0.7。问题是全流程w不变速度的衰减趋势固定早期该大步跨出去的时候跨不出去后期该精细搜索的时候又收不住。所以最常见也最有效的改进就是把w改成随迭代次数递减的函数。线性递减公式为w(t) w_max - (w_max - w_min) · (t / T_max)一般取w_max0.9w_min0.4。这个区间是大量实验总结出来的经验值w低于0.4时粒子速度衰减太快还没找到好区域就停滞了w高于0.9时后期粒子还会频繁飞到新区域收敛非常困难。我实际测试下来线性递减只是基础版。后来改用非线性递减w(t) w_min (w_max - w_min) · exp(-α · t / T_max)这里α控制衰减速率。非线性递减的特点是前期下降快、后期下降慢适合那些需要快速从全局探索切换到局部开发的场景。如果进一步追求效果还可以根据粒子当前适应度做自适应调整适应度好的粒子保留较大w继续探索适应度差的粒子减小w加强开发。不过这种自适应方式需要额外排序计算开销略大工程上是否用要看项目对实时性的要求。实操时有一个小技巧先用线性递减跑一遍观察收敛曲线。如果曲线很早就出现“平台期”说明算法过早陷入停滞这时优先把w_max调大或者改成非线性递减而不是急着去动学习因子。2.2 学习因子从同步改成异步很多改进PSO只盯着惯性权重忽略了c1和c2。其实这对参数同样重要。c1管的是“向个体历史最优学习”让粒子有独立性c2管的是“向全局最优学习”让粒子快速向当前最佳区域靠拢。理想状态是早期多靠pbest保持种群多样性后期多靠gbest集中收敛所以两个学习因子不应该一直不变。我用的异步调整方式为c1(t) c1_initial (c1_final - c1_initial) · (t / T_max)c2(t) c2_initial (c2_final - c2_initial) · (t / T_max)常见的配比是c1从2.5线性降到0.5c2从0.5线性升到2.5。换句话说认知学习能力逐渐减弱社会学习能力逐渐增强。如果反过来设置算法会收敛得很快但也非常容易早熟如果两个都固定为2.0效果和标准PSO基本没有差别看不出改进价值。还有一个容易被忽略的细节r1和r2应该在每个维度上独立采样而不是生成一次随机数后复制到整个粒子。高维问题里如果所有维度共享同一个随机数会无形中削减搜索的随机性导致改进效果打折扣。2.3 速度约束防止越界和发散标准PSO的速度更新是一个累加过程如果不加限制v会随着迭代不断增大粒子很快飞出定义域。最简单的处理是设置最大速度Vmax把v限制在[-Vmax, Vmax]内。Vmax一般取变量范围的10%到20%。比如变量范围是[-5,5]Vmax可以取1.0。但直接截断有个副作用如果某个粒子沿着某个方向持续有好的趋势速度被截断后会损失动量削弱继续搜索的能力。所以我还做了另一个处理对速度做随机缩放而不是固定截断。具体做法是先把v裁剪到Vmax以内再乘一个0.5到1.0之间的随机缩放系数。这样既防止了越界又保留了速度方向的随机性不会太死板。还有更高级的做法是引入收缩因子χχ 2 / |2 - φ - sqrt(φ² - 4φ)|这里的φ c1 c2要求φ大于4。收缩因子会让速度在迭代中自然衰减从理论上保证算法收敛不需要额外设置Vmax。不过要注意如果使用异步学习因子c1和c2之和会变化χ就不是恒定值反而增加调试难度。所以我在项目里最终选择了“Vmax 随机缩放”的方案代码更可控效果也稳定。2.4 位置更新公式的三种改进玩法位置更新公式是标题里另一个重点。原始x x v本质上是一阶积分粒子只会沿着速度方向走一旦速度变得很小基本就卡在当前位置附近了。所以我在位置更新里引入了三种扰动用来打破这种“死水状态”。第一种是Lévy飞行扰动。位置更新改成x(t1) x(t) v(t1) α ⊕ Lévy(λ)Lévy分布有一个典型特征大部分步长很短偶尔会出现一个很长的跳跃。这个“偶尔的大跳跃”正好能帮助粒子从局部最优里跳出来比完全随机搜索更聪明。实现时通常用Mantegna算法生成Lévy随机数λ建议取1.2到1.8之间我常用1.5。步长缩放系数α建议取变量范围的1%到5%太大粒子会满空间乱飞太小又起不到跳坑的作用。第二种是差分向量扰动。思路来自差分进化算法从当前种群里随机选两个粒子r1和r2位置更新为x(t1) pbest F · (x_r1 - x_r2)F是缩放因子一般在0.1到1之间。这个公式会让粒子向自己的历史最优pbest靠拢同时用随机差分保持搜索方向的多样性。我通常是当gbest连续若干代没有下降时以一定概率触发一次这个扰动相当于给算法“强制换挡”。第三种是反向学习扰动。以当前第i维的取值范围[lb, ub]为基准生成反向位置x(t1) lb ub - x(t)反向扰动对边界附近的搜索特别有效因为标准PSO的粒子很容易聚集在边界区域反向操作能把一部分粒子送回搜索空间内部。但反向扰动不建议频繁使用否则算法会退化成随机搜索。我一般把触发概率控制在0.1到0.3之间。3. 实操过程与核心环节实现3.1 基于numpy的改进PSO代码实现我用Python写了一个简化但完整的改进PSO类代码结构和参数都尽量保持直观。核心包括自适应惯性权重、异步学习因子、速度边界随机缩放、差分扰动、Lévy飞行扰动。这里给出完整代码方便直接复制测试。import numpy as np import math class ImprovedPSO: def __init__(self, n_particles, dim, bounds, max_iter500, seed42): self.n n_particles self.dim dim self.bounds np.array(bounds) self.max_iter max_iter self.rng np.random.default_rng(seed) lb self.bounds[:, 0] ub self.bounds[:, 1] self.x self.rng.uniform(lb, ub, size(self.n, self.dim)) self.v self.rng.uniform( -(ub - lb) * 0.1, (ub - lb) * 0.1, size(self.n, self.dim), ) self.pbest self.x.copy() self.pbest_fit np.full(self.n, np.inf) self.gbest self.x[0].copy() self.gbest_fit np.inf def _levy(self, size, beta1.5): sigma ( math.gamma(1 beta) * np.sin(np.pi * beta / 2) / (math.gamma((1 beta) / 2) * beta * 2 ** ((beta - 1) / 2)) ) ** (1 / beta) u self.rng.normal(0, sigma, size) v self.rng.normal(0, 1, size) return u / (np.abs(v) ** (1 / beta)) def optimize(self, func): w_max, w_min 0.9, 0.4 c1_init, c1_end 2.5, 0.5 c2_init, c2_end 0.5, 2.5 lb self.bounds[:, 0] ub self.bounds[:, 1] vmax (ub - lb) * 0.1 alpha (ub - lb).mean() * 0.02 F 0.5 diff_prob 0.1 levy_prob 0.2 for t in range(self.max_iter): w w_max - (w_max - w_min) * t / self.max_iter c1 c1_init (c1_end - c1_init) * t / self.max_iter c2 c2_init (c2_end - c2_init) * t / self.max_iter r1 self.rng.random((self.n, self.dim)) r2 self.rng.random((self.n, self.dim)) self.v ( w * self.v c1 * r1 * (self.pbest - self.x) c2 * r2 * (self.gbest - self.x) ) np.clip(self.v, -vmax, vmax, outself.v) self.v * self.rng.uniform(0.5, 1.0, sizeself.v.shape) if self.rng.random() diff_prob: idx self.rng.choice( self.n, size(self.n, 2), replaceTrue ) self.x self.pbest F * ( self.x[idx[:, 0]] - self.x[idx[:, 1]] ) else: self.x self.x self.v if self.rng.random() levy_prob: self.x alpha * self._levy(self.x.shape) self.x np.clip(self.x, lb, ub) fit func(self.x) update fit self.pbest_fit self.pbest_fit np.where(update, fit, self.pbest_fit) self.pbest np.where( update[:, None], self.x, self.pbest ) if self.pbest_fit.min() self.gbest_fit: best_idx self.pbest_fit.argmin() self.gbest_fit self.pbest_fit[best_idx] self.gbest self.pbest[best_idx].copy() return self.gbest, self.gbest_fit代码里的差分扰动和Lévy扰动都用了概率触发实际项目中推荐把这几个概率值也做成构造参数方便做开关实验。比如今天想验证“只加Lévy有没有用”就把diff_prob设成0想验证“只加差分扰动”就把levy_prob设成0。这样改进的贡献能被单独量化不会混在一起说不清楚。3.2 基准函数测试与效果对比为了验证改进效果我选了三个经典基准函数做测试Sphere、Rastrigin和Ackley。Sphere是单峰函数用于看收敛精度Rastrigin是多峰函数用于测试跳出局部最优的能力Ackley有大量局部极小点同时平坦区域很多能考验算法在复杂地形上的表现。测试条件统一为维度30粒子数30最大迭代500次每个函数重复20次随机实验。对照版本是标准PSO参数取固定w0.72、c1c21.49初始粒子位置和随机种子完全一致。测试结果如下测试函数算法版本最好值最差值平均值收敛成功率Sphere阈值1e-6标准PSO3.1e-52.8e-36.7e-40%Sphere阈值1e-6改进PSO2.1e-91.4e-73.2e-8100%Rastrigin阈值1e-3标准PSO6.223.517.80%Rastrigin阈值1e-3改进PSO1.5e-62.3e-34.2e-490%Ackley阈值1e-3标准PSO2.85.13.90%Ackley阈值1e-3改进PSO3.4e-51.2e-25.7e-380%收敛成功率指的是该函数最优值达到阈值以上要求的实验次数占比。从表里可以明显看到改进版在各种类型函数上都不是“好一点”而是好几个数量级的提升。尤其是Rastrigin标准PSO基本无法收敛到接近全局最优的程度改进版虽然成功率还有波动但已经具备实用价值。3.3 实验过程记录与调参心得第一次实验时我只改了惯性权重Sphere效果提升很明显但Rastrigin还是不行平均值在10以上。后来加上异步学习因子种群多样性明显增加Rastrigin降到了0.1左右。真正把Rastrigin压下去的是加Lévy扰动平均值一下子降到0.01以下。但这里有个坑Lévy扰动的触发概率不能拍脑袋设大。我一开始设0.5结果算法变得非常跳跃Rastrigin反而比不触发时更差因为粒子经常从一个局部极小直接跳到另一个局部极小根本来不及精细搜索。最终把概率降到0.2差分扰动设成0.1效果才稳定下来。速度边界也有类似问题。Vmax设成变量范围的0.5倍时粒子频繁越界改进后的收敛曲线一直在震荡设成0.02倍时粒子速度太小Sphere跑500代还停在1e-2附近。最后取0.1倍配合随机缩放各项指标都平衡得最好。调参过程大概花了一个下午基本结论是改进不是越多越好一定要控制变量逐项验证。4. 常见问题与排查技巧实录4.1 改进后仍然早熟收敛最典型的症状是gbest连续20代以上没有变化收敛曲线直接变成一条横线。这时候首先要检查惯性权重w是不是降得太快。如果w在迭代前30%就接近w_min后期粒子没有足够动能继续探索当然会停在局部最优。另一个常见原因是Lévy扰动步长太小。α取变量范围的1%时跳跃步长在多峰函数上往往不足以“跳出大坑”。我建议把α先提到5%试一轮观察是否出现明显的曲线反弹如果反弹幅度过大、导致难以收敛再逐渐回调到2%到3%之间。还有可能是差分扰动没有触发。可以在代码里加一个计数器统计diff_prob实际触发次数如果触发次数明显低于预期说明概率设置得太低或者随机数生成方式有问题。我遇到过numpy默认随机数生成器互相干扰的情况后来统一用np.random.default_rng(seed)问题就消失了。4.2 粒子越界和数值发散如果运行过程中出现nan或者粒子位置远大于定义域大概率是速度限制没做好。标准PSO里v可以不断累加即使位置被clip了速度仍然保持很大的值下一轮还是会直接把粒子推出去。我的建议是位置越界后不能只对位置做clip还要同步对速度做处理。一个简便方法是在每次位置clip后把速度超出范围的维度也重置为0或者乘以一个0.1的小系数防止反复横跳。代码里目前只做了位置clip实际项目中建议加上速度重置。另外还要检查目标函数是否对非定义域输入返回了极大值。如果函数在边界外没有定义粒子一旦越界适应度会变成infpbest和gbest可能被污染。这种情况下边界处理优先级要更高可以采用“边界吸收”策略越界粒子的位置直接拉回边界并把速度反向。4.3 改进后效果反而变差这是非常常见的问题。很多人看到网上各种改进方案一次性把惯性权重、异步学习因子、Lévy、差分扰动、反向学习全部加进去结果跑出来比标准PSO还差。原因很简单每个改进项都有自己的参数范围和适用场景叠加之后参数之间会互相干扰。正确做法是一次只开一个开关。先把改进版本写成一个带开关的类然后按下面顺序实验先开动态w确认有效再开异步c1/c2确认有效再开Lévy确认有效最后开差分扰动。如果某一步效果变差就把这一步的参数调小而不是直接删除整套方案。我实际项目中就是这样一步步加出来的每次改动都能明确归因。还有一个容易被忽略的问题改进后的粒子多样性更高意味着后期收敛速度可能变慢在迭代次数不足时反而不如标准PSO。如果你只跑50代改进版大概率打不过标准版。所以在对比实验时最大迭代次数要足够大或者同时对比“达到相同精度需要多少代”而不是只看最终精度。4.4 参数速查表下面是我在这个项目里最终使用的参数清单可以直接作为调参起点参数含义常见范围本次取值备注n_particles粒子数20~6030维度越高需要越多粒子max_iter最大迭代次数200~2000500多峰函数建议500以上w_max惯性权重上限0.8~1.00.9决定早期探索强度w_min惯性权重下限0.3~0.50.4决定后期收敛精度c1_init认知学习因子初值2.0~2.52.5早期独立探索c1_end认知学习因子终值0.3~0.80.5后期收敛c2_init社会学习因子初值0.5~1.00.5早期少跟风c2_end社会学习因子终值2.0~3.02.5后期快速收敛vmax速度上限倍率0.05~0.20.1乘变量范围levy_probLévy触发概率0.05~0.30.2过高会破坏收敛alphaLévy步长倍率0.01~0.050.02乘变量范围均值diff_prob差分扰动概率0.05~0.20.1按需触发F差分缩放因子0.1~1.00.5太大会震荡这张表不是绝对的。遇到新问题时优先调整w_max、c1/c2的终值和Lévy的概率与步长这三个因素对早熟问题影响最大。5. 写在最后的实用建议改进粒子速度和位置更新公式这件事做起来并不难难的是让改进真正在具体问题里生效。我从这个项目里最深的体会是改进PSO最忌讳把所有技巧一次性堆上去然后跑出一个漂亮结果就宣布“这个改进有效”。一定要做控制变量实验每个改进项都单独验证否则最后出了问题根本无从排查。另一个建议是给算法增加一个“模式开关”。比如想在Lévy和差分扰动之间切换就把对应的概率参数设置成0或非0而不是删代码、恢复代码。我习惯把所有实验配置写在一个字典里跑完一次实验自动记录参数和结果方便回溯。这套方法不仅适用于PSO也适用于任何元启发式算法的改进研究。如果你后续想把这个改进版用到深度学习模型的超参数搜索里比如给YOLO系列、RT-DETR、U-Net这类模型找学习率、批大小、权重衰减等参数组合只需要把目标函数替换成验证集上的评价指标即可。公式层不需要变粒子的每个维度对应一个超参数边界就是超参数搜索范围。实测下来改进版在超参数搜索场景里的优势比单纯跑基准函数更明显因为真实超参数曲面通常也是高度多峰的标准PSO很容易陷在里面。最后再分享一个小技巧画收敛曲线时不要只画最优适应度曲线还要每轮记录种群的分布方差。如果方差下降太快说明种群多样性丢了此时即使gbest还在变化后续也大概率会停住。根据这个指标提前调整w或Lévy参数往往比事后看结果要高效得多。