简介这是围绕相关向量机RVM分类与预测的 MATLAB 实现与理论文档包面向机器学习初学者、研究生及需要快速上手稀疏贝叶斯核方法的开发者。RVM 在贝叶斯框架下自动筛选相关向量模型稀疏且自带不确定性估计适合小到中等规模数据的分类回归任务可帮助读者从公式推导到工程代码完整贯通。压缩包共 7 个文件5 个 .m 脚本覆盖训练、核函数计算、参数估计、预测及运行环境配置另有 2 篇 PDF 分别讲解稀疏贝叶斯学习与 RVM 原理整体仅 1.61MB方便离线阅读与直接运行调试。该资源已有 151 人浏览学习。通过学习这份材料读者可掌握 RVM 分类/预测的完整实现路径理解训练与预测脚本的调用关系并学会利用 RBF 等核函数处理线性不可分数据为进一步比较 SVM、调整稀疏性参数或扩展回归应用打下基础。1. RVM分类与预测小样本场景下的稀疏贝叶斯选择我第一次拿 RVM 分类去处理用户消费预测需求时客户只给了三百多条真实订单特征这个数据量连 SVM 调参都调得心慌。RVM 全称 Relevance Vector Machine也就是相关向量机它本质上是贝叶斯框架下的稀疏核学习模型训练完往往只留下十几个相关向量预测输出还自带概率这对做业务建模的人来说非常实用。这套压缩包把 RVM 分类和 RVM 预测回归的 Matlab 实现、Demo 脚本和实测数据打包在一起覆盖从训练到预测的完整链路。想把它用到金融时序预测、小样本仿真数据或毕业设计算法对比的工程师和学生下面就直接按拆包路径展开讲清楚怎么跑通、参数怎么调、坑在哪。2. RVM原理与选型稀疏贝叶斯学习为什么能打2.1 RVM的核心机制自动相关性确定如何把权重剪掉RVM 的模型形式和 SVM 类似写成 y(x) Σ w_i·K(x, x_i) w_0也就是每个训练样本对应一个核函数和一个权重。区别在于RVM 不是通过求解二次规划来得到权重而是从贝叶斯角度给每个权重单独配一个超参数 α_i权重先验是零均值高斯分布 w_i ~ N(0, α_i^(-1))。训练过程的本质是用 Type-II 最大似然估计去迭代求解 α_i 和噪声方差 σ²迭代中大部分 α_i 会被推向非常大的数值对应的权重后验方差趋近于零这些样本就从模型里被剪掉了。最后剩下来的少数几个样本叫相关向量Relevance Vector这也是 RVM 稀疏性的来源。这套机制在文献里叫自动相关性确定ARD不需要我们手动去做特征筛选。每一次迭代里SparseBayes 工具箱会重新估计噪声方差、更新 α_i、再用当前后验分布去修正权重均值循环往复直到 α 的变化小于阈值。和 SVM 的软间隔比起来RVM 多了一层概率解释模型输出不再是几何距离而是后验分布下的预测值。分类任务的实现细节稍有不同因为标签是 0/1似然函数要换成伯努利分布加 sigmoid 链接没有解析解所以工具箱内部用了拉普拉斯近似来处理。这里要记住一个关键结论RVM 对核函数没有正定性的要求不强制满足 Mercer 条件。这意味着你可以直接尝试一些非正定核而不必担心对偶问题无解。实际使用时最常见的还是 RBF 高斯核少数场景会用多项式核或拉普拉斯核。工具箱里一般以 kernel 参数名区分RBF 对应高斯核poly 对应多项式核linear 对应线性核换核只是改了核函数计算函数整个训练框架完全不用动。2.2 与SVM、高斯过程对比三类工具怎么选做监督学习选型时最容易纠结的就是 RVM、SVM 和高斯过程GP这三兄弟。我把它们放在同一张表里对比能看得更清楚。对比项SVMRVM高斯过程输出形式判决值/距离后验概率或均值均值加方差样本稀疏性支持向量较多相关向量极少不剪样本核函数约束需满足 Mercer 条件不必正定需正定核训练复杂度二次规划样本多时慢迭代较慢样本上万吃力O(N³) 量级概率输出需要额外做 Platt 缩放天然自带天然自带从这张表能直接看出 RVM 的定位它适合样本量在几百到几千、任务要求概率输出、上线时希望模型体积小的场景。我做信用评分、用户消费预测这类风控建模时经常被业务方追问“这个分数到底怎么算的”RVM 给出的概率输出和极少相关向量在可解释性和部署成本上都比 SVM 更友好。SVM 的毛病在于支持向量的数量会随着训练集规模近似线性增长模型越训越大推理越来越慢高斯过程虽然预测带方差但完全不剪样本测试阶段要遍历全部训练点更重要的是训练复杂度是 O(N³)数据超过五千条就会明显变慢。RVM 的短板同样要认清它靠迭代估计超参数训练速度比 SVM 慢不少样本量过万之后迭代极其吃力另外它对核宽度参数比较敏感width 给得不合适相关向量数量会剧烈波动。所以我的选型习惯是小样本、需要概率、追求模型稀疏优先 RVM样本量中等、更看重训练速度选 SVM需要预测不确定性且样本只有几百选高斯过程。这个判断逻辑用了很多次基本没有翻过车。3. 拿到RVM.rar先做什么目录结构、数据格式与Matlab环境3.1 压缩包里的常见文件结构与入口解压 RVM.rar 之后先不要急着双击某个 m 文件去运行先把文件结构看清楚。这类基于 SparseBayes 系工具箱的 RVM 包目录通常是这样的RVM/ ├─ SparseBayes.m # 核心训练主入口分类/回归都用它 ├─ applyModel.m # 测试阶段预测函数 ├─ kernels/ # 核函数目录 │ ├─ rbf_kernel.m # RBF 高斯核 │ └─ poly_kernel.m # 多项式核 ├─ demos/ │ ├─ demo_classification.m # 分类示例脚本 │ └─ demo_regression.m # 回归示例脚本 ├─ data/ │ ├─ data_classification.mat # 分类数据集 │ └─ data_regression.mat # 回归数据集我一般会先去打开 demos 里的 demo_classification.m看一下它调用的是哪个数据文件、核参数给的是多少然后顺手在 Matlab 里把工具箱路径加上。你不需要把每个 m 文件逐行读懂核心只需要认准两个入口训练阶段用 SparseBayes.m预测阶段用 apply 相关的函数。这两个入口找对了后续跑通 Demo 就成功了一半。这里有一个非常容易踩的细节Matlab 在 R2016b 之后对脚本函数命名更严格老工具箱里有些函数命名可能和内置函数冲突。如果你在命令行输入 help SparseBayes 得到的是空白或者报错基本就是路径没加对而不是工具箱损坏。路径问题解决之后再运行 Demo看到的训练过程输出会是一系列迭代日志里面有 iteration、alpha、gamma 之类的字段。3.2 输入X与目标t怎么组织列向量是第一个硬规则RVM 工具箱对数据格式的约定比较死板X 必须是 N×M 的样本矩阵N 是样本数M 是特征数目标 t 必须是 N×1 的列向量。二分类标签常见的是 0/1也有的工具箱版本接受 ±1回归任务则是连续值。把数据格式对整齐比调参还要优先。我的习惯是拿到数据后先在 Matlab 里用 whos 看一遍变量尺寸确认之后再统一转成列向量。这一步很便宜但能省掉后面一半的报错排查时间load(data_classification.mat); whos X t % 强制检查X 必须是 N*Mt 必须是 N*1 if size(t, 2) 1 t t; % 行向量转列向量 end t t(:); % 无论什么形状统一压成列向量 disp(size(X)); disp(size(t));转置和(:)操作之间的区别值得说清楚t 解决的是行向量与列向量方向不一致的问题而 t(:) 是把任意维度的矩阵按列展开成一列。如果原本 t 就是 N×K 的多列输出直接 t(:) 会把数据顺序打乱这在单输出场景里是灾难。所以上面代码里我先把多列判断为需要转置再用 t(:) 兜底这样只对方向错误有效不会破坏数据排列。确认无误后再进入下一步。3.3 Matlab运行环境与路径设置的三个检查点这个工具箱对 Matlab 版本谈不上挑剔我在 R2016b 和 R2020b 上都跑通过新版跑老函数偶尔会报几个关于语法兼容的 warning不影响结果。真正需要检查的是以下三件事一是路径要用 genpath 递归添加二是确认核心函数能被 which 找到三是注意当前工作目录里不要有变量名占用 kernel、data 这类常用名称。把路径用好很多入门阶段的问题就消失了。addpath(genpath(D:\RVM)); % 递归添加整个工具箱目录 savepath; % 保存路径配置下次启动免配置 which SparseBayes.m % 能打印出完整路径就说明添加成功上面这段代码里genpath 是关键。如果图省事只用 addpath(D:\RVM)那么 kernels 这个子目录不会被加入搜索路径后面训练时一旦调用核函数计算Matlab 就会报“函数或变量无法识别”非常容易误导人以为是工具箱坏了。savepath 不是必须的但建议执行一下否则每次重启 Matlab 都要重新 addpath 一次。第三个检查点也提醒一下不要在脚本开头把变量命名为 kernel、width 这类和工具箱函数或参数同名的变量Matlab 的变量优先级高于函数一旦变量名冲突工具箱内部可能拿到的是你的变量而不是它自己的默认配置这种 bug 极难排查。4. RVM分类实战核函数、后验概率与相关向量筛选4.1 训练一个二分类器参数列表与默认行为分类训练代码非常短核心就一行 SparseBayes 调用。常见的工具箱参数接口是第一个参数传任务类型后面跟数据和核设置addpath(genpath(D:\RVM)); load(data_classification.mat); % 假设里面是 X 和 t X data.X; t data.t; t t(:); % 保证列向量 % 训练 RVM 二分类器 mdl SparseBayes(classification, X, t, ... kernel, RBF, ... width, 1.5, ... maxits, 500);这段代码把核心训练和参数传递都覆盖了。classification 表示当前任务是二分类kernel, RBF 表示使用高斯核这是 RVM 最常用的默认核width, 1.5 是高斯核的宽度参数可以理解为高斯函数的半径直接影响分类边界的光滑程度maxits, 500 是最大迭代次数防止在某些数据上迭代不收敛导致死循环。训练完成后mdl 里面保存了相关向量的索引、权重后验均值、超参数 α 等信息不需要我们手动从返回值里拆。运行这段代码时命令行会输出迭代日志。你要重点关注两件事一是迭代是否在 maxits 之内收敛二是日志末尾显示的相关向量数量。RVM 的稀疏性体现得非常直接假设训练集有 800 个样本相关向量如果只有 30 个说明模型确实在学习主要模式而不是背样本。如果相关向量数量接近训练样本数基本可以断定核宽度设小了或者数据模式本身没有规律后面 4.3 节会详细展开。4.2 对测试集预测概率输出怎么得到训练完成后预测阶段调用 apply 接口。不同发行版的 SparseBayes 工具箱返回参数个数略有差异常见用法是第一返回值是预测响应值对分类任务再套一层 sigmoid 转成概率[yhat, ~] SparseBayes(apply, mdl, Xtest); % sigmoid 转成后验概率 P(t1|x) prob 1 ./ (1 exp(-yhat)); % 二分类判决 pred_label double(prob 0.5); acc mean(pred_label ttest); fprintf(分类准确率: %.4f\n, acc);这里解释一下为什么需要手动加 sigmoid。工具箱的 apply 函数在很多实现里返回的是决策函数值也就是没有经过概率映射的原始输出这和 SVM 返回判决距离是类似的设计。RVM 的贝叶斯框架保证了这个值可以光滑映射成概率但映射动作有时候需要我们自己写。如果用的是某个封装好的 Demo 脚本工具箱版本可能已经替你做了这步这时你打印 prob 会发现它本身就在 0 和 1 之间。判断方法很简单直接看 yhat 的数值范围如果出现大量负数或大于 1 的值说明确实需要手动 sigmoid。概率输出是 RVM 相对 SVM 的核心优势之一。做用户消费预测或者信用评分这类业务时阈值往往不是固定的 0.5而是根据业务风控要求动态调整。有了概率你可以自由地把阈值调到 0.7、0.8不用重新训练模型这在落地场景里非常好用。4.3 核宽度的第一感觉与常见误用width 参数是 RVM 分类里面最敏感的超参数没有之一。它控制的是高斯核的作用半径相当于每个样本影响周围多大的邻域。我把它对模型行为的影响做成了一张速查表方便你复盘自己的训练结果width 取值典型现象常见原因过小相关向量接近训练集数量准确率虚高模型过拟合每个样本只影响自己适中相关向量明显少于训练集概率输出有区分度边界光滑泛化合理过大相关向量极少甚至只有 1~2 个概率全在 0.5 附近欠拟合核作用范围盖过整个特征空间遇到第一种情况第一反应不应该是调大迭代次数而是先增大 width 再看相关向量数量变化遇到第三种情况则要反向把 width 调小。这是一个二分查找式的调参过程但跨度过大时直接看相关向量数来判断方向比死盯准确率高效得多。另外要注意训练集标签不平衡时概率输出会整体偏向多数类这属于数据层面的问题调 width 解决不了需要用重采样或者类别权重来处理。5. RVM预测回归实战与避坑多输出回归的三个常见翻车点5.1 从分类切到回归/预测训练代码只改一个参数RVM 做预测回归任务和分类的区别只有一个单词把 classification 换成 regression其他接口完全一致。这也是为什么这套代码包里分类和预测可以共用一套工具箱。以金融时序预测中最常见的滑窗预测为例先把原始序列转成特征矩阵再进入训练流程% 原始序列 data长度 N maxLag 5; % 用前 5 个时刻预测下一时刻 % 构造滑窗特征矩阵 X_feat []; t_feat []; for i 1:length(data) - maxLag X_feat(i, :) data(i : i maxLag - 1); t_feat(i, 1) data(i maxLag); end % 归一化回归必做 mu_X mean(X_feat); sd_X std(X_feat); X_norm (X_feat - mu_X) ./ sd_X; mu_y mean(t_feat); sd_y std(t_feat); y_norm (t_feat - mu_y) / sd_y; % 训练 RVM 回归模型 mdl SparseBayes(regression, X_norm, y_norm, ... kernel, RBF, ... width, 2.0, ... maxits, 1000);滑窗构造这一步把连续时间序列转成了监督学习格式每一行 X 是过去 maxLag 个观测值对应 t 是下一时刻的真实值这是时序预测的通用做法RVM 并不区分数据本身是时序还是普通横截面数据。归一化这一步尤其重要工具箱内部迭代要估计噪声方差和超参数如果特征和目标的数值量级差距太大迭代过程很容易震荡。预测阶段同样要先对测试特征做归一化然后把预测结果反归一化回来。这个过程必须和训练阶段使用同一组 mu_X、sd_X、mu_y、sd_y否则输出的数值完全对不上。X_test_norm (X_test - mu_X) ./ sd_X; [yhat_norm, ~] SparseBayes(apply, mdl, X_test_norm); yhat yhat_norm * sd_y mu_y; % 反归一化5.2 避坑归一化遗漏、alpha不收敛与多输出维度匹配很多下载了 RVM 包的人跑分类 Demo 很顺利一换成回归就各种报错问题几乎都出在细节上。这里把最常见的问题整理成四条踩坑记录每一条都是现象、原因、解决三段式直接对照自检。现象一回归训练时迭代迟迟不收敛alpha 的值几十次迭代都不下降loss 曲线来回震荡。原因特征和目标的数值量级差异过大超参数估计在迭代中反复摇摆。解决训练前对 X 和 t 分别做标准化预测时做反标准化。注意回归任务别偷懒跳过归一化这不是可选项是必选项。现象二分类模型训练完成后测试集所有样本的概率输出都集中在 0.5 附近类别完全没有区分度。原因width 设得过大每个核的作用半径盖过了整个数据分布相关向量剪得只剩一两个模型欠拟合。解决把 width 往小调几个量级重新训练观察相关向量数量和概率分布是否拉开。现象三运行时报错 “Dimensions of X and t are inconsistent” 或者“索引超出维度”。原因目标 t 以行向量形式传入或者被存成了 N×K 的矩阵工具箱按列运算时维度对不上。解决在调用 SparseBayes 之前统一执行 t t(:)如果数据本身就是多列先别急着压平看 5.2 节现象四。现象四想直接做多输出回归把 N×Q 的目标矩阵直接传给 SparseBayes结果报错或者结果明显错误。原因RVM 标准实现是单输出模型训练接口只接受 N×1 的目标向量多输出问题需要拆解。解决按输出维度分开训练多个模型每个输出维度各训一个 RVM预测时循环调用 apply 即可。% 多输出回归Y 是 N×Q 的目标矩阵 for q 1:size(Y, 2) mdl_q{q} SparseBayes(regression, X, Y(:, q), ... kernel, RBF, width, w); end多输出回归还有一个细节不同输出维度的数值尺度可能完全不同比如一个维度是温度几十的量级另一个维度是压力上千的量级。严格做法是每个维度单独归一化单独保存 mu 和 sd不能共用一组建模参数。相关向量筛选也应该以每个模型为单位对比如果一个输出维度的相关向量数量明显异常说明它可能需要不同的 width这时候可以单独为它搜参而不是所有维度共用一个超参数。6. 进阶核宽度网格搜索与交叉验证的固定套路RVM 调参的核心矛盾在于 width 没有通解不同数据集的合适宽度可能差好几个数量级。我现在固定用的套路是网格搜索加交叉验证把 width 候选值扫一遍同时记录准确率和相关向量数用一次脚本把调参变成走流程。以分类任务为例rng(42); % 固定随机种子保证每次搜参结果可复现 widths [0.1 0.5 1 2 4 8 16]; cv cvpartition(t, KFold, 5); for k 1:numel(widths) fold_acc zeros(cv.NumTestSets, 1); fold_rv zeros(cv.NumTestSets, 1); for f 1:cv.NumTestSets tr_idx training(cv, f); te_idx test(cv, f); mdl SparseBayes(classification, X(tr_idx,:), t(tr_idx), ... kernel, RBF, width, widths(k), maxits, 300); [yhat, ~] SparseBayes(apply, mdl, X(te_idx,:)); prob 1 ./ (1 exp(-yhat)); fold_acc(f) mean((prob 0.5) t(te_idx)); fold_rv(f) length(mdl.Relevant); % 相关向量数量 end fprintf(width%.2f acc%.4f RV数量%.1f\n, ... widths(k), mean(fold_acc), mean(fold_rv)); end这段代码把网格搜索、K 折交叉验证、相关向量统计三件事合在了一起。cvpartition 先按 5 折划分数据内层循环每个 fold 独立训练和测试最后输出每个 width 下的平均准确率和平均相关向量数。回归任务改成用 RMSE 作为评估指标把预测值反归一化之后再计算误差逻辑完全一致。固定随机种子那行容易被忽略但对 RVM 这种迭代式训练方法不固定种子可能导致同一 width 每次跑出来的相关向量数量都不一样严重影响对比判断。关于相关向量数量我的判读经验是如果两个 width 的准确率接近优先选相关向量更少的那一个因为它线上推理速度更快过拟合风险也更低。RVM 的价值不只是精度更在于用极少的样本点代表整个决策边界这一点千万别浪费掉。还有一个小技巧分享一下做完交叉验证选好 width 后最好用全量训练数据再训一次最终模型而不是直接用交叉验证里某个 fold 的模型这样能榨干数据的信息量。多输出回归任务也要做同样的事每个输出维度单独搜一次参。最后提醒一句RVM 不是深度模型它对特征工程的依赖是实打实的原始特征直接灌进去效果通常不会太好。从那以后我每次训 RVM 之前都强制走一遍固定流程归一化、固定随机种子、网格搜 width、记录相关向量数、全量重训。这套流程救了我很多次希望帮到你。本文还有配套的精品资源点击获取