新闻详情

新闻详情

首页 / 资讯中心 / 详情

FusionTimePatch:统一通道独立与混合的多尺度补丁递归全局-局部协同预测网络

发布时间:2026/11/14 15:23:58来源:尧图网络
FusionTimePatch:统一通道独立与混合的多尺度补丁递归全局-局部协同预测网络
论文标题Unifying Channel Independence and Mixing: Multi-Scale Patch Recursion for Global–Local Representation Synergy in Multivariate Time Series Forecasting代码及讲解改进思路https://space.bilibili.com/51422950?spm_id_from333.1007.0.0摘要多元时间序列预测支撑金融、气象与工业运营但长期存在两大障碍一是模型通常在通道独立CI与通道混合CM两种范式间二选一二者各有优势导致跨数据集性能方差大二是短期动态与长期趋势难以联合建模无法同时捕捉瞬态爆发与周期模式。为此作者提出FusionTimePatchFTP一个纯MLP驱动的轻量框架包含三个模块双视图全局-局部融合Dual-GLF并行运行CI与CM视图并用多尺度补丁递归自适应调整回看窗口、耦合全局与局部通道增强CE放大显著通道特征并跨通道扩散线性融合层统一Dual-GLF与CE的输出。Q1这个模型试图解决什么问题核心问题是通道独立与通道混合长期被二选一、各有短板且短期瞬态与长期趋势难以联合如何在保持纯MLP线性效率的前提下同时统一CI/CM两种视角并实现全局-局部表征协同。1.CI与CM二选一通道独立能抑制过拟合、泛化稳健却丢失跨变量交互通道混合能建模变量依赖但高维下易过拟合、注意力开销大不同数据集偏好不同造成性能方差大2.全局-局部割裂局部补丁擅长短期瞬态、全局窗口擅长长期趋势二者难以同时兼顾。Q2相关研究1.通道独立类如PatchTST各通道独立建模、泛化好但完全不建模跨变量交互2.通道混合类如Crossformer显式建模跨通道依赖但在高维数据上易过拟合且注意力复杂度高3.线性/MLP类如DLinear、SOFTS、TSMixer、PatchMLP计算高效但表达能力受限、难以兼顾双视图与多尺度4.FTP坚持纯MLP用CI/CM双视图并行统一两种范式再以多尺度补丁递归耦合全局-局部。Q3模型如何解决这个问题输入序列依次经过Dual-GLF、CE与线性融合层得到最终预测。图注FTP整体架构左上GLF-CI、左中GLF-CM分别以多级递归Level1,2,...做局部补丁与全局窗口嵌入左下CE做隐维与通道维Softmax、采样主导通道并广播右侧为整体数据流融合层堆叠e层后由MLP头输出。双视图全局-局部融合Dual-GLFDual-GLF在两个互补视图下并行捕捉短期动态与长期趋势并组织为多个层级递归。在递归层i采用多尺度自适应补丁跨度Pii×unitunit为基础补丁长度为完整覆盖回看窗L在末尾填充一个步长S该层补丁数Ni⌊(L-Pi)/S⌋2。局部信息上把每个长Pi的补丁嵌入得到Xl∈RD全局信息上把整个窗口L嵌入得到Xg∈RD随后沿隐维拼接Xg与Xl并投影回长度L再以更新后的补丁跨度传入下一层递归进行。GLF-CI保持通道独立、逐通道做尺度嵌入RC×L→RC×Ni×Pi→RC×DGLF-CM则在每个补丁内堆叠通道在多尺度上显式建模跨通道交互RC×L→R[C×Pi]×Ni→RC×D。两视图最终由一个线性映射器融合在保留互补线索的同时减少相互干扰。通道增强CECE先沿时间维嵌入每个通道得到高维特征Xe∈RC×D再用隐维Softmax评估各潜在成分的重要性并乘性加权放大显著维度、抑制次要维度。接着用通道维Softmax产生通道间重要性权重按权重做概率采样选出主导通道权重越高采样概率越大把其特征广播到所有通道再经MLP得到增强表示从而突出关键异常与突变、同时保留跨通道依赖。线性融合与预测融合层先把Dual-GLF的CI、CM输出XI、XM∈RC×L投影到统一隐维D与CE输出Xe拼接成[XI,XM,Xe]∈RC×3D经线性层压缩为融合表示XF∈RC×D再把XF与当前层的原始嵌入Xo拼接成[XF,Xo]∈RC×2D经MLP映射回序列空间X∈RC×L穿过E个编码层最后由MLP头输出预测Y∈RC×T。计算复杂度每个自适应层在GLF-CI与GLF-CM中含补丁与MLP投影复杂度为O(ACL)CE因两次Softmax与一个线性层贡献O(CL)整体前向复杂度约为O(ACL)A为自适应层数保持MLP的线性效率而基于Transformer的模型为O(CL²)。Q4实验结果实验在12个公开多元时序数据集上进行四个变压器油温基准ETTh1/ETTh2/ETTm1/ETTm2以及八个交通-天气-能源数据集Electricity、Traffic、Weather、Solar、PEMS03/04/07/08统一用RevIN归一化指标为MSE/MAE回看窗L96。对比三族代表性基线Linear-MLP类PatchMLP、SOFTS、TSMixer、TiDE、DLinearTransformer类FreDF、iTransformer、PatchTST、CrossformerCNN类SCINet、TimesNet。主结果图注主结果4个预测长度平均MSE/MAE加粗为第一、下划线为第二FTP在12个数据集中的10个上排名第一显著领先包括最具竞争力的补丁MLP模型PatchMLP在内的全部基线。FTP在所有对比方法中取得最多的top-1结果。例如在PEMS08170个变量上平均MSE从之前最优的0.138降到0.121相对提升12.31%在高维与低维数据上都表现稳健。递归层级分析图注自适应递归层级影响MSE随层级1—14变化随递归层级增加多尺度补丁覆盖更充分MSE整体下降到一定层级后趋于稳定。消融实验图注消融Avg为平均误差、Range为相对变化分别移除Dual-GLF、GLF-CI、GLF-CM、CE、Concat Original、Fusion六个组件。移除GLF-CM在PEMS04、Weather、Electricity上带来最大的误差上升凸显跨通道全局-局部互补在多元场景中的关键作用移除Concat Original在多个数据集上也明显恶化说明保留原始输入对稳定建模很重要。效率分析图注效率-精度权衡ElectricityL96、T96横轴为每迭代训练时间、气泡大小为内存、纵轴为MSEFTP位于左下角且气泡最小。FTP仅用276MB内存、8.5ms/iter并取得最低MSE相比之下PatchTST需要约4713MB、137.3ms/iter同范式的PatchMLP也需476MB、21.2ms/iter且误差更高。预测可视化图注预测可视化PEMS04预测长度T{12,24,48,96}蓝色为真值、橙色为FTP预测整体能较好贴合波形走势与突变。Q5有什么可以进一步探索的点1.让CI/CM两视图的融合权重完全内容感知、随数据集与样本自适应2.让递归层级与补丁跨度根据信号自动增长或停止避免人工设定上限3.把CE中的概率采样改为可微操作实现端到端的通道选择4.把多尺度补丁递归与双视图思想迁移到频域、图网络或状态空间模型。Q6总结一下模型的主要内容FTP由双视图全局-局部融合Dual-GLFCI/CM并行加多尺度补丁递归、通道增强CE与线性融合层组成是一个纯MLP轻量框架在12个数据集中的10个上取得第一。它的核心价值是用双视图并行统一通道独立与混合、用多尺度递归协同全局与局部在保持线性计算效率的同时显著提升预测精度与跨数据集稳健性。
网站建设高端定制企业官网
RELATED

相关资讯

更多精彩内容,欢迎继续阅读

较早相关资讯

最新相关资讯

【外设】之大彩串口显示屏 2026/11/15 4:54:16

【外设】之大彩串口显示屏

大彩串口屏初步使用 1 .官网下载 STM32 屏幕 GUI 设计资料 http://www.gz-dc.com/category/typeid/4112 找到 STM32 Keil 工程,移植相关代码因项目而异进行移植,由于项目简单,本人只对用到的指令接口进行修改。 比如:注意事项&…

阅读更多 →
无法下载Windows系统iso文件 2026/11/15 2:04:12

无法下载Windows系统iso文件

当我遇到这个问题的时候,我打开了一个网站: 登录 然后我打算下载的时候: 突然那个官方的连接就可以下载了:

阅读更多 →
【清华代码熊】DeepSeek V4.1 Flash 后训练详解 2026/11/14 10:11:15

【清华代码熊】DeepSeek V4.1 Flash 后训练详解

📌 上期解析了 DeepSeek V4.1 Flash 模型架构改进,本期解析 DeepSeek V4.1 Flash 预训练/后训练技术: 🌟 预训练:45T 文本 多模态混合语料、直接训练 sparse attention(取消 DeepSeek V4 的 dense 冷启动&…

阅读更多 →
Shuffle-R1: Efficient RL framework for Multimodal Large Language Models via Data-centric Dynamic ... 2026/11/14 17:14:38

Shuffle-R1: Efficient RL framework for Multimodal Large Language Models via Data-centric Dynamic ...

文章主要内容和创新点 主要内容 本文聚焦于多模态大语言模型(MLLM)强化学习(RL)训练中的效率问题,提出了一个名为Shuffle-R1的框架。研究发现,当前RL训练存在两个关键缺陷: 优势值坍缩(Advantage Collapsing):批次中大多数优势值集中在零附近,导致有效梯度信号被淹…

阅读更多 →
PRvL: Quantifying the Capabilities and Risks of Large Language Models for PII Redaction 2026/11/14 16:35:50

PRvL: Quantifying the Capabilities and Risks of Large Language Models for PII Redaction

一、文章主要内容总结 本文聚焦于利用大型语言模型(LLMs)实现个人身份信息(PII)脱敏的研究,旨在解决传统脱敏方法(如基于规则的系统、领域特定命名实体识别(NER)模型)泛化能力差、跨格式/跨语境适应性弱的问题。 研究通过全面评估多种LLM架构(包括密集型LLM(D-LLM…

阅读更多 →
LLaVA-RE: Binary Image-Text Relevancy Evaluation with Multimodal Large Language Model 2026/11/15 4:06:36

LLaVA-RE: Binary Image-Text Relevancy Evaluation with Multimodal Large Language Model

文章主要内容和创新点 主要内容 本文聚焦于二进制图像-文本相关性评估任务(判断图像与文本“相关”或“不相关”),针对该任务中文本格式多样、相关性定义随场景变化等挑战,提出了基于多模态大语言模型(MLLM)的解决方案LLaVA-RE。 模型设计:LLaVA-RE基于LLaVA 1.5架构,…

阅读更多 →

今日资讯

本周资讯

本月资讯

看完文章仍有疑问?

联系尧图顾问,获取一对一建站咨询

立即免费咨询 📞 400-888-8888
📞 ✉