【NeurIPS 2025】基于实例感知事后修正优化时间序列预测
目录一段话概括1. 研究背景与问题2. PIR框架设计2.1 故障识别模块2.2 局部修正模块2.3 全局修正模块2.4 集成与优化3. 实验验证3.1 实验设置3.2 主要实验结果3.3 定性与消融分析3.4 复杂度分析4. 结论与局限一段话概括本文针对时间序列预测中普遍存在的实例级变异问题由分布偏移、缺失数据和长尾模式导致表现为预测误差的长尾分布提出了模型无关的事后修正框架PIRPost-forecasting Identification and Revision。该框架通过不确定性估计识别预测失败实例并从局部协变量与外生信息和全局相似历史序列检索两个维度对预测结果进行修正。在12个真实世界数据集上对4个主流预测模型的实验表明PIR能平均降低MSE最高达25.87%显著提升预测可靠性相关成果已被NeurIPS 2025接收。论文Improving Time Series Forecasting via Instance-aware Post-hoc Revision 作者Zhiding Liu, Mingyue Cheng, GuanHao Zhao, Jiqian Yang, Qi Liu, Enhong Chen 单位State Key Laboratory of Cognitive Intelligence, University of Science and Technology of China 代码https://github.com/icantnamemyself/PIR更多资讯搜索微信公众号时序前沿研究加入时序交流群请各位同学给我点赞激励我创作更好、更多、更优质的内容^_^1. 研究背景与问题时间序列预测的重要性广泛应用于交通规划、能源管理、医疗分析和气象预报等领域近年来深度学习方法取得了显著进展。核心问题发现尽管现有模型在整体评估中表现良好但实例级变异导致部分特定实例的预测结果严重失真。这种变异源于时间序列数据的非平稳性、噪声、传感器故障和长尾分布表现为预测误差的长尾分布如图1所示PatchTST在ETTh1数据集上多数实例MSE低于0.4但少数实例MSE超过1.6。现有方法的不足传统方法和深度学习模型均未专门针对这一问题进行设计导致预测可靠性不足。2. PIR框架设计PIR是一个完全模型无关的事后处理插件可无缝集成到任意时间序列预测模型中无需修改骨干模型的结构或训练过程。框架包含三个核心组件2.1 故障识别模块核心思想将预测失败识别转化为不确定性估计任务通过预测每个实例的MSE来量化其不确定性。实现方式使用两层全连接神经网络输入为原始序列、骨干模型的预测结果和通道嵌入输出为该实例的不确定性估计δ。监督信号以骨干模型预测结果与真实值的MSE作为监督使用MAE损失函数L u e L_{ue}Lue进行优化。关键创新同时考虑数据不确定性和模型不确定性为后续修正提供可靠的依据。2.2 局部修正模块核心思想利用局部窗口内的上下文信息包括协变量的预测结果和已知的外生变量如时间戳、节假日信息来修正预测误差。实现方式将协变量预测和外生变量分别投影到隐藏空间并拼接使用Transformer编码器捕捉变量间的依赖关系如领先-滞后效应通过线性头生成局部修正结果y l o c a l y_{local}ylocal优势特别适用于采用通道独立策略的模型如PatchTST弥补其忽略跨变量依赖的缺陷。2.3 全局修正模块核心思想针对长尾模式和罕见模式从全局历史数据中检索相似的时间序列作为参考利用相似历史会重演的假设进行修正。实现方式构建仅包含训练集数据的检索数据库避免数据泄露使用实例归一化对序列进行编码缓解非平稳性对相似度计算的影响采用余弦相似度检索Top-K最相似的历史序列以相似度为权重对检索到的序列的真实未来值进行加权求和生成全局修正结果y g l o b a l y_{global}yglobal优势能够有效捕捉骨干模型因训练数据不足而无法学习到的罕见模式。2.4 集成与优化动态加权融合最终预测结果为原始预测、局部修正和全局修正的加权和y p r e d y ˉ α y l o c a l β y g l o b a l y_{pred} \bar{y} \alpha y_{local} \beta y_{global}ypredyˉαylocalβyglobal其中α和β是根据不确定性估计δ和检索相似度动态学习的权重使用Sigmoid激活函数确保非负。多任务学习目标L L p r λ L u e \mathcal{L} \mathcal{L}_{pr} \lambda \mathcal{L}_{ue}LLprλLue其中L p r L_{pr}Lpr是最终预测与真实值的MSE损失L u e L_{ue}Lue是不确定性估计的MAE损失λ为权重超参数实验中固定为1。3. 实验验证3.1 实验设置数据集12个真实世界数据集覆盖能源、自然、交通、健康等多个领域包括长序列预测ETT、电力、太阳能等和短序列预测PEMS交通数据集。骨干模型4个主流预测模型代表不同的架构设计PatchTST通道独立基于TransformerSparseTSF通道独立基于稀疏MLPiTransformer通道依赖基于倒置TransformerTimeMixer通道依赖基于多尺度混合评估指标均方误差MSE和平均绝对误差MAE。3.2 主要实验结果PIR在48个实验设置中的46个都取得了性能提升平均MSE降低幅度如下表所示骨干模型平均MSE降低幅度最大MSE降低幅度数据集PatchTST8.99%32.04%PEMS04SparseTSF25.87%57.67%PEMS07iTransformer3.47%10.19%PEMS04TimeMixer2.34%5.20%Traffic关键发现通道独立型模型PatchTST、SparseTSF的提升幅度显著大于通道依赖型模型iTransformer、TimeMixer因为后者已经在模型内部考虑了跨变量依赖。在交通数据集上提升最为显著这与交通数据具有强周期性和大量相似历史模式的特点一致。PIR不仅降低了平均误差还显著压缩了误差分布的长尾部分如图4所示SparseTSF在ETTh1上的最大预测误差从2.85降至0.81。3.3 定性与消融分析不确定性估计有效性估计的不确定性与实际预测误差的R²分数高达0.9067PatchTST和0.7500iTransformer证明了故障识别模块的准确性。组件贡献分析消融实验表明局部修正和全局修正都能独立提升性能两者结合效果最佳。性能增益来源PIR的性能提升并非来自简单的模型加深而是来自对上下文信息的有效利用和对长尾模式的针对性处理。3.4 复杂度分析理论复杂度检索阶段时间复杂度为O(NML_in)局部修正阶段为O(N²)。实际效率由于GPU并行化的支持检索阶段引入的额外延迟可忽略不计ETTh1数据集上仅增加0.024秒。检索策略对比暴力余弦相似度检索在效率和效果上均优于基于LSH的近似检索。4. 结论与局限核心贡献首次系统地揭示了时间序列预测中实例级变异问题的普遍性和严重性。提出了第一个模型无关的事后修正框架PIR通过识别-修正的范式解决这一问题。在广泛的基准测试中验证了PIR的有效性和通用性。局限性目前仅处理了输入序列的实例级变异未考虑目标序列中因数据质量问题导致的变异。故障识别和局部修正模块使用了相对简单的网络结构有进一步提升的空间。未来方向研究目标序列质量提升方法引入更先进的网络架构和归纳偏置探索多模态上下文信息的利用。