基于AFSA优化注意力机制的时序预测方法-AET-电子技术应用

基于AFSA优化注意力机制的时序预测方法

电子技术应用

卢晓宇，任欢，张鑫，刘雪君，刘萌，李佩佩

中国兵器工业集团第二〇七研究所

摘要： 面对时序数据普遍存在的非线性、非平稳特性，加之传统预测模型在捕捉时序依赖关系时存在不足、参数自适应寻优效率偏低的现实困境，设计了一种基于人工鱼群算法（AFSA）优化注意力机制的时序预测模型。该模型的核心实现流程如下：首先采用滚动窗口策略对原始时序数据进行预处理，以此保留序列自身蕴含的时序关联特性；其次借助注意力机制，实现对不同时刻输入数据重要性权重的自适应学习；此外，通过引入AFSA对模型关键参数实施全局寻优操作，进而改善模型的泛化能力与收敛性能。为验证所提模型的有效性，以短期电力负荷数据作为实验样本开展测试，结果显示，该设计的模型在预测精度、收敛速度等关键指标上均优于各类对比模型，不仅能有效降低预测误差，还能显著提升对非平稳时序数据的适配能力与预测效果。

关键词： 时序数据 AFSA 注意力机制滚动预测

中图分类号：TP183 文献标志码：A DOI: 10.16157/j.issn.0258-7998.267967
中文引用格式： 卢晓宇，任欢，张鑫，等. 基于AFSA优化注意力机制的时序预测方法[J]. 电子技术应用，2026，52(10)：20-26.
英文引用格式： Lu Xiaoyu，Ren Huan，Zhang Xin，et al. Time series prediction method based on AFSA-optimized attention mechanism[J]. Application of Electronic Technique，2026，52(10)：20-26.

Time series prediction method based on AFSA-optimized attention mechanism

Lu Xiaoyu，Ren Huan，Zhang Xin，Liu Xuejun，Liu Meng，Li Peipei

China North Industries Group Corporation 207th Research Institute

Abstract： To address the common nonlinearity and non-stationarity of time series data, as well as the issues of traditional prediction models being insufficient in capturing temporal dependencies and having low efficiency in adaptive parameter optimization, this paper proposes a time series prediction model based on an artificial fish swarm algorithm (AFSA)-optimized attention mechanism. This method preprocesses the original data using a rolling window strategy to preserve the intrinsic temporal correlations of the sequence. It uses an attention mechanism to adaptively learn the importance weights of inputs at different time points. And it introduces the AFSA to globally optimize key model parameters, improving the model's generalization ability and convergence performance. Experimental results on short-term electricity load data indicate that the proposed method outperforms comparative models in prediction accuracy and convergence speed, effectively reducing prediction errors and demonstrating stronger adaptability and predictive capability for non-stationary time series data.

Key words : time series data；AFSA；attention mechanism；rolling prediction

引言

在自然界与人类社会的各类活动中，时序数据是一种极为普遍的数据形态，其核心功能是依托时间维度，完整记录事物的演化规律与内在特征。时序数据在实际场景中有着广泛的应用，例如电力系统中的负荷数据、气象领域的监测数据、工业设备的运行参数以及态势感知中的预警数据等。时序预测的核心逻辑的是，借助历史时序数据中潜藏的内在规律，通过合理构建预测模型，实现对未来一段时期内数据变化趋势的预测[1]。随着科学技术的不断发展，时序数据规模呈现快速扩张趋势，其非线性、非平稳性特征也愈发显著，传统时序预测方法已逐渐无法满足实际应用场景对预测精度的高标准要求[2]。

国内外研究学者对时间序列预测领域进行了多个阶段的研究，其中主要包括传统统计方法、机器学习与深度学习3个阶段。传统方法包括自回归滑动平均模型（Auto-Regressive Moving Average Model，ARMA）、自回归移动平均数模型（Autoregressive Integrated Moving Average Model，ARIMA）、指数平滑等[3-4]，这些方法核心思路是通过挖掘非平稳时序数据中的线性特征，完成数据预测任务；机器学习阶段有支持向量机（Support Vector Machine，SVM）、随机森林、神经网络等方法，此类算法能够能更清晰地捕捉到时序数据中非线性的关联规律，让模型对非线性数据的拟合效果得到明显改善[5-6]；随着深度学习技术的兴起，时序预测研究进入了快速发展阶段，长短期记忆网络（Long Short-Term Memory，LSTM）、门控循环单元（Gated Recurrent Unit，GRU）、Transformer 等模型成为时序预测研究的热点[7-10]。融入注意力机制的Transformer模型，有效突破了传统循环神经网络（RNN）、LSTM在捕捉时序数据中依赖关系的局限性，通过自适应分配注意力权重参数，聚焦于对预测结果起决定性作用的历史数据特征，大幅提升了时序预测的性能。但需注意的是，传统注意力机制的参数初始化多依赖人工经验设定或随机初始化方式，这种方式易使模型陷入局部最优，进而导致注意力权重分配失衡，无法充分挖掘时序数据中潜藏的深层关联，最终制约了模型预测性能的进一步提升。

近年来，人工鱼群算法（Artificial Fish Swarm Algorithm, AFSA）凭借较强的全局寻优能力，已被广泛应用于神经网络参数优化领域。文献[11]将改进AFSA用于ELM隐含层参数优化，文献[12]采用AFSA优化BP神经网络权值与阈值，文献[13]基于AFSA实现LSTM网络超参数自适应搜索。上述研究有效提升了神经网络的收敛速度与预测精度，但均聚焦于基础网络权重或全局超参数优化，将AFSA直接用于注意力机制参数优化的研究仍较少，且现有工作未将注意力权重等核心参数纳入AFSA寻优范围。与现有工作相比，本文核心差异体现为：（1）直接以注意力机制关键参数为优化对象，而非仅优化基础网络结构；（2）将注意力参数融入AFSA个体编码，实现端到端全局寻优；（3）针对时序预测构建优化模型，填补了时序预测领域AFSA优化注意力参数方向的研究空白。

将AFSA与注意力机制相结合，利用AFSA的全局寻优能力对注意力机制的关键参数进行自适应优化，能够有效解决传统注意力机制参数优化不足、易陷入局部最优的问题，进一步提升时序预测模型的性能和精确度。因此，本文提出一种基于AFSA优化注意力机制的时序预测方法，以电力负荷预测为实验场景，验证所提方法的有效性。

本文详细内容请下载：

https://www.chinaaet.com/resource/share/2000007285

作者信息：

卢晓宇，任欢，张鑫，刘雪君，刘萌，李佩佩

（中国兵器工业集团第二〇七研究所，山西太原 030006）

原创声明：此内容为AET网站原创，未经授权禁止转载。

相关内容