《电子技术应用》
您所在的位置:首页 > 通信与网络 > 设计应用 > 雷达抗干扰策略的增量Q学习生成方法
雷达抗干扰策略的增量Q学习生成方法
电子技术应用
李沛珊,杨健,刘玮
中国运载火箭技术研究院
摘要: 针对雷达抗干扰面临动态增量干扰场景时策略训练效率低且性能差的问题,提出一种基于增量Q学习的雷达抗干扰策略生成方法。该方法利用双增量扩展机制进行Q表的分块更新与经验复用,实现了新增干扰场景下的局部参数迭代;另外设计了多维度自适应奖励函数,在保障抗干扰成功率的前提下减少模型训练时间,引导算法快速收敛至最优抗干扰策略。基于蒙特卡洛的实验结果表明,改进模型在新增状态与动作空间场景下成功率仅下降0.7%,训练时长仅增加7.6 s,说明了所提方法的有效性,为智能抗干扰工程应用的发展提供技术支持。
中图分类号:TN95 文献标志码:A DOI: 10.16157/j.issn.0258-7998.267867
中文引用格式: 李沛珊,杨健,刘玮. 雷达抗干扰策略的增量Q学习生成方法[J]. 电子技术应用,2026,52(11):143-147.
英文引用格式: Li Peishan,Yang Jian,Liu Wei. Incremental Q-learning based generation method for radar anti-jamming strategies[J]. Application of Electronic Technique,2026,52(11):143-147.
Incremental Q-learning based generation method for radar anti-jamming strategies
Li Peishan,Yang Jian,Liu Wei
China Academy of Launch Vehicle Technology
Abstract: Aiming at the problems of low strategy training efficiency and poor performance of radar anti-jamming in dynamic incremental jamming scenarios, a radar anti-jamming strategy generation method based on incremental Q-learning is proposed in this paper. The method adopts a dual incremental expansion mechanism to perform block update and experience reuse of the Q-table, thus achieving local parameter iteration in newly added jamming scenarios. Then, a multi-dimensional adaptive reward function is designed to reduce training time while ensuring the success rate of anti-jamming, guiding the algorithm to quickly converge to the optimal anti-jamming strategy. Experimental results based on the Monte Carlo show that the success rate of the improved model only decreases by 0.7% in the scenario of new state and action space, and the training time only increases by 7.6 seconds, demonstrating the effectiveness of the proposed method and providing technical support for the development of intelligent anti-jamming engineering applications.
Key words : radar anti-jamming;incremental learning;strategy generation;adaptive reward

引言

随着现代雷达进入认知抗干扰新阶段,雷达与干扰机的博弈呈现出干扰样式迭代、雷达状态动态变化的特征[1]。雷达抗干扰策略的动态适配能力决定了目标探测、跟踪任务的成败,当前雷达抗干扰策略研究主要围绕博弈论与强化学习两大技术路径展开。

博弈论技术主要在于搭建雷达与干扰机之间的博弈模型,把抗干扰策略生成问题转换为求均衡解问题[2],如贝叶斯纳什均衡解[3]、斯塔克尔伯格博弈和平框架[4-5]、双人零和同时行动扩展型[6]、基于关键时间节点[7-8]等,这类方法由于需预设固定的干扰状态与抗干扰动作集合,难以动态适配增量场景。

相较于博弈论方法,强化学习因具备更强的动态学习与自适应能力,成为当前雷达智能抗干扰策略生成的主流技术路径,但现有研究多局限于单一类型抗干扰策略的增量优化,例如频率策略优化[9-10]与雷达发射信号设计优化[11-12]等。频率策略主要针对频率捷变雷达的载频捷变实现抗干扰,文献[13]针对频率捷变雷达运用D3QN(Dueling Double Deep Q Network)强化学习方法对载频捷变策略进行生成优化,文献[14]提出一种基于知识辅助的强化学习方法,提升频率捷变雷达抗干扰子载波的选择策略,文献[15]通过划分子频段与改进双深度Q网络,解决了多雷达共存抗干扰问题。针对雷达发射信号波形设计的优化,文献[16]提出了一种基于深度Q网络(Deep Q-Network,DQN)的斜率变化线性调频信号抗干扰策略生成方法,郑泽新等[17]将Q学习应用于对空雷达抗干扰波形设计,文献[18]通过双深度Q学习网络对雷达发射功率、调制类型和载波频率进行联合优化与动态决策,提升雷达抗干扰与生存能力。

为解决现有强化学习方法在动态增量场景中计算开销大、训练效率低、动态适配性差的问题,本文提出基于增量Q学习的雷达抗干扰策略生成方法,核心创新点包括三方面:(1)设计状态与动作双增量扩展机制,实现新状态、新动作的快速接入;(2)构建分块更新与经验复用策略,在增量学习过程中保留历史训练信息,避免模型重复训练;(3)设计多维度自适应奖励函数,有效解决算法收敛速度慢的问题。


本文详细内容请下载:

https://www.chinaaet.com/resource/share/2000007360


作者信息:

李沛珊,杨健,刘玮

(中国运载火箭技术研究院,北京 100076)

2.jpg

此内容为AET网站原创,未经授权禁止转载。