基于TQWT-MSPCA-GNN多模态特征的混合神经网络EEG情绪识别-AET-电子技术应用

基于TQWT-MSPCA-GNN多模态特征的混合神经网络EEG情绪识别

电子技术应用

于文锟，苏磊，吴丽萍，姜迪

昆明理工大学信息工程与自动化学院

摘要： 脑电图（EEG）信号能客观反映情绪状态，是情绪研究的重要工具。基于EEG信号的情绪识别算法的开发已经取得了显著进展。然而，脑电信号的非平稳、低信噪比特性以及情绪表征的复杂时空依赖性，对模型的识别性能带来了困难。传统方法难以在时间和空间两个维度捕捉到远距离时间序列数据的相关性，从而影响情绪分类的效果。为了解决上述问题，提出了一种通过可调Q因子小波变换（TQWT）对原始EEG信号进行多尺度分解，并在各尺度上采用多尺度主成分分析（MSPCA）进行去噪和降维。将分解后的多频带信号构建为动态脑功能网络，并引入图神经网络（GNN）来挖掘脑区之间与情绪相关的连接特征。最后，将TQWT提取的时频特征与GNN提取的空间关系特征进行融合捕获时间和空间特征进行分类。在SEED数据集上的实验结果表明，特征重构后的数据在EEG情绪分类任务中是有效的，对3种情绪的识别准确率达到了98.15%±0.63%。

关键词： EEG 情感识别多尺度主成分分析可调Q因子小波变换图神经网络

中图分类号：TP183 文献标志码：A DOI: 10.16157/j.issn.0258-7998.257445
中文引用格式： 于文锟，苏磊，吴丽萍，等. 基于TQWT-MSPCA-GNN多模态特征的混合神经网络EEG情绪识别[J]. 电子技术应用，2026，52(6)：49-57.
英文引用格式： Yu Wenkun，Su Lei，Wu Liping，et al. Hybrid neural network EEG emotion recognition based on TQWT-MSPCA-GNN multimodal features[J]. Application of Electronic Technique，2026，52(6)：49-57.

Hybrid neural network EEG emotion recognition based on TQWT-MSPCA-GNN multimodal features

Yu Wenkun，Su Lei，Wu Liping，Jiang Di

School of Information Engineering and Automation， Kunming University of Science and Technology

Abstract： Electroencephalogram (EEG) signals objectively reflect genuine emotional states, making them a vital tool in emotion research. Significant progress has been made in developing emotion recognition algorithms based on EEG signals. However, the non-stationary nature and low signal-to-noise ratio of EEG signals, coupled with the complex spatiotemporal dependencies of emotional representations, pose challenges to model recognition performance. Traditional methods struggle to capture correlations in distant time series data across both temporal and spatial dimensions, thereby compromising emotion classification accuracy. To address these challenges, this study proposes a method that performs multiscale decomposition of raw EEG signals using a tunable Q-factor wavelet transform (TQWT). Multiscale principal component analysis (MSPCA) is then applied at each scale for denoising and dimensionality reduction. The decomposed multiband signals are constructed into a dynamic brain functional network, and a graph neural network (GNN) is introduced to uncover emotion-related connectivity features between brain regions. Finally, the time-frequency features extracted via TQWT are fused with the spatial relational features extracted by GNN to capture temporal and spatial characteristics for classification. Experimental results on the SEED dataset demonstrate that the feature-reconstructed data are effective for EEG emotion classification tasks, achieving an accuracy of 98.15% ± 0.63% for recognizing three emotions.

Key words : EEG；emotion recognition；multiscale principal component analysis；tunable Q-factor wavelet transform；graph neural networks

引言

情绪是感知外部和内部刺激而产生的一种心理和生理反馈形式，它在人类的决策和互动中起着重要作用。随着人机交互技术的发展，情感计算在人机交互中显示出巨大潜力[1]。

情绪识别可以分为两类[2]:一类是基于非生理信号的，另一类是基于生理信号的情绪识别。生理信号包括眼电图(EOG)和脑电图等。这类信号的产生是自发的，不易伪装。其中，基于脑电的情绪识别得到了学术界的广泛关注，取得了显著进展[3]。

基于脑电图的情感识别[4]需经历5个过程：情绪诱发、脑电信号采集、信号预处理、特征提取与情绪识别。其中，信号预处理、特征提取是重要的阶段。脑机接口采集到的大脑活动信号通常具有非平稳和信噪比低等特点，需要有效的数据处理方法来提取情感特征。特征提取包括人工特征提取和自动特征提取[5]。常用的人工特征提取技术包括时域分析、频域分析和时频域分析[6]。基于深度学习的情绪识别[7]方法能够自动提取脑电信号特征，然后通过分类器进行识别[8]，具有较高的准确率，在基于脑电图的情感识别领域得到了广泛的应用[9]。近期发展的图神经网络（Graph Neural Network, GNN）突破传统方法的时空局限，通过对电极拓扑关系的建模，有效表征大脑功能连接网络的动态特性[10]。

然而，基于脑电图（EEG）的情绪识别仍面临显著挑战。传统方法性能提升有限[11]。尽管深度学习模型通过捕捉EEG信号中的远距离时序依赖和通道间相关性，提高了识别准确率，但脑电信号固有的非平稳性与非线性特性，依然制约着模型的分类精度与泛化能力。尤其在GNN的应用中，两大关键限制凸显出来：其一，特征提取常受限于固定的时空分析尺度，难以灵活适配从局部脑区高频波动到全脑跨区域低频协同的多尺度神经活动[12]；其二，图结构的构建多依赖于静态连接模板，未能有效建模情感诱发过程中功能连接强度的动态重组特性，而该特性已被证实与情绪效价强度显著相关[13]。如何突破这些限制，提升情绪识别的准确性与泛化能力，是当前待深入研究的关键问题。

针对现有EEG情绪识别模型在多尺度自适应特征提取与动态空间关系捕捉方面的不足，本文根据人脑处理情绪的多尺度协同机制，提出了名为TMGNet（Tunable Q-factor Wavelet Transform- Multiscale Principal Component Analysis Graph Neural Networks）的创新框架。该框架的核心创新在于将可调Q因子小波变换（TQWT）与GNN进行协同集成。模型首先引入一个基于TQWT的多尺度主成分分析（MSPCA）模块。TQWT凭借其的Q因子可调特性，能够提供明确的时频表示。在此基础上，MSPCA针对各TQWT子带实施频段自适应的去噪与降维。这一过程显著提升了模型在复杂噪声环境下情感特征的鲁棒性与准确性。

针对MSPCA处理后的多频段特征所面临的问题，如何有效表征脑网络的相关性，本文提出了空间注意力增强的图网络作为解决方法。通过空间注意力增强的图网络计算电极间功能连接强度，能够捕捉情感诱发时前额叶与边缘系统的连接增强现象，实现了多尺度时频特征与图神经网络构建的整合。

为解决TQWT-MSPCA处理后的多频段特征如何有效表征大脑功能网络动态连接的关键问题，本文进一步提出了空间注意力增强的图神经网络。该网络以电极作为节点，利用空间注意力机制动态学习不同情感状态下节点间功能连接强度，直接捕捉情感诱发时的连接增强现象。最终实现了从TQWT多尺度时频特征分解到GNN动态空间关系的融合。

本文的贡献包括：（1）基于多尺度自适应特征提取。采用TQWT对原始EEG进行分解，其Q因子可调的特性能够自适应地匹配不同频带信号的行为，获得更精细的时频表示。引入MSPCA进行降噪和特征提取，提升信号质量。（2）构建并学习动态脑功能网络。将TQWT分解后的多频带信号用于构建频带特异性的动态脑功能网络，将每个电极视为图节点，利用节点间的功能连接性作为边，将EEG数据转化为图结构数据。（3）融合时序与空间拓扑特征。结合基线模型提出的HCRNN[14]，利用GNN对构建的脑功能网络进行深度学习，实现GNN提取的空间拓扑特征与TQWT提取的时频特征有效融合。实验证明，TMGNet在跨被试场景下，在SEED数据集的分类任务中平均准确率达到98.15%。

本文详细内容请下载：

https://www.chinaaet.com/resource/share/2000007103

作者信息：

于文锟，苏磊，吴丽萍，姜迪

（昆明理工大学信息工程与自动化学院，云南昆明650500）

原创声明：此内容为AET网站原创，未经授权禁止转载。

相关内容