0 引言

    人们对计算机的依赖性越来越强，智能人机交互已经引起人们广泛的关注，情感识别能力成为度量人机交互智能化程度的重要依据^[1]。相比于语音、动作和表情信号，生理信号难以隐藏，能更加真实地反应人的情感状态。研究表明，使用多模态的生理信号比使用单一模态的生理信号更能准确地识别出人的情感类型^[2]，因而基于多模态生理信号的情感识别受到越来越多研究人员的关注。

    许多学者的研究表明，生理信号中包含很多有价值的情感信息。目前基于生理信号的情感识别主要是提取信号的时域、频域特征，然后进行目标情感状态的分类。文献[3]使用支持向量机来对情感进行分类。文献[4]使用改进的支持向量机进行情感分类。但传统支持向量机计算复杂度较高，当需要处理的数据规模逐渐变大时，其分类精度下降较快，训练需要的时间也变得更长，参数选择也对其分类效果有较大影响。本文提出改进萤火虫算法优化的最小二乘双支持向量机并将其用于多模态情感识别中，实验结果表明，提出的算法识别精确性和训练开销均有一定的提高。

1 最小二乘双支持向量机模型

    双胞胎支持向量机(Twin Support Vector Machine，TSVM)是一种用于二分类问题的分类器。TSVM从传统的支持向量机优化而来，具有传统支持向量机的一些优点，同时对大规模数据有较好的处理能力。TSVM分类器的关键是为两种不同类别的数据分别确定一个分类平面，实际分类过程中，样本数据距离哪个分类平面更近就被判别为对应类别的数据。

    最小二乘双支持向量机(Least squares Twin Support Vector Machine，LSTSVM)是基于双胞胎支持向量机(TSVM)提出的，将TSVM的两个小规模的二次规划问题转化为求解一组相对简单线性方程组的问题，其运算过程被极大地简化了，因此 LSTSVM分类器比传统向量机的运算速度更快。非线性的最小二乘双支持向量机通过核函数的映射作用，可以将线性分类的情况扩展到非线性分类的情况，从而非线性样本的分类问题得以有效解决。

2 改进型萤火虫算法

2.1 标准萤火虫算法

    标准的萤火虫算法(Firefly Algorithm，FA)是由YANG X S提出的一种新型的群体智能优化算法^[5]，在许多领域都得到了应用。

    算法将每个萤火虫的位置近似为待求问题的一个解，将萤火虫间相互吸引和位置更新的过程近似为对最优解进行搜索和迭代。该算法涉及两个关键点，即荧光亮度和吸引度。吸引度与亮度相关，亮度较高的萤火虫将吸引一定范围中亮度低的萤火虫。算法迭代多次后，最亮的萤火虫的位置就是问题的最优解。

    算法实现过程中，从数学角度定义以下几个概念：

    定义1：萤火虫的荧光亮度为：

其中，x_i(t+1)为萤火虫x_i第t+1次移动后的位置；α为步长因子，一般为[0，1]中的常数；rand为[0，1]上服从均匀分布的随机因子。

2.2 改进的萤火虫算法

2.2.1 基于Logistic映射的种群初始化

    FA使用随机化的方法产生初始化种群，这种方式产生的种群其多样性较低，而种群多样性对算法的性能有重要的影响，低种群多样性会带来收敛速度变慢、优化精度降低等问题。

    为了提高初始种群的多样性，将混沌动力学引入萤火虫算法。混沌运动表面来看是无序的、随机的，具有不确定性，但实际上混沌运动与一般意义上的随机运动不同，混沌运动实质上具有遍历性、规律性等特点，在一定范围内有其特定的规律。

    当精确度趋近于无限大时，混沌序列可以被看作为一种理想的随机序列，本文采用Logistic映射所生成混沌序列实现来初始化种群。相比于随机化产生初始种群的方式，Logistic映射不仅能够产生多样性的初始种群,也能在一定程度上避免早熟收敛。Logistic映射表达式为：

2.2.2 新的吸引度计算方式

    萤火虫之间的吸引力的大小应该与两个萤火虫的距离和萤火虫各自的荧光亮度有关，当距离一定时，荧光亮度越大，吸引力就越大；当荧光亮度一定时，距离越远，吸引度越小。而式(10)中萤火虫间吸引度的大小与距离和最大吸引力有关，并且通常最大吸引力取值为常数，这与实际情况是不相符的，所以将两个萤火虫间的吸引力公式更新为：

2.2.3 基于随机惯性权重的位置调节

    惯性权重表明了萤火虫以前的位置对当前位置的影响，合理调节惯性权重就能较好地平衡算法的全局探索能力和局部搜索能力。在算法迭代初期，较高的惯性权重可以使萤火虫以较快的速度趋近最优解，算法全局的探索能力较强。算法迭代后期，萤火虫已移动至最优解附近，此时较低的惯性权重可以避免萤火虫因移动的距离过大而越过最优解导致在最优解附近出现震荡的问题。

    文献[6]给出了线性递减的惯性权重，算法的收敛速度比标准FA快，但算法也存在过早收敛的问题。为克服线性递减的惯性权重的不足，给出随机惯性权重的权重计算方法：

    在每次迭代中，为了避免部分萤火虫偶然不规则的移动而造成权重的大幅度改变，实际权重取N只萤火虫惯性权重的平均值。

2.2.4 基于莱维飞行的随机移动

    莱维分布是法国数学家莱维(Lévy)提出的一种概率分布，自然界中动物的许多行为都符合莱维分布的情形。Lévy飞行是一种短距离和长距离行走相间的行走方式^[7]，行走步长服从莱维分布。

    Lévy飞行能扩大搜索的范围、增加种群多样性并使算法更容易跳出局部最优点。在萤火虫算法的随机移动项中引入Lévy飞行能极大地增强算法的搜索性能，当萤火虫位于最优解附近时，Lévy飞行使算法可以较快地搜索到最优解。

    Lévy飞行的随机步长符合莱维分布，参数为λ的莱维分布为：

3 改进型萤火虫算法优化的最小二乘双支持向量机

    本文的核函数采用径向基核函数，径向基核函数的参数取值范围较大，不同的取值对分类器的分类性能也会产生不同影响。使用径向基核函数的LSTSVM，需要确定的参数有LSTSVM的惩罚系数c₁、c₂和核函数的参数σ。

    惩罚系数c₁、c₂可看作是对偏离正确类别的样本数据的惩罚程度，选取合适的惩罚系数c₁、c₂可以较好地平衡分类模型的训练误差以及模型的复杂性两者的差别，从而使分类模型具备较强的推广能力。

    核函数参数σ的选取对模型的性能也有着重要影响。如果选取的参数σ过小，模型的泛化能力难以保证；如果选取的参数σ过大，模型的分类精度又难以提高。因此在进行参数的选择时，需要对多个参数间的相互影响进行综合考虑。本文提出MFA-LSTSVM算法，基于改进型萤火虫算法优选最小二乘双支持向量机的各项参数，使算法达到泛化能力增强的同时具备较高的识别精度，算法步骤如下：

    (1)系统初始化，由式(10)生成萤火虫初始种群的规模、位置信息，并设置光强吸收系数、最大吸引度和步长因子等参数；

    (2)将惩罚系数c₁、c₂和核函数的参数σ赋值给LSSTSVM，计算适应度函数，适应度函数为f=RMSE_traindata；

    (3)根据式(6)计算群体中每个萤火虫的荧光亮度；

    (4)对各个萤火虫的亮度排序，得到亮度最高的萤火虫所对应的位置；

    (5)根据式(11)、式(14)、式(16)分别计算萤火虫吸引力、权重和步长值；

    (6)根据式(20)更新萤火虫的位置；

    (7)判断是否达到结束条件，结束条件为适应度函数的值需要达到指定的搜索精度，若不满足结束条件返回步骤(2)，若满足条件则执行下一步；

    (8)获得最优参数，并赋值给LSTSVM；

    (9)由训练数据得到最优LSTSVM分类模型，并使用最优LSTSVM分类模型对测试数据进行测试。

    算法流程图如图1所示。

4 MFA-LSTSVM在情感识别中的应用

    本文使用KOELSTRA S和SOLEYMANI M等人公布的“DEAP”生理情感数据库^[8]中的数据来测试情感识别算法的效果。研究人员招募了32名志愿者(19～37周岁，平均年龄26.9，男、女各50%)，志愿者在刺激材料的刺激下分别产生不同的情感，同时他们的多种生理信号被记录，信号共48导联。每名志愿者在观看相应材料后分别在效价、唤醒度、优势度、喜欢度和熟悉度5个维度上的进行评分，自评分是范围为1～9的整数。这些记录形成了生理情感数据库“DEAP”。本文将基于“DEAP”数据库中的生理数据进行情感状态的识别，使用的生理信号为脑电、皮肤电、肌电、呼吸4种模态的信号。

    著名心理学家Ekman提出了离散的情感模型，将人的基本情感分为6种，即愤怒、厌恶、恐惧、高兴、悲伤和惊讶。继而其他学者提出了连续情感模型，其中最常用的是RUSSELL J A提出的效价-唤醒度(valence-arousal)情感模型^[9]，该模型使用唤醒度(情感是主动的还是被动的)和效价(情感是正面的还是负面的)两个维度来衡量情感状态，有很强的描述情感的能力。本文使用效价-唤醒度情感模型对情感状态进行分析，在效价和唤醒度两个维度上分别将情感分为两个类别。本文中自评分与情感类别的关系如表1所示。

    本文中各个模态生理信号的最佳特征子集如表2所示。

    为衡量分类器的分类效果，本文采用精确率、召回率、F1-measure 3个指标来分析，数值越大表示分类器效果越好，它们的计算方式如式(21)～式(23)所示。同时与文献[10]提出的LSTSVM和文献[11]提出的算法(Particle Swarm Optimization Algorithm Least squares Twin Support Vector Machine，PSO-LSTSVM)做了对比，各分类器分类结果如表3所示。

其中，TP表示正确类别被判为正确类别的数目，FP表示错误类别被判为错误类别的数目，FN表示正确的类别被判为错误类别的数目。

    分类结果表明，在精确率、召回率和F1-measure值方面，MFA-LSTSVM的效果要好于LSTSVM和PSO-LSTSVM，提出的MFA-LSTSVM的分类效果更佳。

    为了更加明确地衡量不同分类器的性能，做出了不同情感状态不同算法的ROC平面，如图2，ROC平面由正确识别率(True Positive Rate，TPR)和错误识别率(False Positive Rate，FPR)构成。对角线TPR=FPR将二维平面分成了两部分，在TPR>FPR区域内，距离对角线较远表示识别效果较好；在TPR<FPR区域内，距离对角线较远表示识别效果较差。

    可以看出对不同的情感状态，MFA-LSTSVM的分类效果均比其他两种算法更优。对于各种情感状态，PSO-LSTSVM的效果比默认参数的LSTSVM好，对于低唤醒度低效价情感和高唤醒度低效价情感，MFA-LSTSVM的效果明显好于其他两者。

    为进一步分析分类器的性能，记录了分别用训练数据和测试数据对3种分类器进行训练和测试所需要的时间，如表4所示。

    实验结果表明，无论在训练还是测试所需要的时间，MFA-LSTSVM的消耗均少于LSTSVM 和PSO-LSTSVM，这说明提出的MFA-LSTSVM算法能够降低训练和测试的难度、提高效率。

5 结束语

    本文基于新颖的群体智能算法和分类性能突出的最小二乘双支持向量机，提出了一种改进型萤火虫算法优化的最小二乘双支持向量机情感识别算法，并使用公开的情感数据库“DEAP”对算法进行了测试。通过与现有的两种算法做了对比分析，从多个维度的实验结果表明，本文提出的算法具有较好的识别效果，是一种性能较高的情感识别算法。

参考文献

[1] ALZOUBI O，SIDNEY K D，CALVO R A.Detecting naturalistic expressions of nonbasic affect using physiological signals[J].Affective Computing IEEE Transactions on，2012，3(3)：298-310.

[2] PICARD R W，VYZAS E，HEALEY J.Toward machine emotional intelligence：Analysis of affective physiological state(HTML)[J].IEEE Transactions on Pattern Analysis & Machine Intelligence，2001，23(10)：1175-1191.

[3] PAN Y，SHEN P，SHEN L.Speech emotion recognition using support vector machine[J].International Journal of Smart Home，2012，1(20)：6-9.

[4] YU B，LI H F，FANG C Y.Speech emotion recognition based on optimized support vector machine[J].Journal of Software，2012，7(12)：2726-2733.

[5] YANG X S.Firefly algorithm，Lévy flights and global optimization[C].Research and Development in Intelligent Systems XXVI，2010，20：209-218.

[6] TIAN Y，GAO W，YAN S.An improved inertia weight firefly optimization algorithm and application[C].International Conference on Control Engineering and Communication Technology.IEEE Computer Society，2012：64-68.

[7] 杨娇，叶春明.应用新型萤火虫算法求解Job-shop调度问题[J].计算机工程与应用，2013，49(11)：213-215.

[8] KOELSTRA S，MUHL C，SOLEYMANI M，et al.DEAP：A database for emotion analysis；using physiological signals[J].IEEE Transactions on Affective Computing，2012，3(1)：18-31.

[9] RUSSELL J A.A circumplex model of affect[J].Journal of Personality and Social Psychology，1980，39(6)：1161-1178.

[10] XU Y，CHEN M，LI G.Least squares twin support vector machine with Universum data for classification[J].International Journal of Systems Science，2015：1-9.

[11] LIU S，TIAN Y，PENG C，et al.Facial expression recognition approach based on least squares support vector machine with improved particle swarm optimization algorithm[C].IEEE International Conference on Robotics and Biomimetics.IEEE，2010：399-404.

作者信息:

金  纯1，2，陈光勇1

（1.重庆邮电大学  无线移动通信理论与技术重点实验室，重庆400065；2.重庆金瓯科技发展有限责任公司，重庆400041）