作为人类日常生活的基础，情绪在制定决策、人际沟通交流中都起着非常关键的作用，甚至会关系到人的精神健康状况。因此，通过对情绪进行分类研究， 不仅能够增强人机情感交互，也能够为精神疾病的治疗与诊断提供量化评价辅助方法。

一、研究背景

        脑电信号虽然可以真实地反映情感状态的变化，但由于它存在很强的个体间差异性，相同的情绪产生于不同的被试，脑电信号呈现的特征可能不尽相同。而传统的机器学习方法的前提是用于学习 和测试的样本是服从独立同分布的，在跨被试脑电信号识别中，该方法的效果并不理想。针对这样的问题，域自适应（domain adaptation）算法通过降低域间的差异，同时保持针对任务的区分能力，能够在一定程度上解决脑电信号的“域”的不统一问 题。域对抗神经网络（domain adversarial neural network，DANN）就是一个典型的域自适应算法， 通过域分类器与任务分类器之间的对抗，提高模型对不同域的数据的分类能力。然而 DANN 只能完成单源域迁移学习，针对有多个源域的场景（如脑电数据通常来自多名不同的被试），DANN 无法在多个域间进行对抗学习。如果被试间的相关性较低，单源域迁移学习可能会造成负迁移现象。而多源域迁移学习可以弥补这些缺点，从而达到较好的迁移效果。

二、提出方法

        本文提出将多源域自适应神经网络应用于跨被试的情感脑电识别， 将不同被试的数据分别标记为不同的域进行对抗学习，建立跨被试情感脑电识别模型。

图 1 CoDATS 的训练及测试流程

        图 1 展示了 CoDATS 的训练及测试流程。 CoDATS 模型包括 3 个神经网络部分：特征提取器 F、 任务分类器 C 和域分类器 D。在训练过程中，任务分类器和域分类器会进行对抗，而特征提取器正是基于这两个分类器的对抗进行更新的。其中，特征提取器和任务分类器会不断地更新来提高对带标签的源域样本的分类正确率；域分类器也会在反向传播过程中进行更新，对来自不同域的样本进行分类。

图 2 CoDATS 模型结构

        CoDATS 的模型结构如图 2 所示。在特征提取 器部分，使用了全卷积网络（fully convolutional network，FCN），该网络在前人关于时间序列迁移学习的研究中已有应用，被证明性能优异。与任务分类器不同的是，在特征提取的 FCN 和域 分类的 MLP 之间，有一个梯度反转层，在训练的 反向传播过程中，其起到反转域分类器向前传播的权重的作用。

三、实验及结果

        本文使用公开数据集 SEED（SJTU Emotion EEG dataset）进行研究。SEED 包括 15 名被试 （7 名男性，8 名女性），使用基于国际 10～20 系统的62 通道ESI-NeuroScan系统记录每位被试在实验过程中的脑电数据，采样频率为 1 000 Hz。实验选 取6个能够诱发不同情绪的视频片段（消极情感2个， 中性情感 1 个，积极情感 3 个），每个片段 4 min 左右。在实验过程中，被试会在视频播放前 5 s 看到 播放开始的提示，每个视频播放结束后，有 45 s 的时间进行自我评估，然后有 15 s 的休息时间。针对每名被试，实验分 3 次进行，每次间隔一周，数据集共包括 45 组数据。本文使用第一次采集的 15 组 数据进行实验。

        为了实现跨被试迁移学习，本实验将数据集的 15 名被试分别划分为 15 个独立的域。为了防止测 试集和训练集有过度相似的情况，从每位被试的 15 段 不同情绪诱发脑电中，分别划出 3 个不同情绪的脑 电数据片段作为测试集；将每位被试其余的 12 段 脑电数据随机打乱，按 8:2 的比例将数据划分为训 练集、验证集。每个被试都将被作为目标域分别训 练跨被试多源域自适应模型，为了降低结果的随机 性，每个被试作为目标域时，源域将随机选择并分 别进行 30 次跨被试训练，对应地，被选作源域的 几个被试的数据还将进行无对抗的特征提取和任 务分类训练，训练好的模型在目标域的测试集上进 行测试，测试结果与跨被试训练模型 CoDATS 在目 标域的测试集上的测试结果进行对比，从而评估多 源域迁移学习的效果。

        由图 3 可知，针对本实验的数据，当源域只有 1 个，也就是单源域自适应时，在目标域上取得的 效果最差；随着源域数量的增加，模型在目标域上 的平均正确率有逐渐上升的趋势；但随着源域数量 的上升，域分类器的任务变得复杂，在相同训练参 数下，多源域自适应方法在目标域上的效果不如只 在源域上进行训练、在目标域上进行测试得到的 效果好。

图 3 不同源域数量下各目标域平均正确率

        图4 展示了取 4 个源域时各被试作为目标域情况下的目标域平均正确率，对应的只用 4 个源域做训练集训练的模型（不 迁移）在目标域测试集上的平均正确率，以及随机 单源域做训练集（DANN）在目标域测试集上的平均正确率。

图 4 当源域数量为 4 时，多源域迁移及对应的 不迁移单源域在各目标域上的平均正确率

        由以上实验结果可知，通过域自适应迁移学习 可以在一定程度上解决由被试间差异带来的样本 间差异过大问题。而被试间的差异不只是两个域之 间的差异，因此单源域迁移学习并不能很好地解决这一问题，通过多源域迁移学习，选择合适的源域数量，可以更好地使模型提取到域不变特征，从而实现跨被试的情感脑电检测。

四、学习总结

        本文将针对时间序列数据的多源域自适应方法 CoDATS 引入跨被试情感脑电分类问题，并与无域自适应模型和单源域自适应方法进行了对比。结果表明，与单源域自适应相比，将多个被试作为多源域进行域间对抗的方法可以达到较好的提取域不变特征的目的，在目标域上能够获得相对较好的性能。

论文链接：

https://kns.cnki.net/kcms/detail/detail.aspx?dbcode=CJFD&dbname=CJFDLAST2021&filename=ZNJS202101007&uniplatform=NZKPT&v=78raKGr6zrC4IVEcsxHkSuujVX4oSWSVG0jwZBg2orTaO9kgseXU0KtjfwTU1kBw

撰稿人：伍骞

审稿人：邱丽娜