由于脑电数据的采集难度十分困难，而用于分类的神经网络对训练数据有着极高需求，如何生成足够的训练数据对于提高脑电情绪识别模型具有重要的意义。

本文的主要贡献在于：

1. 首次采用深度生成方法来增强EEG训练数据以进行情绪识别
2. 作者提出了三种基于不同生成方法的EEG数据生成方法和两种不同的使用生成数据的策略
3. 作者在两个数据集上对不同的特征、不同的生成方法和不同的分类器进行了系统的比较。实验结果表明，作者提出的方法可以使情感模型在基于EEG的情感识别上有更好的表现。

整体框架

图1

如图1是实验的整体框架。首先，从基于EEG的情绪识别数据集（SEED和DEAP）中提取微分熵（differential entropy，DE）和功率图谱密度（power spectral density，PSD）两种特征。然后使用作者提出的方法来生成类似真实的数据并增强原始训练数据集。最后评估深度神经网络（deep neural network，DNN）和支持向量机（support vector machine，SVM）的表现。

方法

本文作者提出的方法基于两个深度生成模型，分别是变量自动编码（variational autoencoder VAE）和带有梯度惩罚的Wasserstein生成对抗网络（Wasserstein generative adversarial network，WGAN）。

作者使用两种数据增强策略，一种是将所有生成的数据用于增强训练数据集（如图2a，如图2b），另外一种是将高质量的生成数据用于增强训练数据集。

图2

对于完整使用策略，作者提出了条件Wasserstein生成对抗网络（conditional Wasserstein GAN，cWGAN）来控制生成数据的类型。然后，不考虑数据的质量直接加入原始训练数据集。

对于部分使用策略，作者提出两种方法分别是选择性变量自动编码（selective VAE，sVAE）和选择性Wasserstein生成对抗网络（selective WGAN，sWGAN）来生成数据。在这两种生成方法中，生成的数据是没有标签的，通过使用SVM来作为分类器，选取具有高分类置信度的生成数据加入到原始数据集中。和图像不同，生成的EEG特征是高维数据，难以人工判断数据的质量，因此，采用SVM或者DNN来作为分类器找出高质量的生成数据。

为了比较效果，作者还基于EEG的情绪识别引入了三种传统的数据增强方法：条件VAE（conditional VAE，cVAE）、高斯噪声法（Gussain noise method，Gau）和旋转数据增强法（rotational data augmentation，RDA）。

实验设置

上述流程是生成数据的过程。首先将真实数据集的数据输入，然后生成相关数据。生成的数据和真实数据混合，将他们用于判断是否为生成数据的分类模型进行训练，然后用训练完的分类模型进行判断，从中选取出类似真实的生成数据，当生成数据的数量达到要求后结束。

每个实验训练5个识别模型并且计算他们的平均准确率作为这个实验的识别准确率。每个模型有着相同的超参数，所有实验的平均精度视为最终精度。

实验和结果

作者在SEED数据集上进行了实验，使用SVM作为分类器。每个实验有3394个样本，根据这些样本分别生成了0、200、500、1000、3000、5000、10000、15000和20000个DE和PSD特征的人工样本，并将他们和原始样本合并作为一个新的数据集。

表1

由表1可知，随着生成数据的数量的增加，相比于不使用生成数据的情况下，不同数量的生成数据使得识别准确率都有一定的提升。sWGAN和SVM搭配的提升最大。表格中最右边的向上箭头表示最大准确率提高率。

表2

表2则是DE特征的数据增强方法的结果。和PSD结果一样，无论是对于SVM还是DNN，生成数据都有助于提高分类准确率。sWGAN和DNN搭配的提升最大。同时可以看到，DE特征的准确率远高于PSD特征。

对于DEAP数据集，也使用了不同的数据增强方法来增强PSD和DE特征。每个实验有2,400个样本，并且生成了与上述相同数量的人工样本。

表3

表3是PSD特征的实验结果。由表可知在DEAP数据集提取的PSD特征中，生成数据同样可以帮助提高识别准确率。其中sWGAN和SVM搭配的准确率提升最大。

表4

表4则是DE特征的数据增强方法的结果。和PSD结果一样，无论是对于SVM还是DNN，生成数据都有助于提高分类准确率。sWGAN和SVM搭配的提升最大。

从以上结果可以看出，在两个数据集上，DE特征的平均准确率都比PSD特征要好，而且标准差也比较小。此外，和传统方法比较，本文作者提出的方法更有效。此外，所有的数据增强方法（包括提出的方法和传统方法）都达到了它们的峰值，然后当逐渐增加附加的样本数量时，它们的性能就会下降。然而，对于提出的方法来说，大多数实验与他们的基线相比，在附加少于20,000个生成的样本时仍然显示出更好的性能。尽管不同数据集、特征、分类器和方法的实验达到了不同的峰值，但结果显示，峰值出现在训练数据集扩大10倍之前。

图3

如图3是不同方法在不同分类器和数据集上的平均精度（Acc）和标准偏差（Std）。(a)SVM在SEED数据集和使用不同方法生成的DE特征的附加数据集上的Acc和Std；(b)DNN在SEED数据集和使用不同方法生成的DE特征的附加数据集上的Acc和Std；(c)SVM在DEAP数据集和使用不同方法生成的DE特征的附加数据集上的Acc和Std；（d）DNN在DEAP数据集和使用不同方法生成的DE特征附加数据集上的Acc和Std。

图4

作者用两种方法对生成的数据进行可视化，即头皮的二维圆形视图和使用t-SNE的二维可视化，以显示为什么提出的方法能发挥作用。作者选择cWGAN作为生成的方法和SEED数据集（DE特征）来代表我们的结果，因为sVAE和sWGAN有类似的视觉性能。描述了头皮的二维圆形视图。生成的数据具有与真实数据相似的数据分布。对于积极情绪，与其他两种情绪相比，真实数据和生成数据的外侧区域在β和γ波段都被更多激活。对于中性情绪，真实和生成的数据都有高的α反应。对于消极情绪，在真实和生成的数据中出现了前额叶部位的高伽马反应。这些现象表明，提出的方法可以捕捉到真实数据分布的信息。因此，生成的样本可以附加到训练集上，以提高情感模型的性能。如图是SEED数据集中真实和生成的DE特征（cWGAN）的头皮地形图。

图5

如图5，SEED数据集中一个主体的真实和生成的DE特征（cWGAN）的二维可视化。红色、绿色和蓝色的数据点分别代表消极、中性和积极三种情绪。线代表真实数据，细点代表生成的数据。请注意，黄色的圆圈表示质量不好的样本。

在本文中，作者提出了三种深度生成方法，通过生成训练数据来增强基于 EEG 的情绪识别。使用提出的方法：cWAGN、sVAE 和 sWGAN，生成了 EEG 数据的逼真的 PSD 和 DE 特征。使用生成的数据增强了原始训练数据集，以提高基于 EEG 的情绪识别模型的准确性。两个情绪数据集的实验结果证明了方法的有效性。在增强训练数据集上训练的情感识别模型在 SEED 数据集和 DEAP 数据集上分别实现了 10.2% 和 5.4% 的改进。通过可视化生成的数据，作者观察到，当附加太多生成的数据时，分类精度会下降。实验结果表明，生成数据的数量应该小于原始训练数据集的10倍，然后情感模型才能达到最佳性能。此外，还对所提出的方法进行了系统比较，sWGAN 在准确性方面的表现最好，但它比 cWGAN 花费更多的时间。

论文连接：https://arxiv.org/pdf/2006.05331

撰稿人：陈希昶

审稿人：李景聪