本篇学习报告的内容为2019年发表在《Frontiers in Neuroscience》的一篇基于并行多尺度滤波器组卷积神经网络用于运动想象脑电分类的二区文章《A Parallel Multiscale Filter Bank Convolutional Neural Networks for Motor Imagery EEG Classification》。其影响因子为4.6767。作者引入了一种分层的端到端网络结构——多尺度滤波器组卷积神经网络(multiscale filter bank convolutional neural network，MSFBCNN)。其中特征提取网络用于提取时间和空间特征，且为了增强迁移学习能力，作者还提出了一种网络初始化以及微调策略来训练单个模型在小数据集上进行受试者间内分类。为了验证算法的有效性，作者在脑机接口竞赛数据集IV-2a、2b和高伽马数据集（HGD）上进行了评估。实验表明，该文提出的端到端分层网络结构可以充分提取脑电信号的潜在特征，并在数据有限的情况下获得一个优秀的模型。并且在三种数据集验证中，该模型的平均分类准确率最高可以达到94.9%。原文链接见文末。

1.研究背景和内容

       脑机接口(brain - computer interfaces, BCI)通过大脑信号记录和解码技术建立了人脑与计算机之间的直接通路。早期BCI系统主要用于脑卒中康复或改善残疾患者的生活质量。BCI已被用于控制电动轮椅、文本拼写器和假肢等设备。基于脑电图(Electroencephalogram，EEG)的BCI在运动想象(motor imagery，MI)领域得到了快速发展。MI作为一种经典的范式，已经被研究和发展了几十年。其生理学基础是身体运动可在大脑运动感觉区产生mu (8 - 12hz)和beta (16 - 26hz)节律，并伴有事件相关同步和去同步(event-related (de-)synchronization，ERS/ERD)。一些基于MI的设备(如轮椅、假肢和机器人)的研究具有医疗应用，并提供了人体增强技术。在MI-EEG分类中，主要的特征提取算法是常见空间模式(common spatial pattern，CSP)及其变体。CSP的想法是找到一组空间过滤器，以最优地区分多种脑电图记录。CSP滤波器组件 (Filter-Bank CSP，FBCSP)算法得益于人工特征选择，选择最优的空间滤波器来提取特征。该方法具有简单、准确等优点。其他基于CSP的方法也在对脑电图信号进行分析后提取潜在有价值的成分。不幸的是，脑电图特征随时间而变化，在不同的个体中变化显著。所以对于MI的新应用，对鲁棒性和更通用的特征提取技术的需求逐渐增加。由于脑电信号具有较低的信噪比和时间相关的协变量，因此需要一种可靠的特征提取方法。而深度学习在各个领域的有效应用，将其应用于脑电信号处理中，取得了与传统方法相较的效果。然而，设计和训练端到端网络从脑电信号中充分提取潜在特征仍然是一个挑战。

2.研究方法

       该文主要提出了一个多层端到端网络，它由三部分组成:特征提取层、特征减化层和分类层。详细的网络结构如图1所示。

图1 MSFBCNN网络的框架

       脑电图数据的特征主要表现在时间和空间两个方面。所以在特征提取层，作者采用了两个二维卷积层来提取时间和空间特征。且采用了一种并行的多尺度滤波器组卷积神经网络，来充分提取时间特征和空间特征。

       在特征简化层，为了提高网络的非线性表达能力，作者使用平方和对数非线性函数来提取与频带功率有关的特征。且使用最大池化层进一步降低了时间维和第三维。

       分类器是预测上一步之后的结果。与其他基于CNN一样，分类是由一个全连接层组成的。

       此外，作者还在三个子网层中设置不同的学习速率，以避免由于数据不足而导致的过拟合。详细的网络架构参数设置如表1所示。

表1 网络的详细架构

       对于网络的初始化，卷积层权重值采用均值为零、单位方差为零的正态分布初始化。批处理规范化层权重使用1进行初始化。学习率为1e−3，衰减权值为1e−7。批量大小为64。

       在使用初始参数在公开数据集上训练网络得到预训练模型后，对于特定的受试者数据集，将个体训练数据与随机选择的公开数据集和验证集混合，以进行进一步的训练。为了避免过拟合，作者在标准实验中使用了分层学习率。特征提取层学习率为默认学习率的1/27，特征简化层学习率为默认学习率的1/9，分类层学习率为默认学习率的1/3。显然，预训练模型学习了通用分类器。然而，微调策略的使用可以进一步帮助网络匹配个体受试者的进一步信息。这种策略扩展了训练数据，提高了传输能力。随后，对分类器进行微调，以匹配依赖于特定受试者数据的特定模式。

3．实验

数据集：

       前两个数据集是BCI Competition IV数据集2a和2b。2a是一个25通道[22个脑电（EEG）通道和3个眼电通道(EOG)]， 4类MI任务(左/右手、脚和舌头)脑电数据集，记录了9个不同受试者的250 Hz采样率。每一类任务都有72个trail，没有提供反馈。数据集2b同时记录了9名不同受试者的6个通道(3个EEG和3个EOG)、2类MI任务(左/右手)。对于每个受试者，MI任务被分成五个session。与2a数据集不同，2b数据的前两个session没有反馈，其余的session有。最后一个数据集HGD。该数据集记录了14名受试者的44通道EEG信号，采样频率为500 Hz。除被试1和5外，其余12个被试者的trail组包含800多个trails，从而为进一步的实验提供了可比数据。

实验方式：

       实验分为单个被试分类结果以及跨被试的迁移学习分类结果。

（1）单个被试分类。是验证所提出的网络对单个被试的性能的一般基准。每个脑电数据集分为训练集、验证集和测试集。作者采用三个最先进的网络作为基线:DeepNet,EEGNet和ShallowFBCSPNet。所有方法都使用相同的通道。每个模型经过10次训练和测试后，收集每个网络的平均准确率。

（2）跨被试的迁移学习分类。为了验证所提出方法的迁移能力，作者还进行了被试间间迁移实验。 在这个实验中，来自其他受试者的EEG 记录用于提前训练模型。接下来，采用微调策略进一步训练个体模型。同样是在三个数据集上对 DeepNet、EEGNet 和 ShallowFBCSPNet验证所提出的微调策略的通用性。

实验结果：

       针对单个被试分类，结果如表2所示。从表2可以看出，作者提出的MSFBCNN网络与基线相比，在所有数据集上获得了最好的结果。可以看出提出的网络具有多尺度滤波器组和出色的非线性表达能力，能够充分提取时间特征。

表2 单个被试内的实验准确性

       跨被试的迁移学习分类结果如表3所示。在受试者间迁移学习中，作者提出的方法比基线具有更高的准确性。此外，与受试者内实验相比，微调后所有网络的性能都有所提高，证明了所提策略的有效性。

表3 跨被试迁移学习的准确性。

总结和思考

（1）与传统方法相比，深度学习在脑电分类中的应用提高了性能。然而，它在实际应用中仍存在一些限制。脑电的特征分布在同一任务中总是表现出跨被试/会话的差异，这可能会导致网络训练中的过度匹配。而迁移学习被证明有助于受试者/会话分类的表现。它可以用来初始化BCI的一个受试者知识迁移到另一个新的受试者上。同时，这种方法可以帮助分类器从所有受试者中学习全局特征，而不会陷入局部最优。所以作者提出的网络初始化和微调策略来训练网络，获得了可接受的结果。

（2）限制是用于分类器训练的小规模样本。对脑电数据质量和采集的严格要求使得实际中很难获得大数据集。基于深度卷积网络的脑电解码性能与训练数据量直接相关，数据增强是解决这个问题的一种很有前途的方法。传统的增强方法包含几何变换和模型生成，但这需要很长时间来准备和选择合适的生成数据，它占用了 BCI 系统中的大量计算资源。因此，从可用数据库中进行数据扩充可能提供一种可能的方法。正如该研究所提出的，微调策略可以进一步帮助网络匹配个体受试者的进一步信息。这种策略扩展了训练数据，提高了传输能力。我认为将来可以进一步研究跨被试可变性的细节，从而实现更有效的迁移学习。

参考文献：

[1] H. Wu et al., "A Parallel Multiscale Filter Bank Convolutional Neural Networks for Motor Imagery EEG Classification," (in English),Frontiers in Neuroscience,Original Research vol. 13, no. 1275, 2019-November-26 2019.

论文链接：

https://www.frontiersin.org/articles/10.3389/fnins.2019.01275/full

撰稿人：侯雪莹