近日,脑机团队成员钟良泉等人在邱丽娜老师和潘家辉老师的指导下,在神经工程权威期刊Neural Networks ( JCR Q1, 中科院一区TOP, IF: 6.0 )发表研究成果“SFT-SGAT: A Semi-Supervised Fine-Tuning Self-Supervised Graph Attention Network for Emotion Recognition and Consciousness Detection”。该论文于2023年10月31日提交,于2024年8月14日正式被接收。
研究背景
意识障碍(DOCs)患者的临床状态多样,准确评估其意识水平对于制定个性化治疗方案至关重要。情绪识别作为评估DOC患者认知功能的关键手段,面临着情绪标签获取困难和个体差异大的挑战。钟良泉团队针对这一问题,提出了一种新的半监督学习方法,以提高模型在情绪识别任务中的性能。
方法和结果分析
图1:半监督微调自监督图注意网络(SFT-SGAT)的框架
该研究提出了一种新的基于脑电图信号的情绪识别模型SFT-SGAT,该模型同时使用改进的自监督图注意网络和半监督训练方法进行情绪识别。如图1所示,该模型由卷积池化层、图组织模块、自监督图注意网络和全连接层组成。首先,从原始的脑电图信号中提取常用于脑电图分析的差分熵(DE)特征,并被证明有利于情绪识别。然后,将这些DE特征输入到卷积池化层中,从数据中深度提取空间信息。然后,由图组织模块动态地构造图网络。最后,基于上一模块中建立的图组织生成自监督图注意网络的结构,并将其特征输入到自监督图注意网络中。利用该结构对提取出的脑电图空间特征进行分类,并通过全连接层输出最终的预测结果,完成情绪识别任务。
与情绪相关的脑电图数据,特别是有标记的数据,往往难以收集。因此,在模型训练中,该研究采用了半监督的训练策略。该训练方法不仅最大限度地利用有限的标记数据,提高脑电图情绪识别的性能,而且有助于避免过早过拟合,促进更有效的特征学习,提高模型在跨学科实验中的泛化能力。该研究的模型训练包括两个阶段。如图1中的(a)所示,第一阶段类似于一种有监督的训练方法,该研究使用所有可用的数据标签来快速优化模型的参数。如图1中的(b)所示,第二阶段采用半监督的方法对第一阶段训练的网络模型进行微调。在这一阶段,根据训练模型的验证结果,某些具有高正确概率的样本被视为未标记样本。使用第一阶段的模型对第一阶段的整个训练样本集进行评估,并获得置信度分数。如果一个样本的置信水平超过了预定义的阈值,则将其归类为未标记数据,并将对该样本的模型预测用作伪标签。
该研究采用LOSO交叉验证策略对实验结果进行评估。在每个实验中,该研究从数据集中随机选择一个受试者的数据作为验证样本集,同时使用其余受试者的数据作为训练样本集。这种方法使该研究能够通过将验证集中的被试与训练集中的被试隔离,来评估模型的跨主题情绪识别表现。在进行实验之前,该研究对数据集中的所有数据进行了归一化处理。在每个单独的实验完成后,该研究计算数据集中每个受试者的跨学科实验准确性。最后,该研究将所有的结果进行汇总,以数据集中所有受试者的情绪识别的平均准确性作为模型表现的代表性衡量标准。
表1给出了在SEED和SEED-IV数据集上的最新方法和所提出的方法的跨学科识别精度。对于SEED和SEED-IV数据集,每个数据包含15个受试者,该研究进行了15轮LOSO实验。因此,表二中的结果为15个LOSO实验的平均精度,其中SEED为三类分类精度,SEED-IV为四类分类精度。实验表明,SFT-SGAT在SEED和SEED-IV数据集上实现了最先进的跨主体情绪识别性能,准确率分别为92.04%和82.76%。
表1 :在SEED和SEED-IV数据集上的跨学科识别精度(单位: %)
表2为使用自采集数据集中DOC患者的实验结果。在这个实验中,由于DOC患者存在认知创伤性损伤,确定情绪标签具有挑战性。因此,该研究采用了一种迁移学习方法,利用来自健康个体的数据,这些个体与训练队列进行了相同的实验,而来自DOC患者的数据作为测试队列。利用诱导情绪识别的视频对应的情绪标签来量化情绪识别的准确性。该研究发现,DOC患者的情绪识别准确性与他们的CRS-R评分密切相关,这代表了患者的意识水平。一般来说,CRS-R评分越高,意味着患者的意识水平越高。如图2所示,相关分析结果显示,DOC患者的情绪识别准确性确实与行为得分呈正相关,相关系数为0.84。换句话说,随着患者CRS-R评分的增加(表明意识水平的提高),情绪识别的准确性也相应的提高。
表2:以健康受试者数据为训练集的跨学科情绪识别准确性(单位: %)
图2:DOC患者CRS-R评分与情绪识别准确性的相关性分析
结论
该研究提出了一种基于自监督图注意网络的半监督跨主体情绪识别方法。该研究提出的SFT-SGAT模型在跨学科情绪识别中被证明是有效的,并可能有助于评估DOC患者的意识水平。