该论文发表于IEEE Transactions on Affective Computing（CAAI A类期刊），题目为《Decoding Musical Neural Activity in Patients with Disorders of Consciousness through Self-Supervised Contrastive Domain Generalization》。

华南师范大学人工智能学院研究生蔡洪华为此文第一作者，华南师范大学潘家辉教授、南方医科大学珠江医院谢秋幼主任和华南理工大学李远清教授为通讯作者。

论文链接：https://ieeexplore.ieee.org/document/10681490

一、论文概要

基于脑电图（EEG）正确识别意识障碍（DOC）患者的脑反应，包括昏迷、植物状态（VS，也称为无反应觉醒综合征（UWS））和微意识状态（MCS），具有重要的临床诊断意义。然而，由于运动和认知能力的受损，DOCs患者可能无法表达他们的感受以及他们对不同刺激的脑反应，这使得正确标记数据变得困难。使用这些数据训练的EEG分类算法无法为临床诊断目的提供可靠的分类和预测。为了识别DOCs患者对不同类型刺激产生的脑反应，我们提出了一个自监督对比域泛化框架（SSCDG）用于跨受试者的EEG分类。模型首先使用不同刺激引起的健康受试者EEG数据来学习其相应的无监督表示。然后，我们使用这些表示来训练一个分类器，预测DOCs患者在相应刺激下的情绪状态。SSCDG首先在SEED数据集上进行评估，其准确率达到87.6%，比现有最佳方法（SOTA）高出1.1%。此外，SSCDG方法被用于分类从十七名DOC患者获得的EEG数据，包括十一名UWS状态和六名MCS状态的患者，其中七名患者在三个类别的EEG分类任务中表现出显著的准确性。SSCDG结果表明，这七名DOCs患者可能对呈现的刺激显示出可分类的EEG反应。

二、研究背景

意识障碍（DOC）患者，包括无反应觉醒综合征（UWS）和微意识状态（MCS）患者，通常因严重脑损伤导致对外界刺激的反应能力下降或异常。传统的评估方法依赖于临床量表，如昏迷恢复量表-修订版（CRS-R），这些方法主观性强，误诊风险较高。研究表明，音乐刺激辅助治疗有助于DOC患者认知功能恢复和情绪调节。然而，传统方法难以解码DOC患者在听音乐时的神经活动。

相比之下，脑电图（EEG）信号直接反映大脑神经活动，为客观评估DOC患者残存意识提供了有效途径。但由于DOC患者运动和认知能力受限，获取具有明确神经活动意义的EEG数据充满挑战，因为这些患者的反应通常微弱且难以捕捉。

为解决这一难题，本研究提出了一种基于自监督对比域泛化（SSCDG）的意识评估框架。该框架通过学习健康个体的泛化特征，并与DOC患者的脑电数据进行比较，解码DOC患者对音乐刺激的神经反应。这种方法不仅提高了评估的准确性和可靠性，而且为DOC患者的临床诊断和治疗提供了新的视角。

三、研究方法

在本研究中，我们采用了SEED数据集以及我们的自采数据集进行验证。我们的自采数据集包括了13名健康志愿者和17名慢性意识障碍（DOC）患者的脑电图（EEG）数据，DOC患者中包括11名无反应觉醒综合征（UWS）患者和6名微意识状态（MCS）患者。所有DOC患者均接受了多次CRS-R量表的临床状态评估。

实验流程由以下步骤组成，放松音乐和偏好音乐的播放顺序按照伪随机方式安排：（1）静息状态EEG记录：每位参与者首先在静息状态下进行5分钟的EEG记录；（2）放松音乐干预：接着，每位参与者聆听由专业音乐治疗师精选的4分钟放松音乐；（3）洗脱期：放松音乐干预后，参与者进入3至10分钟的洗脱期，在这期间被指导放松心情，避免回想之前的音乐；（4）偏好音乐干预：洗脱期结束后，参与者聆听5分钟由其家属推荐的偏好音乐；（5）再次洗脱期：每段音乐干预结束后，参与者再次进入3至10分钟的洗脱期，以确保情绪状态恢复到基线水平。

SSCDG算法包括三个主要部分：（1）编码器、（2）自监督对比域泛化模块、以及（3）下游分类器。

（1）编码器（encoder）：SSCDG的编码器基于卷积神经网络（CNN）结构，并整合了残差结构（图1（a））和互联时空注意机制（Interrelated Temporal-Spatial Attention, ITS，图1（c））。编码器的任务是从EEG信号中提取频率、时间和空间域的信息。残差块和ITS机制的结合，使得编码器能够提取更多有意义的特征，从而提升特征提取的能力和完整性。ITS机制不仅能够捕捉EEG信号在时间和空间维度上的互补特征，还能够提取全局特征，确保时空信息的有效整合。

图 1 编码器（encoder）的结构。（a）残差结构；（b）编码器结构；（c）ITS注意力机制；（d）ITS注意力机制详解。

（2）自监督对比域泛化模块：作为SSCDG的核心，该模块用于跨被试EEG分类任务。通过对比学习，模块学习不同被试数据的相似性，并通过最小化这些相似性来减少被试间的个体差异。此外，通过匹配更新和距离约束策略，缩短来自不同被试的特征间距离，进一步减少特征间的差异，实现领域泛化，从而增强模型的泛化能力。

图 2自监督对比域泛化模块

（3）分类器（Classifier）：SSCDG使用多层感知机（MLP）作为分类器，用于情感或其他认知状态的分类任务。分类器利用编码器和对比学习模块提取的特征进行最终的情感或意识分类。分类器的目标是通过最大化分类准确率，并采用交叉熵损失函数进行优化。

四、研究结果

SSCDG框架的性能通过两个数据集进行了验证：SEED数据集和我们自行采集的DOC数据集。选择SEED数据集的原因是：1）先前研究已表明，DOC患者的脑电数据中可以检测到积极和消极的情绪；2）SEED数据集与我们自采数据集使用的是同种设备，保证了数据的一致性。以下是实验的主要结果：

（1）SEED数据集实验结果

• SSCDG在SEED数据集的三类情感分类任务中表现优异，其准确率超越了现有的其他域泛化方法和自监督对比学习方法。
• 混淆矩阵的计算结果显示，SSCDG在正面情绪分类的精度最高，而负面情绪分类的误差相对较大，这与现有研究结果相符。
• 消融实验证实了SSCDG各组件对提升模型效果都有显著的促进作用。

（2）自采DOC数据集实验结果

• 对13名健康个体、11名UWS患者和6名MCS患者的EEG数据进行分类，SSCDG在健康对照组的EEG分类准确率超过了其他方法。
• 实验发现，6名MCS患者和1名UWS患者在不同音乐刺激下的EEG信号表现出显著的分类结果（p < 0.05），表明他们对音乐刺激有可分类的神经反应，可能具有残余的意识活动。
• 其他UWS患者的EEG信号没有展现出显著的分类结果，这可能意味着这些患者在实验中没有表现出明确的意识反应。

（3）跨数据集实验结果

跨数据集实验旨在探究健康被试与DOC患者在聆听不同音乐时，积极、消极和中性情绪的变化情况。

• 实验发现，健康被试在静息状态下三种情绪没有显著差异。但在聆听放松音乐和偏好音乐后，积极情绪分类结果显著提升，表明音乐聆听引发了积极情绪的显著增加。
• 在MCS患者中，6名患者都呈现出情绪变化，其中4名表现出积极的情绪变化，2名表现出消极的情绪变化。1名UWS患者也表现出积极的情绪变化。其余UWS患者没有明显的情绪变化。
• 这些结果表明，音乐刺激，尤其是偏好音乐，可能在部分MCS患者和个别UWS患者中引发情绪变化，反映出一定的残余意识水平。

（4）总体分析

• SSCDG在EEG分类任务中展现了强大的泛化能力，能够有效地跨越健康个体与意识障碍患者之间的差异进行EEG信号分类。
• 与传统的域自适应方法相比，SSCDG通过自监督对比学习显著提高了分类精度和泛化能力，特别是在处理不同个体的EEG数据时。
• 在健康对照组、MCS和UWS患者的实验中，EEG信号在不同音乐刺激下的反应差异显著，证明了SSCDG框架能够成功捕获和分类不同脑状态下的EEG信号。

实验结果表明，SSCDG框架不仅在情感分类任务中表现出色，而且在意识障碍患者的残余意识评估中也显示出巨大的应用潜力，为未来DOC患者的意识评估和脑机接口研究开辟了新的道路。

五、讨论

（1）音乐刺激的作用

实验结果揭示了音乐刺激对意识障碍患者情绪的影响。具体来说，六名微意识状态（MCS）患者和一名无反应觉醒综合征（UWS）患者在听不同类型音乐时表现出情绪变化，尤其是他们对偏好音乐的反应更为积极。我们进一步分析了三组的绝对功率谱密度（APSD）特征，发现MCS患者在听偏好音乐时，在Delta频段的大脑活动模式与健康对照组相似。相比之下，UWS患者并未显示出这种模式。尽管UWS和MCS患者在Theta和Alpha频段的APSD特征有相似之处，但这并不表示UWS患者有意识。Theta频段的活动通常与困倦状态相关，反映的是大脑的自动处理过程，而非有意识的感知。UWS患者在听音乐时Alpha频段的活动可能仅表明皮层功能的残余，而非有意识的反应。因此，即使在Theta和Alpha频段有相似表现，UWS患者仍缺乏明确的意识迹象。

跨数据集的方差分析（ANOVA）显示，在不同音乐刺激条件下，健康对照组（HC）、MCS患者组和UWS患者组的情绪反应存在显著差异。健康对照组在听放松音乐（RM）和偏好音乐（PM）后，积极情绪的增加显著。MCS组对积极情绪的反应与健康对照组相似，但在中立和消极情绪反应上有所不同。UWS组在听音乐后情绪变化不显著，表明他们在音乐刺激下的情绪反应有限。

这些发现表明，音乐刺激，尤其是偏好音乐，能在一定程度上诱发患者的情绪变化，这可能成为评估残余意识的有效手段。​

图3 健康被试组，MCS组以及UWS组聆听放松音乐和偏好音乐时的APSD特征（RM表示放松音乐时的状态，PM表示偏好音乐时的状态）

（2）SSCDG算法框架

SSCDG框架在评估意识障碍患者的残余意识水平方面展现了强大的泛化能力。该框架首先利用健康受试者的EEG数据进行自监督预训练，以学习数据的内在特征。然后，通过比较DOC患者的EEG数据与健康被试数据的表征相似度，来区分DOC患者在不同状态下的神经反应。此外，SSCDG框架还能捕捉患者对音乐的情绪反应，这可能为未来意识障碍患者的评估提供了新的工具和方法。特别是在MCS患者中，该技术显示出巨大潜力，并有望在未来提高DOC患者的诊断精度。

撰稿人：蔡洪华

审稿人：潘家辉