近日，脑机团队成员易子怡等在潘家辉教授的指导下，与南方医科大学珠江医院谢秋幼主任团队合作的研究成果“A Hybrid BCI Integrating EEG and Eye-tracking for Assisting Clinical Communication in Patients with Disorders of Consciousness”已被IEEE Trans期刊《IEEE Transactions on Neural Systems and Rehabilitation Engineering》（影响因子：4.8，JCR Q1，中科院康复医学一区）正式录用。该论文于2024年3月1日提交，于2024年7月24日正式被接受。

研究背景 意识障碍（Disorders of Consciousness, DOC）是一种严重的临床状况，其错误诊断不仅会造成严重的医学后果，还会带来伦理问题。有效的交流对于意识障碍患者来说至关重要，但传统的诊断方法，如昏迷恢复量表（CRS-R），主观性强且误诊率较高；而功能磁共振成像（fMRI）等神经影像学技术则因成本高昂、操作复杂而不便普及。此外，现有的脑机接口（BCI）技术虽然能够通过脑电图（EEG）检测大脑活动，但在实际应用中仍存在一定的限制。

研究成果 为了克服现有技术的局限性，本研究提出了一种创新的混合BCI系统，该系统结合了P300电位检测与眼动追踪技术，旨在协助医生进行临床交流评估，并满足患者的基本交流需求。具体而言，该研究的主要贡献包括：

1. 新型BCI交流范式：设计了一种整合P300电位与眼动追踪的交流范式，这种多模态融合降低了使用门槛，增加了决策信息，有助于促进临床交流。
2. 多模态目标识别网络（MTRN）：提出了一种新的多模态目标识别网络，该网络包括双流特征提取模块、多模态注意力模块以及基于余弦距离的原型网络分类器，有效解决了过拟合问题并提高了小样本数据的分类性能。
3. 在线交流系统：开发了一套多模态混合BCI在线交流系统，该系统为医疗人员提供了更精确、便捷的意识状态评估手段，同时也为意识障碍患者开辟了新的交流渠道。  

研究方法 该研究的所提出的实验范式，患者主要通过注意力和注视来进行二元是/否交流：系统向DOC患者展示情境定向问题，同时在问题下方的左右两侧显示文字块“是”和“否”。随机闪烁的文字块和对应的语音播报作为视觉和听觉刺激。刺激呈现时，相应文本块的文字颜色从蓝色变为绿色，背景颜色从黑色变为白色，亮度从1.27 cd/m²增加到90.76 cd/m²。文字块亮度的变化会改变受试者的瞳孔大小，并且这种变化的程度会随着注意力的集中而增加。随机的视听刺激可诱发P300 事件相关电位。通过检测、分析刺激中产生的P300反应和眼动反应（瞳孔反应、注视）可识别患者选择专注的文字块。

BCI系统总体架构如图1所示。系统实时接收到从交流范式中收集的EEG数据和眼动数据后，分别对各模态数据进行预处理，以规范数据。随后，预处理后的数据被输入多模态目标识别网络（MTRN）进行目标识别。MTRN由双流特征提取模块、多模态注意力模块和原型分类器三个部分组成。双流特征提取模块采用具有不同感受野的多重卷积，从脑电图和眼动跟踪数据中学习不同尺度的特征。与普通的卷积网络相比，它能捕获更多的EEG中包含的上下文特征信息。学习到的多模态特征通过自适应注意力机制进行特征整合。该机制可自适应地捕捉多模态数据中最有价值的信息。原型分类器的任务是通过计算数据在嵌入空间中的非线性映射与阳样本原型（定义为训练数据中所有阳样本特征的平均值）之间的余弦距离来预测数据标签。这种策略能减少在数据量不足的情况下，模型准确性不高的问题。最终，预测为阳性的数据将作为识别结果进行反馈。

图 1. 数据处理总体流程和MTRN总体结构。

实验验证 研究团队招募了10名健康志愿者与10名意识障碍患者（包括1例闭锁综合征[LIS]、8例微意识状态[MCS]、1例植物状态[VS]）进行了交流测试。结果显示，所有健康志愿者均实现了100%的交流准确性。5名意识障碍患者（4例MCS、1例VS）能够使用该BCI系统进行在线交流，平均准确率达到76.1±7.9%。特别值得一提的是，2名在CRS-R评估中被认为没有交流能力的患者，通过本BCI系统展现了交流能力，这表明该技术有可能帮助意识障碍患者更好地表达自己的意愿。

结论 综上所述，本研究所提出的混合BCI技术为意识障碍患者的临床交流提供了强有力的辅助工具。未来，这一技术有望成为改善患者生活质量的关键手段之一。