本学习报告的论文来源：Jianyong Huang, Lina Qiu, Qing Lin, Yanbin He, Jiahui Pan. Hybrid Asynchronous Brain-Computer Interface for Yes/No Communication in Patients with Disorders of Consciousness. Journal of Neural Engineering, 2021, 18(5): 056001.

一、背景

        意识障碍（DOCs）是脑损伤最严重的后遗症，以意识障碍和认知障碍为特征，包括昏迷、植物状态（VS）、最小意识状态（MCS）和锁定综合症（LIS）。不同意识障碍的病人有不同的意识水平，对意识的准确检测是诊断和治疗DOC患者的关键。目前，评估DOC患者意识状态最常用的方法是行为评分量表，如JFK昏迷恢复量表-修订版（JFK CRS-R）。然而，这种基于行为的评估方法有很高的误诊率（37%-43%）[1-3]。且由于运动障碍和注意力有限，DOC患者无法提供足够的行为反应，DOC患者无法进行有效交流。沟通成为DOC患者迫切需要的基本能力。

       最近，一些研究显示了脑机接口（BCI）在检测DOC患者残留认知功能方面的潜力[4]，且结合多种不同类型脑信号的混合BCI的性能也已在近期研究中得到验证[5]。如在研究[4]中，提出一个基于P300和SSVEPs的混合系统。其结果显示，在4名健康受试者、7名DOC患者中的2名以及1名LIS患者中检测到了指令跟随，且混合BCI系统实现的性能比单模BCI明显增强。同时最近一些研究显示，BCI有可能与DOC患者进行交流[6-7]，但BCI检测DOC患者沟通能力仍处于起步阶段。

        受上述情况启发，论文作者提出了一个用于与DOC患者交流的混合异步BCI系统（结合P300电位和稳态视觉诱发电位SSVEP）。其采用异步控制策略，是为了使DOC患者在注意力有限的情况下，动态输出在线反馈结果。这种方法可最大限度地提高患者向检查者提供剩余脑功能证据的希望。目前，没有关于DOC患者的异步BCI研究，该研究是首个测试与DOC患者交流的混合异步BCI。

二、方法

P300检测

        从每个方格框架的每个通道提取脑电信号的epoch。所有的epoch都使用了刺激前100毫秒的基线校正。在0.1-20赫兹带通滤波后，以5的速率对所有数据进行降频，得到最终采样率为50hz的数据向量。再将所有九个选定通道的epoch串联，以生成特征向量。作者一次试验平均五轮闪烁数据。所有的特征向量都被归一化，并被映射到[0, 1]的范围。最后，使用特征向量将其标签。作者为每个受试者训练了一个支持向量机（SVM）分类器，用于异步P300检测。并使用留一交叉验证来确定SVM分类器对数据集的概括误差。

SSVEP检测

        为确定SSVEPs的频率，作者采用正则相关分析（CCA）方法计算多通道EEG信号和参考信号在每个刺激频率下的典范相关性，然后选择参考信号中相关性最大的频率作为SSVEPs的频率。在本研究中，CCA分类器被用来建立一个相关向量ρ，其定义如 (3）其中r(a, b)表示a和b之间的相关系数。为了结合这些相关值，作者使用权重相关系数˜r作为目标识别的最终特征值:公式(4）。其中sign()用于保留测试集和训练参考信号之间负相关系数的判别信息。

动态停顿

        在在线阶段，贝叶斯的异步方法被应用于动态停止。首先，对目标和非目标闪烁的分类器反应分数进行分组。再对分组的分类器分数进行缩放，并使用核密度估计进行平滑处理，最后生成目标反应和非目标反应的似然概率密度函数pdfs。在贝叶斯框架中，pdfs被用来更新每个周期的概率。在在线实验中，闪烁的初始化概率p(A)=1/2。在每一轮新的闪烁中，反应概率通过贝叶斯推理更新:公式(6)。但作者把总概率p(X)改为每个闪烁的概率之和:公式(7)。每次贝叶斯概率更新之后，每个闪烁的概率都与一个阈值进行比较。这个阈值表示基于信噪比的答案是正确的信心:公式(9)。每轮实验的目标是找到目标答案所以将分类器的反应通过公式(8)转化为最终答案的概率。

数据融合

        作者使用了一个基于P300和SSVEP分数水平的融合方法。在贝叶斯模型更新了P300和SSVEP检测的答案概率后，将P300概率和SSVEP概率串联，建立一个融合特征向量X=（x1,x2,...,xn），其中xn是第n次试验的向量:公式(10)。带有目标标签Y ={y1, y2, ..., yn}的特征向量被输入分类器: 公式(11)。其中LSVM被用作分类器。试验的目标可以通过解决以下问题来预测：f(x) = w - x + b。其中w是权重向量。用离线数据训练SVM模型后，特征向量被输入到SVM模型中。再通过最大化SVM的决策值来预测目标的标签:公式(13)。

三、实验

实验过程

        在这个实验中，作者使用基于SSVEP和P300的混合系统在异步系统中测试了健康参与者和DOC患者（3例VS和4例MCS）的在线表现，也测试了健康对照组在混合系统与单模态系统的性能表现。该实验分为两个步骤。

        第一步，离线训练：在进行在线实验之前，每个受试者进行一次由10次试验组成的训练。两个方块的答案以不同的频率闪烁显示（唤起与左/右方块相关的SSVEPs），方块框也以随机的顺序闪烁（唤起与左/右方框相关的P300电位），每次出现持续200毫秒，每800毫秒一次。每个试验有五个回合。试验开始时有8秒的视听指令。在指示过程中，被试遇到了一个情景问题，如 "我现在是不是在摸我的鼻子。受试者被要求注意表示答案的方块，并计算相应的方块框架闪动的次数。训练阶段的数据被用来训练最初的P300和SSVEP模型。对于P300检测，用RBF核函数的SVM模型来训练这些数据。对于SSVEP检测，训练了一个CCA模型。

        第二步，在线测试：与第一步类似，不同的是，在线测试阶段使用了一个异步系统。测试运行的实验范式如图2所示。测试运行包含五个区块，每个区块由十个试验组成。异步框架如图3所示。在每次试验中，问题出现在屏幕上后 出现在屏幕上后，受试者被指示要盯着方块，并计算相应的方块出现的次数。相应的方形框架出现的次数。指示发出后，系统检测被试的状态并提供检测到的答案。并提供检测到的答案。然后。下一次试验的另一个问题显示在 2秒后在屏幕上显示。经过上述数据处理后，P300和SSVEP 分类模型被更新。

实验结果

        所有健康受试者在混合和单一模式系统中都达到了明显的准确性（从72%到100%不等）。在7名DOC患者的 "是/否 "交流功能检测结果显示，3名MCS患者不仅在在线实验中表现出明显的准确性（67±3%），而且其修订版昏迷恢复量表的分数与实验前分数相比也有提高。这一结果表明，7名患者中有3人能够使用混合异步BCI系统进行交流。

        实验还表明，混合异步BCI系统的表现优于纯P300和纯SSVEP系统。作者采用的异步动态收集脑电图信号的方法与同步系统相比，平均所需回合数减少21%，在线实验时间减少105秒。

        从表中可看出11名健康受试者的混合BCI在线准确率远高于64%的偶然水平，达到了95%±5%，且异步系统的平均轮数只有3.87轮（低于同步系统的5轮）。

        该表列出了混合系统的在线准确率和每个病人（包括3个VS和4个MCS）的CRS-R分数。

        从图中可看出通过使用BCI系统，三名患者（p5、p6、p7）对目标刺激的明显P300反应。

四、总结

        本文设计的用于意识障碍患者是/否交流的混合型异步脑机接口，验证了BCI在意识检测和交流方面的有效性，证实了BCI可能为DOC患者提供一种新的沟通渠道。且与传统的单模式和同步系统相比，该系统的准确性及效率均表现出优越性。但由于实验屏幕只呈现两个方块（是/否），这限制了问题类型，也限制了系统的实用性。作者将在未来研究中，在 "是"和 "否"的基础上增加第三个选项"不知道"，开发一个有更多对象的实用交流系统。

五、参考文献

1. Johnson L S M and Lazaridis C 2018 The sources of uncertainty in disorders of consciousness AJOB Neurosci. 9 76–82.
2. Gosseries O, Zasler N D and Laureys S 2014 Recent advances in disorders of consciousness: focus on the diagnosis Brain Injury 28 1141–50.
3. van Erp W S, Lavrijsen J, van de Laar F A, Vos P E, Laureys S and Koopmans R 2014 The vegetative state/unresponsive wakefulness syndrome: a systematic review of prevalence studies Eur. J. Neurol. 21 1361–8.
4. Pan J, Xie Q, He Y, Wang F, Di H, Laureys S, Yu R and Li Y 2014 Detecting awareness in patients with disorders of consciousness using a hybrid brain–computer interface J. Neural. Eng. 11 056007.
5. Pfurtscheller G, Allison B Z, Bauernfeind G, Brunner C, Solis Escalante T, Scherer R, Zander T O, Mueller-Putz G, Neuper C and Birbaumer N 2010 The hybrid BCI Front. Neurosci. 4 3.
6. Lulé D, Noirhomme Q, Kleih S C, Chatelle C, Halder S, Demertzi A, Bruno M-A, Gosseries O, Vanhaudenhuyse A and Schnakers C 2013 Probing command following in patients with disorders of consciousness using a brain–computer interface Clin. Neurophysiol. 124 101–6.
7. Wang F, He Y, Qu J, Xie Q, Lin Q, Ni X, Chen Y, Pan J, Laureys S and Yu R 2017 Enhancing clinical communication assessments using an audiovisual BCI for patients with disorders of consciousness J. Neural. Eng. 14 046024.

撰稿：易子怡

审稿：潘家辉