该论文发表于KDD '24: Proceedings of the 30th ACM SIGKDD Conference on Knowledge Discovery and Data Mining（CCF A），题目为《Brant-X: A Unified Physiological Signal Alignment Framework》。

浙江大学的张道泽为论文的第一作者，浙江大学计算机科学与技术学院副教授杨洋为本文通讯作者。

论文链接：

https://doi.org/10.1145/3637528.3671953

源码链接：

https://github.com/zjunet/Brant-X/

论文概要

Brant-X是一个新提出的生理信号对齐框架，旨在通过建模脑电图（EEG）与其他生理信号（如眼电图EOG、心电图ECG和肌电图EMG，统称为EXG）之间的相关性，提升多种健康监测和疾病诊断场景下的性能。Brant-X利用预训练的EEG基础模型和两级对齐策略，实现了从EEG到其他生理信号的数据高效知识转移。在睡眠阶段分类、情绪识别等多个下游任务中，Brant-X展现了卓越的性能，超越了现有的任务特定和任务无关的基线方法。

研究背景

生理信号是了解人体各种生理状态的重要线索。尽管现有研究多集中于单一类型的生理信号，但人体作为一个整体的生物系统，各生理数据之间的内在联系不容忽视。尤其是大脑作为生命活动的控制中心，EEG与其他生理信号之间存在显著的相关性，这对于改善多种健康监测和疾病诊断场景下的性能至关重要。然而，实现这些生理信号之间的有效对齐和分析仍面临挑战，包括多类型生理数据的稀缺性、不同生理信号之间的固有属性差异，以及不同应用场景下的任务需求差异。

针对这些挑战，本研究提出了统一的生理信号对齐框架Brant-X。该框架通过预训练的EEG基础模型、采样增强和两级对齐策略，实现了从EEG到其他生理信号的数据高效知识转移，以适应不同下游任务的需求，并提高了下游任务的性能。

研究方法

Brant-X框架的整体流程如图1所示。首先，基于EEG基础模型，通过同时采集的EEG和EXG数据之间的对齐来训练EXG编码器。然后，能够从EEG和EXG信号中学习强表示的EEG和EXG编码器被应用于不同场景下的各种下游任务（包括睡眠阶段分类、情绪识别、冻结步态检测和眼动通信等）。

图1 生理信号对齐框架Brant-X概述

Brant-X的总体架构如图2所示。通过结合预训练的EEG基础模型和两级对齐策略，实现了EEG与其他生理信号（EXG）之间的有效对齐。

图2 Brant-X的结构。在数据准备阶段，对EXG数据进行升采样和降采样，以增强数据。然后，将EEG和EXG数据分别输入EEG编码器和EXG编码器，以获得数据片段的表示。最后，通过两级对齐将同时采集的EEG和EXG片段以及相应的EEG和EXG序列进行对齐。

1. 预训练的EEG基础模型

Brant-2的脑信号基础模型由超过1B个参数组成，并在多达近4TB的混合数据（包括来自26个受试者的2.3TBiEEG数据和来自约15,000个受试者的1.6TBEEG数据）上进行了预训练，可以从EEG信号中学习到强大的表示。更重要的是，它使用了不同采样率的预训练数据，从而提高了对采样率变化的鲁棒性。

2. 数据分片

鉴于生理数据是生物电信号，生理状态的语义信息只能通过多个采样点共同表达而不是单个采样点。因此，本文将整个数据序列分割成多个连续的片段，以聚合片段内的语义信息，减少计算需求。

3. 采样增强

EXG信号的采样率差异很大，本文采用了采样增强技术来提高模型对采样率变化的鲁棒性。具体来说，如图2左下方所示，将原始数据的采样率提高到原来的两倍，又将其采样率降低到原来的一半，从而得到两组采样率不同的增强数据。

4. 潜在空间嵌入

通过EEG和EXG编码器，从原始的生理信号中提取关键特征，如图2中间部分所示，这些特征能够捕捉信号的重要属性和模式。将高维的生理信号数据转换为低维的潜在空间表示，这有助于减少数据的复杂性，同时保留最重要的信息，也为后续的片段级对齐和序列级对齐提供基础。

5. 两级对齐

观察到任务之间的差距主要源于相关语义尺度的不同，为了解决各种信号和任务之间的差距，本文引入了两级对齐，在片段级和序列级全面对齐EEG和EXG信号的语义，以克服固有差异，捕捉不同语义尺度的EEG和EXG之间的相关性。

• 片段级对齐：在更细的粒度上，通过在潜在空间中将同时出现的EEG和EXG片段靠拢，而将不相关的片段进一步分开，从而在片段级对齐EEG和EXG数据。如图2右上方所示。
• 序列级对齐。在更粗的粒度水平上，采用序列级对齐来对潜空间中的相应序列进行对齐,有助于模型捕捉生理信号序列中的时间依赖性和长期模式，这对于理解信号的动态变化和整体行为至关重要。

利用上述方法，EEG的数据和模型资源被扩展到其他生理信号的研究中，为各种生理信号之间的相关性建模铺了新的道路。

实验设计

作者总结了现有的公共多类型生理数据集，以实现从EEG到EXG的数据高效知识转移。为了对同时记录的EEG和任意EXG数据进行对齐，用于无监督对齐的训练数据由3个数据集组成：CAP、ISRUC和HMC，包括EEG、EOG、ECG和EMG信号。总体而言，对齐训练数据包括来自267名受试者的359条记录。为了验证Brant-X的有效性，本文设置了四个下游任务，包括睡眠阶段分类、情绪识别、冻结步态检测和眼动交流。

（1）下游任务数据集

• Sleep-EDF：睡眠阶段分类任务，Sleep-EDF-78数据集包含78名受试者，Sleep-EDF-20数据集包含20名受试者。
• DREAMER：情绪识别任务，包含23名受试者。
• FoG：冻结步态检测任务，包含12名帕金森病患者。
• Gonzalez等发布的数据集(https://doi.org/10.1038/s41597-020-00789-4)：眼动交流任务，包含4名ALS患者。

（2）Baselines

• TF-C和SimMTM：自监督或无监督方法
• OneFitsAll和Time-LLM：基于预训练语言模型方法
• MiniRocket：监督方法

研究结果

大量实验表明，Brant-X在涉及EEG和EXG信号的不同场景中的各种下游任务上实现了SOTA性能，如图3所示，这说明了本文的框架在各种场景中的有效性。

图3 各个任务上的整体性能比较

每个任务的详细比较如下表格所示：

表1 睡眠分期任务上的平均表现

表2 情绪识别任务上的平均表现

表3 FoG检测任务上的平均表现

表4 眼动交流任务上的平均表现

四个下游任务的消融实验对比结果见图4。这表明，Brant-X在所有任务的所有指标上都优于其他变体，证明了该框架中每个组件的贡献。

图4 所有下游任务消融实验的结果

结论

本文首次提出了统一的生理信号配准框架Brant-X。它基于预训练的EEG模型，通过两级对齐策略将EEG知识迁移到其他生理信号，为跨生理信号研究提供了新路径，并预示着在健康监测和疾病诊断领域的广泛应用前景。

撰稿人：张志航

审稿人：潘家辉