2022年，11月10日，在第十九届PRICAI会议上，华中科技大学的伍冬睿教授在大会上作“情感脑机接口(aBCI)教程”的主题报告。

标题：

情感脑机接口(aBCI)概述

aBCI的信号获取

aBCI的信号处理

aBCI的特征提取

aBCI的机器学习

aBCI的应用

挑战与机遇

一、情感脑机接口(aBCI)概述

情感计算是麻省理工学院媒体实验室1995年提出的，跟情绪相关的计算都属于情感计算。Paul Ekman在1971年提出人类有六种基本情绪（害怕、生气、伤心、厌恶、欢乐和惊讶）。1974年Albert Mehrabian和James Russell提出3D情绪分类（Dominance,Arousal, Pleasure）。1980年James Russell提出2维情绪分类（Arousal, Valence）。

情感计算里的生理信号如图1所示。

图1 情感计算里的生理信号

基于脑电信号的脑机接口流程如图2所示。

图2 基于脑机接口的脑电信号情绪识别流程图

脑机接口主要分为三类：非侵入式、侵入式和半侵入式。

二、aBCI的信号获取

诱发被试情绪的方式一般是给他看有明显情感倾向的视频，常见的脑电信号获取方式是脑电帽，如图3。

图3 脑电帽

EEG信号分频段图4所示。

图4 EEG信号分段

EEG情感公共数据集如下图5所示。

图5 EEG情感公开数据集

三、aBCI的信号处理

信号处理大致分为五个步骤：

①时域滤波

对原始信号进行带通滤波（一般0.5-45Hz）。

②重参考

记录脑电信号时会选取一个参考，信号处理的时候一般要做重参考。常用的重参考方法是选所有通道的均值做基线。

③去伪迹

用主成分分析（PCA）或独立成分分析（ICA）去除伪迹。

④重采样

实际使用时通常需要将信号进行下采样。

⑤分段

分段增加数据量，常见的是1秒或10秒为一段。

四、aBCI的特征提取

常用的有时域特征、频域特征、时频域特征、脑网络特征和它们的组会特征。

①时域特征包括均值、方差、能量等。

②频域特征包括DE、PSD、DASM、RASM、DLAT和DCAU等。用的最多的是DE，公式如图6所示。

图6 DE公式

③时频域特征包括短时傅里叶变化、小波变换等。

④脑网络特征最常见的有相关系数（PCC）、锁相值（PLV）和相位滞后指数（PLI）。

五、aBCI的机器学习

包括被试依赖学习、被试独立学习、多模态学习、跨模态学习。

被试依赖：同一个被试一批数据作训练集，另一些数据作测试集。

被试独立：用已有被试的数据作训练集，新的被试数据作测试集。

多模态学习：通过多种模态的数据共同学习。

跨模态学习：测试的时候不一定需要训练时的所有模态。

六、aBCI的应用

如检测脑电波，让压力处在合适水平。通过脑电进行疲劳检测等。

挑战与机遇

①如何让脑电帽的电机更准确地记录脑电信号。

②情绪标签，如用户看了高兴的视频不一定高兴。或者只有几秒钟感到高兴但是标签给他整个过程都高兴。

③数据量小。

④隐私保护问题。

⑤安全性问题。