学习报告:脑机接口游戏

除了临床应用外,BCI技术还已经在娱乐游戏中进行了尝试和应用。近年来,BCI技术在游戏交互中的应用变得越来越流行,并且在过去的十年中已经进行了大量的研究。尽管BCI游戏种类繁多,但将BCI用作娱乐目的仍面临许多挑战。

实际上,以前的研究主要集中在将现有BCI技术直接应用于游戏上,而忽略了游戏本质。对于大多数人来说,成熟的游戏要求其操作过程应尽可能简单,用户界面必须简单,美观,并且用户的命令需要通过游戏快速响应,游戏还应具有在游戏中正常运行的能力。不受控制的环境,因此它们可以被广泛的人们使用,而不仅仅是特定的人。现有的大多数BCI游戏都不能满足前面提到的要求。为了使BCI游戏更具人性化和用户友好性,将控制方法和游戏相结合的策略仍需要进一步改进。

根据交互方式,可将目前已有的基于EEG的BCI游戏分为两大类:(1)仅通过EEG控制游戏。(2)BCI与外部设备集成在一起以实现游戏控制。其中仅通过EEG最为输入的BCI游戏,根据控制模态,又分为很多种。图1总结了目前这类BCI游戏常用的模式,以及各种模态的占比。

图1 用于BCI游戏实现的不同模态的占比

在表1中,总结了引用率比较高的BCI游戏相关研究。其中Martinez等提出了一种基于SSVEP的新BCI系统,该系统允许BCI用户在四个方向上的任意一个方向上实时浏览计算机屏幕上的小型汽车,并在必要时将其停止。最终,在低频(LF)范围(5、6、7、8 Hz)的平均在线精度达到93%,在中频(MF)范围(12、13.3、15, 17 Hz)的平均在线准确率达到96.5%[1]。Bonnet等人创建了一个名为BrainArena的多用户视频游戏,其中两个用户可以通过两个BCI玩简单的足球游戏。单人游戏模式下的平均分类准确度为71.25%,双人游戏模式下的平均分类准确度为73.9%[2]。Martišius等使用Emotiv EPOC耳机开发了基于SSVEP范例的在线射击游戏。该系统使用波原子变换进行特征提取,使用线性判别分析分类器可达到78.2%的平均准确度,使用具有线性核的SVM分类器可实现79.3%的平均准确度,使用带有径向基函数核的支SVM分类器则实现80.5%的平均准确度[3]。Wang等结合了MI和SSVEP,以生成多个命令来共同控制俄罗斯方块。MI和SSVEP的分类准确率分别达到了87.01%和90.26%[4]。Finke等 提出了基于P300的MindGame,在线运营过程中单项试验的分类率达到了66%[5]。Angeloni等提出了一种基于P300 BCI的记忆游戏,平均总体准确度为88.47%[6]

表1脑机接口游戏相关工作的摘要

BCI 游戏研究

被试数量

电极数

模态

在线结果(对N个被试)

Martinez et al. [1]

N = 5

6

SSVEP

96.5% (MF)

93% (LF)

Martišius et al. [2]

N = 2

4

SSVEP

78.2% (LDA)

79.3% (SVM, 线性核函数)

80.5% (SVM, RBF核函数)

Bonnet et al. [3]

N = 20

8

MI

71.25% (单人模式)

73.9% (双人模式)

Wang et al. [4]

N = 10

20

SSVEP

MI

90.26%

87.01%

Finke et al. [5]

N = 11

NA

P300

66%

Angeloni et al. [6]

N = 5

8

P300

88.47%

通常基于MI的BCI游戏通常对主题有很高的要求,并且需要一段时间的训练才能很好地控制游戏。基于SSVEP的BCI游戏具有较高的准确率,但易于检测的频率范围非常有限,因此由不同频率编码的控件的数量也受到限制。此外,基于SSVEP的BCI需要以恒定的速率集中在刺激闪烁上,这可能会导致用户疲劳,在某些情况下甚至会导致癫痫发作。在常用的范例中,P300较为稳定、不易引起疲劳,并且不需要经过特殊培训的用户。但较早的P300 BCI游戏的性能通常很差,基于P300的BCI游戏的准确性仍有提高的空间。为了使BCI游戏对公众更具吸引力,尽量避免以下问题:

(1)游戏操作过于复杂或需要快速连续的发送指令,然而用户不能通过BCI及时发出指令。

(2)较长时间的培训过程会使用户失去对游戏的兴趣。

(3)视觉、听觉以及其他刺激可能会分散用户对游戏的注意力。

(4)一些范式对游戏用户的要求非常严格,从而限制了用户的范围。

(5)由于需要高度集中的注意力,疲劳感会随着游戏的进行而增加,最终导致信息传输率(ITR)越来越低。

解决上述问题是今后研究的动机。

[1] Wilson J J, Palaniappan R. Analogue mouse pointer control via an online steady state visual evoked potential (SSVEP) brain–computer interface[J]. Journal of neural engineering, 2011, 8(2): 025026

[2] Bonnet L, Lotte F, Lécuyer A. Two brains, one game: design and evaluation of a multiuser BCI video game based on motor imagery[J]. IEEE Transactions on Computational Intelligence and AI in games, 2013, 5(2): 185-198.

[3] Martišius I, Damaševičius R. A prototype SSVEP based real time BCI gaming system[J]. Computational intelligence and neuroscience, 2016, 2016.

[4] Wang Z, Yu Y, Xu M, et al. Towards a hybrid BCI gaming paradigm based on motor imagery and SSVEP[J]. International Journal of Human–Computer Interaction, 2019, 35(3): 197-205.

[5] Finke A, Lenhardt A, Ritter H. The MindGame: a P300-based brain–computer interface game[J]. Neural Networks, 2009, 22(9): 1329-1333.

[6] Angeloni C, Salter D, Corbit V, et al. P300-based brain-computer interface memory game to improve motivation and performance[C]//2012 38th Annual Northeast Bioengineering Conference (NEBEC). IEEE, 2012: 35-36.

 

汇报人:李曼


登录用户可以查看和发表评论, 请前往  登录 或  注册
SCHOLAT.com 学者网
免责声明 | 关于我们 | 用户反馈
联系我们: