近日，华南师范大学软件学院软件工程专业本科生李瑞新、刘晓剑、王冰冰、黄文鑫、蔡兆信和叶耀光，在潘家辉、梁艳、邱丽娜老师的共同指导下，以第一作者在SCI期刊Frontiers in Human Neuroscience上发表研究成果《MindLink-Eumpy: An Open-Source Python Toolbox for Multimodal Emotion Recognition》。该论文于2020年10月投稿，于2021年2月录用并在线发表。其中，Frontiers in Human Neuroscience是中科院3区的SCI学术期刊（IF: 2.673），属于“神经科学”学科。

情绪（Emotion）是人对客观事物的态度体验和相应的行为反映，是一种由感觉、思想与行为综合而成的复杂的心理和生理状态，它与大脑许多内部和外部活动相关联，在生活中的各个方面都起重要作用。本文提出一款多模态情绪识别开源工具箱MindLink-Eumpy，用于使用人脸图像和脑电信号进行情绪识别。在人脸图像处理方面，MindLink-Eumpy能够利用迁移学习技术训练卷积神经网络以识别人脸表情；在脑电信号处理方面，MindLink-Eumpy能够对脑电信号进行处理，并提取特征值，再利用SVM进行情绪分类。本文还提出一种基于长短时记忆网络识别情绪的方法，利用长短时记忆网络对处理后的脑电信息进行情绪识别，能够初步达到一定程度上的跨被试情绪识别效果。本文从效价（valence）和唤醒度（arousal）两个维度对情绪进行高（high）和低（low）的二分类。国际公共数据集DEAP和MAHNOB-HCI的相关实验表明，情绪识别准确率在效价维度 能够达到78.56%，在唤醒度维度能够达到77.22%，证明了本文方法的有效性和可用性。此外，MindLink-Eumpy工具箱能提供人脸图像和脑电信号两个模态的数据处理、情绪识别和数据融合等功能，并提供一系列可扩展的可视化操作，填补了现有国产情绪识别开源工具箱的空白。该研究成果主要来源于广东大学生科技创新培育专项资金（攀登计划专项资金）重点项目“MindLink-Explorer开放平台——实时测量情绪与注意力的多模态工具箱”。 

论文《MindLink-Eumpy: An Open-Source Python Toolbox for Multimodal Emotion Recognition》的下载地址如下：https://www.frontiersin.org/articles/10.3389/fnhum.2021.621493/full