近日，团队成员廖嘉城在潘家辉和梁艳两位老师的指导下，在SCI学术期刊Applied Intelligence（大类：计算机科学，影响因子：3.325，JCR Q2）发表论文《Deep facial spatiotemporal network for engagement prediction in online learning》，论文作者为：廖嘉城、梁艳（通讯作者）、潘家辉，出版社为Springer 。

图1 论文截图

        近年来，在线教育逐渐被大众所接受和认可。在这种大背景下，有效的学生专注度预测方法能够帮助老师及时从课堂中获取反馈，并根据学生的接收能力做适应性调整。本文提出基于人脸的深度时空网络（Deep Facial Spatiotemporal Network，DFSTN）用于专注度预测。该网络主要由两个核心单元组成：（1）用于提取人脸空间特征的SE-ResNet-50 网络，以及（2）用于提取人脸时间特征的含全局注意力机制的长短期记忆网络（LSTM Network with Global Attention）。网络的训练策略会根据所做任务评价指标的不同做相应的调整。本文提出的DFSTN能捕捉人脸序列的时空信息，从而更好地感知更细微的专注状态变化，并提升专注度预测的效果。本文的方法在DAiSEE数据集上进行了验证，在四分类问题上取得了58.84%的准确率，在回归问题上的均方误差为0.422，专注度预测效果优于许多现有的工作。此外，在EmotiW-EP数据集上的测试结果也验证了本文所提方法的鲁棒性。

图2  DFSTN模型框架

文章网络首发地址：http://link.springer.com/article/10.1007/s10489-020-02139-8