通常，面部识别技术基于摄像头和计算机视觉算法，为了提升面部识别准确性，可能还会采用3D摄像头或是多颗摄像头阵列。但现在面临的问题是，摄像头方案需要检测到完整的面部五官，在公共场合你也不得不摘掉口罩才能人脸识别，尤其是要用面部识别解锁手机会比较麻烦。而在VR中，实时面部表情追踪也会需要多颗摄像头，缺点是硬件成本高、体积大。

在10月20日至23日举行的计算机用户界面软件和技术研讨会（UIST2020）上，康奈尔大学的研究人员张铖教授等发表论文《C-Face：通过深度学习面部轮廓重建面部表情》。论文作者发明了一种利用耳机来实时追踪面部表情的方案C-Face，它的特点是通过追踪脸部轮廓来识别表情，并转化成emoji表情符号或无声指令，用于输入或控制电子设备。当你用耳机听歌时，有人已经在用它来识别表情了。这听起来有点神奇，不过它真的被康奈尔大学的研究人员实现了。这是怎么一回事呢？我们可以先通过一张动图来看看表情的识别追踪效果。

这看起来很不错吧？事实上，整个过程他们没有用到过一个面对用户正脸的摄像头，就成功地实现了面部表情追踪。这时候可能有人会问：不拍摄用户正脸怎么能知道用户的表情呢？这就要依赖于图中演示者戴的耳机了。这款耳机被命名为C-Face（Contour-Face），是一款耳挂式可穿戴传感设备，有耳塞式和头挂式两种。这两种设备中均内置了两个微型RGB摄像头，一种用于捕获红色，绿色和光带的数码相机。

当我们做出面部表情时，会引起面部肌肉的拉伸和收缩，从耳朵的角度来看，这种效果会使脸颊轮廓发生变化。C-Face内置微型相机正是用来记录佩戴者这种脸颊轮廓变化的。而且这种方法比用摄像头的“传统方法”更好的一点在于，即使戴着口罩，系统也可以追踪用户的面部表情，这样的话人们就不用专门取下口罩了。

据了解，C-Face之所以能够准确最终面部移动，是采用了计算机视觉和深度学习模型。在微型相机捕获图像后，视觉技术和深度学习模型会对其进行重建。在重建的过程中，卷积神经网络卷积网络进一步将面部特征转换为42个面部关键点，包括佩戴者的嘴巴，眼睛以及眉毛的位置和形状。

有了详细的脸部追踪数据，C-Face可以将这些数据转换成八种不同表情，包括愉快、中性或愤怒等表情。利用这8种表情符号，可以控制音乐设备上的播放选项，例如“播放”、“下一首”或者“音量增大”。当你手机放在远处充电，但是现在只想“葛优躺”在沙发上不想动，你甚至不用说出声音，就能远程控制音乐。

除了面部表情之外，用户也可以通过无声语音的方式来控制音乐，比如当你想想切歌或暂停时，只需要隔空说一句“Next Song”或者“Stop”，播放设备就会自动执行。

当你使用手机进行聊天时，不用辛苦去找表情包，系统可以根据面部表情自动匹配发送出去。皱个眉头也能一秒识别，感觉聊天效率都高了。目前，这些情绪的识别效果已经经过实际检测。在9位参与检测者提供的数据中，C-Face的表情识别准确度超过了88％，无声语音的准确度接近85％。

论文链接：https://www.scifilab.org/c-face

值得关注的是，这篇论文的作者还包括一名华人教授张铖。他目前是康奈尔大学计算机与信息科学学院助理教授，也是未来交互智能计算机接口实验室（SciFi Lab）的负责人。张铖教授本科毕业于南开大学，然后硕士阶段以中国科学院软件研究所的优秀毕业生身份毕业，博士阶段则前往美国佐治亚理工学院Ubicomp实验室继续深造。他的研究方向是智能传感系统与人机交互（HCI）。具体地说，是研究如何收集有关人体及周围信息来应对各应用领域的现实挑战，比如智能交互、健康感知和活动识别等。目前，他已经在人机交互和普适计算领域的顶级会议和期刊上发表了十多篇论文（包括两个最佳论文奖），获得了超过10项的美国和国际专利。对于C-Face设备，张铖教授表示还存在一定的局限性，比如耳机的电池容量，之后SciFi实验室团队会计划开发更低功耗的传感技术，同时也会进行更多实际应用场景的测试。

引用链接：

https://news.cornell.edu/stories/2020/10/earphone-tracks-facial-Expressions-even-face-mask

https://techxplore.com/news/2020-10-earphone-tracks-facial-mask.html

https://www.engadget.com/earphone-facial-Expression-mask-emoji-emotion-175327792.html

https://baijiahao.baidu.com/s?id=1680517244068136901&wfr=spider&for=pc

https://baijiahao.baidu.com/s?id=1680499883386766262&wfr=spider&for=pc

撰稿人：叶耀光