我们小组（我的博士后杨凌霄为第一作者）与上海交大、香港理工大学合作发表在ICML 2021的“无参数注意力机制”论文（Lingxiao Yang, Ru-Yuan Zhang, Lida Li, Xiaohua Xie*. SimAM: A Simple, Parameter-Free Attention Module for Convolutional Neural Networks. International Conference on Machine Learning (ICML), 2021）获得2024世界人工智能大会青年优秀论文提名奖（https://www.waicyop.cn/article/13）。

这篇论文提出一种概念简单且非常有效的注意力机制。不同于现有的通道/空域注意力模块，该模块无需引入额外参数进行训练，而是根据神经科学理论（侧抑制理论）构造一种特殊的能量函数 ，并通过求解能量函数的解析解以挖掘神经元的重要性，从而为特征图推导出3D注意力权值。核心代码仅需不超过10行代码即可实现。该模块可以以插件形式加载于各类神经网络，譬如CNN（卷积神经网络）、GCN（图卷积网络）、SNN（脉冲神经网络），且不需要训练学习。论文发表两年多已经被引用750次，被多个领域的学者采用。

代码已开源：https://github.com/ZjjConan/SimAM

世界人工智能大会是由中华人民共和国外交部、科技部、教育部、工信部、发改委、中国科学院、中国科协、上海市政府等联名主办的全球人工智能领域最具影响力的行业盛会。