TIP | 用于半监督小样本学习的以样本为中心的特征生成方法

该论文发表于IEEE Transactions on Image Processing (TIP)（中科院一区，IF=10.6），题目为《Sample-Centric Feature Generation for Semi-Supervised Few-Shot Learning》。

复旦大学的Bo Zhang为此文第一作者。复旦大学的Tao Chen为此文的通讯作者。

论文链接：Sample-Centric Feature Generation for Semi-Supervised Few-Shot Learning | IEEE Journals & Magazine | IEEE Xplore

论文概要

半监督小样本学习（Semi-supervised few-shot learning, SSFSL）旨在通过有限的标记数据和大量可用的无标记数据来提高模型的泛化能力。之前的研究试图通过使用元训练策略执行标签传播，为少量标记数据和额外的无标记数据之间的关系建模。然而，伪标签数据本身所代表的特征分布是粗粒度的，这意味着伪标签数据与真实查询数据之间可能存在较大的分布差距。为此，该论文提出了一种以样本为中心的特征生成（SFG）方法。具体来说，SFG方法首先通过训练来自不同类别的少量标记样本，以预测潜在未标记样本的伪标签。然后，利用半监督元生成器生成以每个伪标签样本为中心的衍生特征，从而丰富类内特征多样性。此外，该论文还提出了可靠性评估（RA）指标，以削弱生成的异常值对模型学习的影响。

研究背景

半监督小样本学习旨在通过有限的标记数据和大量可用的无标记数据来提高模型的泛化能力。以往的研究试图采用自监督表示学习方法通过在基类训练阶段添加辅助自监督损失，以半监督方式利用额外的未标记数据。此外，之前的研究还试图通过标签传播（或伪标签）对少量标签数据和额外未标签数据之间的关系进行建模，可以在一定程度上缓解过拟合问题。但是，该论文指出，半监督小样本学习任务中的伪标签数据可能无法以精细和动态的方式精确代表查询集的真实数据分布，尤其是当可用的未标记样本数量非常稀缺时。这一点以前被忽视了，但实际上可以通过特征生成的方式丰富数据分布的多样性，进一步提高模型的准确性。

方法与结果分析

该论文所提方法的总体框架图如图1所示。

图1 总体框架图

（1）方法的第一阶段：采用元训练方式学习骨干网络和元分类器，得到初始决策边界。其中，分类损失函数为：

（2）方法的第二阶段：以样本为中心的半监督特征元生成。这一阶段的目标是通过一种半监督特征生成方法将有标记支持集增强为，这样从增强集中学习到的分类器就能更稳健地预测查询图像的标签。第二阶段利用第一阶段学习到的骨干网络和元分类器对未标记样本进行伪标签：

其中，为未标记数据集，为推断得到的伪标签。然后，该论文以每个类中的每个伪标签特征为条件，通过生成对抗网络GAN进一步引入噪声向量生成新特征，具体如下：

其中，表示生成器，输入为伪标签特征和高斯噪声向量。表示查询集中类别的真实特征分布，表示未标记数据集中类别的伪标签特征。为了避免生成器忽略噪声，两个向量通过逐元素相加而不是级联来融合，以确保类内特征多样性。表示判别器，将真实查询特征和生成的伪特征 作为输入，其中表示由类别的第个伪标签特征生成的第个伪特征。为了保证特征的可辨别性，生成的伪特征应与输入特征呈现相似的分布，并围绕输入特征分布，以保持紧凑性。为此，论文设计了以特征样本为中心的相似度量：

其中，表示每个伪标签特征生成的伪特征数量，为欧氏距离。

考虑到生成的噪声样本的干扰，为每个新生成的特征分配一个可靠性分数对于学习一个泛化能力良好的模型非常重要。因此，该论文开发了一种非参数RA指标，它就像一个软掩码，可以削弱噪声样本对元决策边界学习的负面影响。RA 指标表述如下：

其中，表示内积，是通过支持特征计算出的类别的初始原型，表示第个伪特征的可靠性分数。根据RA指标的限制，论文用来扩展得到增强集。

最后，在使用增强集调整元分类器时，论文采用基于度量的方法，将类别的初始原型矫正为，具体如下：

其中，。论文使用矫正后的类别原型来预测查询图像的最终标签。

（3）实验结果。

论文在四个常用的小样本学习基准（包括 miniImageNet、tiereredImageNet、CUB 和 CIFAR-FS）上对所提方法进行了评估，实验结果显示了方法的有效性，如图2，3所示。

论文利用可视化了小样本分类任务中的支持特征、生成特征和查询特征，如图4所示。可视化结果表明，生成的特征能更好地匹配真实查询特征，从而提高查询样本的分类准确率。

论文通过消融实验，说明了所提不同组件的有效性，如图5所示。

图2 miniImageNet和tiereredImageNet数据集上的实验结果

图3 CUB 和 CIFAR-FS数据集上的实验结果

图4 SFG方法生成样本分布的可视化

图5 消融实验

结论

这项工作旨在充分利用现实世界中随处可见的未标记样本，并提出了一种以样本为中心的特征生成（SFG）方法。该工作首先设计了一个以样本为中心的元生成模块，从每个伪标签样本中进行元学习，生成多样化且具有区分度的新特征。此外，还开发了一个 RA 指标，以削弱生成的特征异常值对模型学习的负面影响。实验结果表明，所提出的方法能大大提高元学习模型的分类精度。

撰稿人：叶春锦

审稿人：李景聪