学习报告:LRSAR-Net语义分割模型用于新冠肺炎CT图片辅助诊断

LRSAR-Net语义分割模型用于新冠肺炎CT图片辅助诊断

      自2019年末新型冠状病毒(Cvoid-19)疫情在全球爆发以来,世界各国都处于疫情的危害之下。新冠病毒通过入侵人体的呼吸系统,造成肺部感染,甚至死亡。CT(Computed Tomography)图是医生对肺炎患者进行诊断常规方法。为了提高医生对新冠感染者进行诊断的效率,本文提出一种基于低秩张量自注意力重构的语义分割网络LRSAR-Net。

1、LRSAR-Net模型结构

图1 LRSAR-Net网络结构图

       低秩张量自注意力重构语义分割模型LRSAR-Net如图1所示。网络主要包括3个部分:编码器、解码器和低秩自注意力重构模块。

1.1 编码器

       用于获取图像的特征信息。可提出5个不同层面的多尺度信息,低层的特征主要用来获取图像的细节特征和位置信息,高层的特征为抽象的语义特征信息。主干网络以带有残差结构的ResNet50为例,并移除了全连接层进行图像信息编码。

1.2 解码器

       解码器用来聚集不同层次的特征信息。解码器可以将编码器提取到的特征与上采样特征图进行拼接,将不同层次的特征信息进行融合。

图2 解码层的上采样结构和通道注意力

       如图2(a)所示,特征图X1表示编码器特征,特征图 X2表示解码器的特征。特征图X2经过双线性插值上采样之后,与特征图X1从通道维度进行拼接。经过拼接的特征图输入到通道注意力模块(Squeeze Excitation Block, SE Block),最后得到特征图 Y。通道注意力模块的详细结构如图2(b)所示,特征图X经过全局平均池化GAP提取到通道权重信息Z,Z经过两个全连接层FC,将获取到的通道信息与特征图X相乘进行通道权重调整得到特征图Y。

1.3低秩张量自注意力模块

       低秩张量自注意力模块包括3个部分:低秩张量生成子模块、低秩自注意力子模块和高秩张量重构子模块。如图所示:

图3 低秩张量生成子模块

图4 低秩自注意力子模块

图5 高秩张量重构子模块

2、实验分割结果

       如图6所示是LRSAR-Net在新冠肺炎数据集上的分割效果,第一行为原始图片,其他行依次为毛玻璃、病变、胸腔积液和背景的分割结果。从图中可以发现毛玻璃和病变的样本比较少,在网络训练过程中作者改变了交叉熵损失函数的权重,来解决类别不平衡的问题。在数据集中,毛玻璃和病变两个类型比较重要并且在图像中占比较小,所以作者提升了两种疾病的权重,降低了背景类的权重。4个类别毛玻璃、病变、胸腔积液和背景的权重比为1:1:0.5:0.2。网络可以很好的分割出这两种肺部疾病类型。胸腔积液和背景类占比较大,网络可以分割出清晰的轮廓和类别。

图6 实验分割结果

3、结论

       基于低秩张量自注意力重构的语义分割网络LRSAR-Net来对新冠肺炎患者的CT图像进行分割。其中,低秩张量自注意力重构模块用来获取长范围的语义信息,与经典的自注意力模块Non-Local相比,参数和时间复杂度降低了50%。为了更好的获取通道权重信息,网络在上采样过程中添加了通道注意力来增强网络的学习能力。实验结果证明,低秩张量自注意力重构模块LRSAR Block可以获得长范围的语义信息有助于新冠肺炎患病情况进行监测。

4、参考文献:

https://jeit.ac.cn/cn/article/doi/10.11999/JEIT210917

撰稿人:李丽

审稿人:潘家辉


登录用户可以查看和发表评论, 请前往  登录 或  注册
SCHOLAT.com 学者网
免责声明 | 关于我们 | 用户反馈
联系我们: