MICS科研简讯第四十九期
研究背景介绍
获取大规模的全标注数据，特别是医学图像数据，需要花费大量的时间。涂鸦标注，如图1所示，作为一种部分标注，在实际应用场景下相比于全标注数据更容易获得。然而涂鸦标注提供的信息有限，利用其训练分割模型非常具有挑战性。现有的基于涂鸦标注的分割方法主要有两类。第一类利用先验假设来扩展标注区域[5]，比如将具有相似灰度值和位置的像素标注为相同类别[1,4]。然而，这种扩展标注的方式可能会生成很多带有噪声的标签，从而影响模型的性能。第二类方法通过对抗学习的方式习得形状先验，但是需要利用额外的全标注标签数据[3,6]。因此，基于弱监督学习算法，仅利用涂鸦标注，训练性能与全监督模型相当的分割模型，是一个符合实际需求又具有挑战性的问题。针对上述问题，今天为大家介绍一种基于涂鸦标注的医学图像分割方法[7]，该论文已被CVPR接收。
图1涂鸦标注和全标注示例与对比
一、CycleMix:基于涂鸦标注的医学图像分割方法
1.简介
我们提出了一种新的基于涂鸦标注的医学图像分割框架，这一框架由混合数据增强(Mix)和循环一致性约束(Cycle)组成，因而被称为CycleMix。为了实现监督增广，CycleMix通过图像混合和随机遮挡，来增加和减少图像涂鸦标注。为了约束未标注的区域，CycleMix对训练目标在全局和局部两个维度上分别应用了一致性约束，来惩罚不一致的分割结果，从而使模型的分割性能得到显著提升。
2.方法
图2展示了CycleMix的算法框架，主要由图像混合增广(MixAugmentation)和循环一致性约束(CycleConsistency)组成。其中两个蓝色的虚线框代表了相同的图像混合增广方法。网络的损失函数由监督损失和一致性损失两部分组成，其中监督损失用红色表示，而一致性损失用绿色表示。
图2CycleMix的整体算法流程
2.1图像混合策略
我们推测，当涂鸦标注增多的时候，更多的标注像素将会带来更好的梯度流，从而使模型受益。因此，我们通过混合两个图像，来最大化混合图像涂鸦标注的显著性(Saliency)。在这里，我们采用了PuzzleMix[2]的方法来利用saliency和局部统计特征。之后,为了进一步增强涂鸦监督，我们提出随机遮挡策略，来随机将一部分混合图像替换为背景。图3展示了图像混合策略的操作，并可视化了混合后的图像及涂鸦标注。最后，我们对混合前后的图像的标注像素分别计算交叉熵损失，称为监督损失。
图3图像混合增广方法
2.2循环一致性约束
下面我们将介绍两项一致性约束损失，分别为全局和局部一致性约束损失。全局一致性约束的目标是利用图像混合不变的性质，也就是要求同样的图像块在混合图像和原始图像中的分割结果应当保持一致。因此，我们提出全局一致性损失来惩罚不一致的分割结果。但是，图像混合的策略往往导致混合后的图像中出现同一解剖结构不连续的情况。这种情况导致分割模型难以学习目标结构完整的形状先验。为了约束分割结构作为一个内部互相连通的整体，我们提出了局部一致性约束来消除不连续的分割结果，即要求分割结果和与其最大连通区域保持一致。图4展示了分割结果及其应用的循环一致性约束的方法。
图4循环一致性约束方法
3.实验及结果
本方法在两个心脏分割的公开数据集，ACDC和MSCMRseg上进行了验证。在ACDC数据集上，为了和利用额外全标注标签的对抗学习方法进行对比，我们仅使用一半的涂鸦标注训练数据(35scribbles)。而在MSCMRseg数据集上，由于其数据比较少(25个)，我们应用全部的涂鸦标注数据进行训练。表1展示了CycleMix的分割性能，我们和不同的数据增强方法，如Mixup，Cutout，Cutmix，PuzzleMix和Comixup进行对比,并展示了全监督的结果作为参考。从表中我们可以看到，PuzzleMix在涂鸦标注情况下表现较差，在ACDC和MSCMRseg上分别仅达到了62.4%和24.1%的DiceScore。而当应用了我们提出的数据增强和约束方法后，CycleMix将PuzzleMix的性能分别在两个数据集上提升到了84.8%和80.0%，分别带来了22.4%和55.9%DiceScore的提升。同时，我们可以观察到，弱标注的CycleMix的效果超过了全监督的UNe(84.8%vs84.0%)和PuzzleMi(80.0%vs78.9%),展示了CycleMix具有匹配全监督方法的分割性能。
表1ACDC和MSCMRseg数据集上CycleMix和其他数据增强方法的对比
图5在两个数据集中根据全监督UNet的分割结果挑选了最差和中等的例子并进行可视化。从图中可以看到，CycleMix取得了最好的效果。从图中我们观察到，如果直接应用PuzzleMix，在弱监督情况下分割模型效果欠佳，这可能是由于基于图像块迁移的混合操作容易改变目标结构的形状特征，从而导致模型更难以学习形状先验。而CycleMix通过应用一致性约束克服了上述不足。
图5分割结果在ACDC和MSCMR上的可视化
4.总结
在这篇文章中，我们研究了一种新的弱监督学习框架，即CycleMix，以利用涂鸦标注训练分割模型。这个方法使用了基于弱监督的混合增广和分割结果的循环一致性来增强分割模型的泛化能力。CycleMix在两个公开数据集上分别进行了验证(ACDC和MSCMRseg)，并取得了匹配甚至超越全监督方法的分割性能。我们的代码和数据将在github上公布，欢迎大家使用和提出宝贵意见，链接为：