2.Semantic Segmentation with Generative Models
Abstract
现状
- 减少训练对人工标注数据集的依赖，用有限的标记数据达到很强的泛化能力，这是半监督的目标。
创新
- 提出一个使用生成图像和标签的生成性模型，来进行像素级别的区分任务
方法
- 训练生成对抗网络：联合图像标签分布，用大量无标签图像补偿少标签的样本
- 在SyleGAN2网络上构建框架，加强标签合成分支
- 在测试时的图像标注，通过编码网络和测试时优化器，然后从推理嵌入中生成标签
总结
- 在医疗图像分割和部分人脸分割，和基准相比，我们的方法展示了强大的域外泛化能力
1.Introduction
动机
- 深度网络需要大量数据，去实现高精度。但会有过拟合问题，然后是图像标注耗时、昂贵
意义
- 减少对训练数据的依赖，仍然达到极好的表现、强大的泛化能力
技术
- 通过最新的对比学习半监督训练，得到强大的特征提取器，然后只需少量标签，因为特征已经隐式编码了语义信息
问题
- 半监督学习不对输入数据的分布进行显示建模，造成过拟合，然后就是有标注的语义图像很少
贡献
- 提出了基于最新的StyleGAN2并允许半监督训练的模型。我们是第一个处理语义分割，使用纯生成方法直接对联合图像标签分布进行建模
- 在医疗和人脸图像数据上进行了验证，在半监督的设置下，我们的结果相同或更好比起基准
- 我们展示了强大的泛化能力在域外分割任务，并定性的展示了可解释的表现。
2.Related work
Semi-Supervised Learning and Semantic Segmentation
- 我们方法是学习强大的特征来生成图像本身，而不是辅助pre-task
- 我们只使用对比对象并且不用交叉熵项，生成器建立联合p(x,y)模型
- 使用生成性模型作为测试时语义输出的解码器
Generator Inversion
- 我们方法的关键部分就是GAN生成器的反演，在测试时推理出标记新图片潜在的嵌入
Generative Models for Image Understanding
3.Method
overview
- GAN p(x,y)由z隐式定义，z是正态分布的潜在变量。x,y,z条件独立。
首先由编码器和test-time optimization推断它的嵌入z，然后合成标签，标注x
motivation
- 只需少量样本：半监督
泛化性：对生成的，使用了正态分布
model
- 生成器：基于StyleGAN2
判别器：Dr和Dm
编码器和W+ - 空间
