您目前的位置: 首页» 新闻动态

实验室在领域泛化的跨场景高光谱图像分类方面论文被IEEE TIP接收

近日,bob手机在线登陆信息与电子学院博士生张宇翔、李伟教授和陶然教授,提出了一种“单源域扩展网络”,研究结果以《Single-source Domain Expansion Network for Cross-Scene Hyperspectral Image Classification》为题,发表于图像处理领域顶级期刊IEEE Transactions on Image Processing, (影响因子IF: 11.041)。

虽然深度领域自适应的方法在跨场景高光谱分类任务中取得长足发展,但在实际应用中仍存在一些问题,当平台计算资源低、实时性要求较高时,要求目标场景数据实时获取、实时预测。领域自适应方法都无法满足这一要求。如图1所示,领域自适应方法需要源场景数据和标签,以及目标场景数据都用于训练,忽略目标场景数据不可用于训练的情况,导致领域自适应方法实用性差。

image.png

图1领域自适应任务设定

在面向目标场景数据实时获取、实时预测的情况,领域泛化则更加适用。如图2所示,我们在训练阶段只需源域场景数据和标签,无需目标场景数据,就可以实现场景迁移。目前还没有针对跨场景高光谱图像分类的领域泛化研究。该任务的挑战在于缺乏目标场景先验数据,场景迁移难度大大提高。

image.png

图2领域泛化任务设定


领域泛化在CV中有一定的发展,但传统的领域泛化关注空间信息,忽略光谱信息,不适用于高光谱图像。如图3所示,例如学习随机化风格的方法只关注空间层面的多样性,光谱多样性差,而高光谱图像是空-谱合一的多维数据,需要做到空间和谱间的多维度多样性。


image.png

图3缺乏光谱信息

对此,本工作提出了提出基于领域泛化的跨场景分类框架,单源域扩展网络(SDEnet),其模型框架如图4所示。该方法在训练阶段只需源场景数据和标签,无需目标场景数据就可以实现场景迁移。设计空谱随机化的语义编码器,以及提取域不变特征的形态编码器,构建可靠且有效的扩展样本,并结合对比对抗学习策略从源域和扩展域中学习逐类别域不变表征。SDEnet首次引入领域泛化,实现无先验同构迁移,面向实时域泛化。

image.png

图4单源域扩展网络框架图

SDEnet总体分为生成器和判别器,生成器中设计了空谱随机化的语义编码器,提取域不变特征的形态编码器,生成可靠且有效的样本。判别器中引入有监督对比学习策略,用于指导判别器在多个域中学习逐类别的域不变表征。此外,设计对比对抗学习策略,指导生成器生成与源域样本差异性更大的样本。

在两个高光谱图像数据集和一个多光谱数据集上的大量实验证明了该方法与现有技术相比的优越性,如图5所示目标域类间可分性得到明显提高。如图6所示,SDEnet与领域泛化方法在目标场景Houston2018的预测分类图对比。

image.png

图5目标域可分性分析


image.png

(a) PDEN (75.98%) (b) LDSDG (73.55%)

image.png

(c) SagNet (73.64%) (d) SDEnet (80.11%)

图6目标场景Houston2018预测分类图

论文地址:doi:10.1109/TIP.2023.3243853

开源代码:https://github.com/YuxiangZhang-BIT/IEEE_TIP_SDEnet


Baidu
map