卫星联合数据集与中间损失引导的交互式自监督空谱融合方法 | 青促视界

受遥感传感器物理条件的制约，遥感图像空间分辨率与光谱分辨率通常难以同时提高。空谱融合技术正是面向这一空谱矛盾发展起来的图像融合方法，其目标是在保持多光谱图像（MS）光谱特性的同时，融入全色图像（PAN）的空间信息，从而获得高空间分辨率多光谱图像（HRMS）。

目前，深度学习空谱融合方法仍面临跨传感器泛化能力不足、中间特征过程缺少约束、PAN与MS像素级局部相关性利用不充分等问题。

针对上述不足，中国科学院空天信息创新研究院（空天院）研究员、中国科学院青促会会员郭擎研究团队提出由联合卫星数据与中间损失引导的交互式自监督空谱融合网络（ISPN）。该方法通过空间流、光谱流和先验流的协同交互，实现空间细节注入、光谱信息保持与局部先验约束，并利用多卫星联合数据训练提升模型的跨传感器适应能力。

卫星联合数据集与中间损失引导的交互式自监督空谱融合网络（ISPN）

ISPN网络架构以原始PAN、上采样MS和由像素间相关性（IPC）构造的先验图像（PI）作为三路输入，分别通过空间流、光谱流和先验流提取空间结构、光谱特征与局部相关性信息。随后，各分支通过空间细节注入模块（SDIM）实现交互，并由解码器生成高分辨率多光谱图像（HRMS）。

·像素间相关性先验构建：IPC根据低频PAN与各MS波段的局部相关性计算像素级权重，并将PAN高频细节自适应注入上采样MS各波段，生成先验图像PI。

·多层深度残差特征提取模块：MDREM由多个深度残差层组成，用于提取层次化深度特征，并通过残差学习增强信息传递与特征表达能力。

·空间与光谱注意力模块：空间注意力模块通过池化、卷积和Sigmoid生成注意力图，以突出边缘与纹理细节；光谱注意力模块利用全局平均池化和1×1卷积重标定通道响应，以强化关键光谱信息。

·三流交互与周期性先验约束：ISPN将空间高频细节逐级注入光谱流，在增强空间结构的同时保持光谱一致性。先验流每三个SDIM模块进行一次约束注入，用于稳定空谱交互并抑制光谱失真。

·中间损失与全局损失函数：联合损失函数由LSS、LSC和LGB组成，分别利用SSIM、SAM和KL散度约束空间结构、光谱关系与全局融合质量，从而同时优化中间特征提取和最终融合结果。

·联合卫星数据集：实验构建GF系列联合卫星数据集用于训练与验证，并采用WV-2数据集测试跨传感器泛化能力。联合训练引入不同空间分辨率、辐射分辨率和传感器响应的数据，有助于降低模型对单一卫星特征的依赖。

测试结果

研究团队选取九种代表性方法进行对比，包括传统方法（NND、GS）、监督深度学习方法（DRPNN、BiMPan、MSDDN、UTeRM）以及自监督深度学习方法（PANGAN、LDPNet、SSDiff）。以GF-1与WV-2卫星的测试结果为例：

·GF-1卫星的测试结果

GF-1影像融合结果相比传统方法和其他深度学习方法，ISPN在建筑边缘、道路纹理及局部放大区域中表现出更清晰的空间结构，同时较好保持了原始MS的光谱一致性，体现出更优的空谱融合效果。

GF-1客观评价结果表明，ISPN在QNR、Dλ和DS等指标上均取得较优表现，并在SSIM、ERGAS等评价中保持较强竞争力，说明该方法能够较好平衡空间细节增强与光谱信息保持。

·WV-2卫星的测试结果

从WV-2跨传感器融合结果看，在与GF系列存在明显差异的WV-2数据上，ISPN仍能较好保持建筑轮廓、道路边缘和局部纹理细节，且色彩接近原始MS图像，表现出较强的跨传感器泛化能力。

WV-2客观评价结果表明，ISPN在SAM、CC、SSIM、ERGAS、Q4、Dλ、DS和QNR等指标上均表现突出，说明其在光谱保真、空间细节保持和整体融合质量方面具有较好优势，也验证了联合数据训练与中间损失约束对跨传感器泛化的有效性。

研究成果以“Interactive Self-Supervised Pansharpening Network Guided by Joint Satellite Data and Intermediate Loss”为题，已发表于遥感领域国际学术期刊《IEEE Journal of Selected Topics in Applied Earth Observations and Remote Sensing》，研究工作得到国家自然科学基金项目资助。

以上内容由中国遥感卫星地面站郭擎提供。

原文链接：http://t.cn/AXaE5aqq