目的随着视觉大模型的发展,利用多源无标注遥感影像预训练学习全局视觉特征,并在局部目标任务上进行迁移微调,已成为遥感影像领域自适应的一种新范式。然而,现有的全局预训练策略主要聚焦于学习低级的通用视觉特征,难以捕捉复杂、高层...目的随着视觉大模型的发展,利用多源无标注遥感影像预训练学习全局视觉特征,并在局部目标任务上进行迁移微调,已成为遥感影像领域自适应的一种新范式。然而,现有的全局预训练策略主要聚焦于学习低级的通用视觉特征,难以捕捉复杂、高层次的语义关联。此外,微调过程中使用的少量标注样本往往只反映目标域的特定场景,无法充分激活全局模型中与目标域匹配的领域知识。因此,面对复杂多变的遥感影像跨时空领域偏移,现有方法得到的全局模型与目标任务之间仍然存在巨大的语义鸿沟。为应对这一挑战,本文提出一种语言文本引导的“全局模型预训练—局部模型微调”的领域自适应框架。方法提出框架针对遥感数据的时空异质性特点,借助大型视觉语言助手LLaVA(large language and vision assistant)生成包含季节、地理区域及地物分布等时空信息的遥感影像文本描述。通过语言文本引导的学习帮助全局模型挖掘地物的时空分布规律,增强局部任务微调时相关领域知识的激活。结果在对比判别式、掩码生成式和扩散生成式3种不同全局预训练策略上设置了3组“全局—局部”跨时空领域自适应语义分割实验来验证提出框架的有效性。以全局→局部(长沙)为例,使用语言文本引导相比于无文本引导在3种不同预训练策略上分别提升了8.7%、4.4%和2.9%。同样地,提出框架在全局→局部(湘潭)和全局→局部(武汉)上也都有性能提升。结论证明了语言文本对准确理解跨时空遥感影像中的语义内容具有积极影响。与无文本引导的学习方法相比,提出框架显著提升了模型的迁移性能。展开更多
精细的田块数据是现代农业的重要基础资料,该研究针对从高分辨率遥感影像中提取田块精细数据的需求,建立了一种先验知识融合语义特征的冬小麦田块精细提取方法(prior knowledge and semantic features integration-based farmland parce...精细的田块数据是现代农业的重要基础资料,该研究针对从高分辨率遥感影像中提取田块精细数据的需求,建立了一种先验知识融合语义特征的冬小麦田块精细提取方法(prior knowledge and semantic features integration-based farmland parcel extraction methodology,PKFFPE),PKFFPE以遥感图像和相应的边缘图像作为输入,采用编码器-解码器结构进行特征提取,利用多尺度注意力模块捕获不同尺度的关键特征,使用SoftMax对图像进行初步分割;通过深入分析同一田块内颜色、纹理等特征的分布规律获取先验知识,利用先验知识建立后处理方法,对初分割结果进行优化,生成田块精细数据。选择河北省邯郸市馆陶县和山东省泰安市宁阳县作为试验区,用于验证PKFFPE方法在平原地区和丘陵地区的适用性;选择UNet、ErfNet、SegNet、EIGNet,以及面向对象分类的方法作为初分割的对比方法,选择条件随机场和形态学处理作为的后处理的对比方法开展对比试验。试验结果表明,PKFFPE方法在馆陶县、宁阳县结果的准确率(96.1%、93.2%)、精确率(90.6%、87.6%)、召回率(93.2%、90.6%)、和F1分数(91.9%,89.0%)均优于对比方法,证明了PKFFPE方法在从高分辨遥感影像中提取田块精细数据方面具有突出的优势,能够应用于科研和生产实践。展开更多
低秩稀疏分解方法因其好的检测性能在红外小目标检测领域受到广泛关注。然而,现有低秩稀疏分解方法在复杂场景中仍然面临检测性能不高、检测速度较慢等问题。虽然现有的低秩塔克分解方法在复杂场景下取得了令人满意的检测性能,但其需依...低秩稀疏分解方法因其好的检测性能在红外小目标检测领域受到广泛关注。然而,现有低秩稀疏分解方法在复杂场景中仍然面临检测性能不高、检测速度较慢等问题。虽然现有的低秩塔克分解方法在复杂场景下取得了令人满意的检测性能,但其需依赖经验预先定义秩:若秩估计过大或过小,会导致漏检或虚警。而且,不同场景中秩的大小不一样,限制了实际应用。为了解决这一问题,本文采用非凸秩接近范数约束低秩塔克分解的潜在因子,无需手动设置秩,从而显著提升了算法在不同场景中的鲁棒性。进一步地,设计了基于对称高斯-赛德尔的交替方向乘子法(symmetric GaussSeidel based alternating direction method of multipliers algorithm,sGSADMM)来求解所提模型。与现有基于交替方向乘子法相比,sGSADMM算法通过利用更多结构信息,实现了更高的求解精度。大量实验表明,所提方法在检测性能和背景抑制等方面均优于现有的先进算法。展开更多
文摘目的随着视觉大模型的发展,利用多源无标注遥感影像预训练学习全局视觉特征,并在局部目标任务上进行迁移微调,已成为遥感影像领域自适应的一种新范式。然而,现有的全局预训练策略主要聚焦于学习低级的通用视觉特征,难以捕捉复杂、高层次的语义关联。此外,微调过程中使用的少量标注样本往往只反映目标域的特定场景,无法充分激活全局模型中与目标域匹配的领域知识。因此,面对复杂多变的遥感影像跨时空领域偏移,现有方法得到的全局模型与目标任务之间仍然存在巨大的语义鸿沟。为应对这一挑战,本文提出一种语言文本引导的“全局模型预训练—局部模型微调”的领域自适应框架。方法提出框架针对遥感数据的时空异质性特点,借助大型视觉语言助手LLaVA(large language and vision assistant)生成包含季节、地理区域及地物分布等时空信息的遥感影像文本描述。通过语言文本引导的学习帮助全局模型挖掘地物的时空分布规律,增强局部任务微调时相关领域知识的激活。结果在对比判别式、掩码生成式和扩散生成式3种不同全局预训练策略上设置了3组“全局—局部”跨时空领域自适应语义分割实验来验证提出框架的有效性。以全局→局部(长沙)为例,使用语言文本引导相比于无文本引导在3种不同预训练策略上分别提升了8.7%、4.4%和2.9%。同样地,提出框架在全局→局部(湘潭)和全局→局部(武汉)上也都有性能提升。结论证明了语言文本对准确理解跨时空遥感影像中的语义内容具有积极影响。与无文本引导的学习方法相比,提出框架显著提升了模型的迁移性能。
文摘精细的田块数据是现代农业的重要基础资料,该研究针对从高分辨率遥感影像中提取田块精细数据的需求,建立了一种先验知识融合语义特征的冬小麦田块精细提取方法(prior knowledge and semantic features integration-based farmland parcel extraction methodology,PKFFPE),PKFFPE以遥感图像和相应的边缘图像作为输入,采用编码器-解码器结构进行特征提取,利用多尺度注意力模块捕获不同尺度的关键特征,使用SoftMax对图像进行初步分割;通过深入分析同一田块内颜色、纹理等特征的分布规律获取先验知识,利用先验知识建立后处理方法,对初分割结果进行优化,生成田块精细数据。选择河北省邯郸市馆陶县和山东省泰安市宁阳县作为试验区,用于验证PKFFPE方法在平原地区和丘陵地区的适用性;选择UNet、ErfNet、SegNet、EIGNet,以及面向对象分类的方法作为初分割的对比方法,选择条件随机场和形态学处理作为的后处理的对比方法开展对比试验。试验结果表明,PKFFPE方法在馆陶县、宁阳县结果的准确率(96.1%、93.2%)、精确率(90.6%、87.6%)、召回率(93.2%、90.6%)、和F1分数(91.9%,89.0%)均优于对比方法,证明了PKFFPE方法在从高分辨遥感影像中提取田块精细数据方面具有突出的优势,能够应用于科研和生产实践。
文摘低秩稀疏分解方法因其好的检测性能在红外小目标检测领域受到广泛关注。然而,现有低秩稀疏分解方法在复杂场景中仍然面临检测性能不高、检测速度较慢等问题。虽然现有的低秩塔克分解方法在复杂场景下取得了令人满意的检测性能,但其需依赖经验预先定义秩:若秩估计过大或过小,会导致漏检或虚警。而且,不同场景中秩的大小不一样,限制了实际应用。为了解决这一问题,本文采用非凸秩接近范数约束低秩塔克分解的潜在因子,无需手动设置秩,从而显著提升了算法在不同场景中的鲁棒性。进一步地,设计了基于对称高斯-赛德尔的交替方向乘子法(symmetric GaussSeidel based alternating direction method of multipliers algorithm,sGSADMM)来求解所提模型。与现有基于交替方向乘子法相比,sGSADMM算法通过利用更多结构信息,实现了更高的求解精度。大量实验表明,所提方法在检测性能和背景抑制等方面均优于现有的先进算法。
