High-resolution sub-meter satellite data play an increasingly crucial role in the 3D real-scene China construction initiative.Current research on 3D reconstruction using high-resolution satellite data primarily focuse...High-resolution sub-meter satellite data play an increasingly crucial role in the 3D real-scene China construction initiative.Current research on 3D reconstruction using high-resolution satellite data primarily focuses on two approaches:Multi-stereo fusion and multi-view matching.While algorithms based on these two methodologies for multi-view image 3D reconstruction have reached relative maturity,no systematic comparison has been conducted specifically on satellite data to evaluate the relative merits of multi-stereo fusion versus multi-view matching methods.This paper conducts a comparative analysis of the practical accuracy of both approaches using high-resolution satellite datasets from diverse geographical regions.To ensure fairness in accuracy comparison,both methodologies employ non-local dense matching for cost optimization.Results demonstrate that the multi-stereo fusion method outperforms multi-view matching in all evaluation metrics,exhibiting approximately 1.2%higher average matching accuracy and 10.7%superior elevation precision in the experimental datasets.Therefore,for 3D modeling applications using satellite data,we recommend adopting the multi-stereo fusion approach for digital surface model(DSM)product generation.展开更多
针对基于深度学习的多视图立体(Multi-view Stereo,MVS)重建算法仍然存在图像特征提取不全面、代价体匹配模糊以及深度误差不断积累而导致在无纹理和重复纹理区域重建效果差的问题,提出了基于上下文引导的代价体构建和深度细化的级联MV...针对基于深度学习的多视图立体(Multi-view Stereo,MVS)重建算法仍然存在图像特征提取不全面、代价体匹配模糊以及深度误差不断积累而导致在无纹理和重复纹理区域重建效果差的问题,提出了基于上下文引导的代价体构建和深度细化的级联MVS网络。首先,利用基于无参注意力的特征融合模块过滤无用特征并通过特征融合来解决多尺度特征不一致的问题;然后,利用基于上下文引导的代价体模块融合全局信息来提高代价体匹配的完整性和鲁棒性;最后,利用深度细化模块学习深度残差来提升低分辨下深度图的准确性。实验结果表明,在DTU数据集上,该网络相比MVSNet完整度误差减小了24.4%,准确度误差减小了4.1%,整体误差减小了14.3%,其在Tanks and Temples数据集上性能也优于大多数算法,展现出强大的竞争力。展开更多
针对当前深度学习在三维重建中难以从图像中提取全面的场景信息,以及未充分考虑视图间的深度一致性问题,提出具有自适应深度一致性和跨频注意力的多视图立体网络(ADCFA-MVSNet:Multi-View Stereo with Adaptive Depth Consistency and C...针对当前深度学习在三维重建中难以从图像中提取全面的场景信息,以及未充分考虑视图间的深度一致性问题,提出具有自适应深度一致性和跨频注意力的多视图立体网络(ADCFA-MVSNet:Multi-View Stereo with Adaptive Depth Consistency and Cross-Frequency Attention)。跨频注意力(CFA:Cross-Frequency Attention)模块整合图像内高频和低频信息,以及跨视图的全局场景信息,能更加全面地提取图像特征。自适应深度一致性(AD:Adaptive Depth Consistency)模块精确捕捉场景中的几何结构,动态考虑不同视图对深度一致性的贡献,在不同尺度上增强深度一致性。其创新之处在于利用全面的图像信息,确保几何一致性,从而在3D重建任务中取得优异的表现。实验结果表明,在DTU(Technical University of Denmark)数据集上精确度为0.319,完整度为0.285,整体得分为0.302,优于其他对比方法。在BlendedMVS数据集上,EPE(End-Point-Error)得分为0.27,e1得分为5.28,e3得分为1.84,同样优于对比方法。证明了ADCFA-MVSNet在提升多视图三维重建的完整度和精度方面的有效性,提高了多视图重建质量,取得了良好的重建效果。展开更多
针对双目结构光三维重建在左右图像的立体匹配过程中匹配基源选取不当造成的重建精度低等问题,提出一种基于绝对相位的匹配方法,从而降低误匹配率,提高重建精度。首先,在相移法与多频外差法求解的绝对相位基础上,利用极线约束对左右图...针对双目结构光三维重建在左右图像的立体匹配过程中匹配基源选取不当造成的重建精度低等问题,提出一种基于绝对相位的匹配方法,从而降低误匹配率,提高重建精度。首先,在相移法与多频外差法求解的绝对相位基础上,利用极线约束对左右图像像素点采用全局搜索与局部搜索创建搜索匹配区域;然后对搜索区域进行3次样条插值实现亚像素立体匹配;最后利用三角测距原理完成匹配点二维坐标到三维坐标的转换,实现对目标表面的三维重建。实验结果表明:本文提出的方法较绝对误差和(Sum of Absolute Differences,SAD)与误差平方和(Sum of Squared Differences,SDD)匹配算法在匹配耗时上缩短了87.77%,在重建精度上分别提高了77.75%和90%,具有较强的通用性和实用性。同时三维重建后的点云无水波纹现象,表面平整光滑更接近实物。展开更多
基于学习的多视图立体匹配算法目前成果显著,但是仍然存在的卷积感受野受限以及忽略图像频率信息导致在低纹理、重复和非兰伯曲面匹配性能不足的问题,针对以上问题提出了上下文增强与图像频率引导的多视图立体匹配网络CAF-MVSNet.首先,...基于学习的多视图立体匹配算法目前成果显著,但是仍然存在的卷积感受野受限以及忽略图像频率信息导致在低纹理、重复和非兰伯曲面匹配性能不足的问题,针对以上问题提出了上下文增强与图像频率引导的多视图立体匹配网络CAF-MVSNet.首先,在特征提取阶段,将上下文增强模块融合到特征金字塔网络中,有效地扩大网络的感受野.然后引入了图像频率引导注意力模块,通过编码图像的不同频率获取图像的线条、形状、纹理和颜色等信息,增强图像的远程上下文联系的同时进一步解决低纹理、重复和非兰伯曲面的精确匹配问题,以实现可靠的特征匹配.在DTU数据集上的实验结果显示,与经典的级联模型Cas MVSNet相比综合误差(overall)提升了12.3%,展现了优秀的性能.此外,在Tanks and Temples数据集上也取得了不错的效果,展现了良好的泛化性能.展开更多
文摘High-resolution sub-meter satellite data play an increasingly crucial role in the 3D real-scene China construction initiative.Current research on 3D reconstruction using high-resolution satellite data primarily focuses on two approaches:Multi-stereo fusion and multi-view matching.While algorithms based on these two methodologies for multi-view image 3D reconstruction have reached relative maturity,no systematic comparison has been conducted specifically on satellite data to evaluate the relative merits of multi-stereo fusion versus multi-view matching methods.This paper conducts a comparative analysis of the practical accuracy of both approaches using high-resolution satellite datasets from diverse geographical regions.To ensure fairness in accuracy comparison,both methodologies employ non-local dense matching for cost optimization.Results demonstrate that the multi-stereo fusion method outperforms multi-view matching in all evaluation metrics,exhibiting approximately 1.2%higher average matching accuracy and 10.7%superior elevation precision in the experimental datasets.Therefore,for 3D modeling applications using satellite data,we recommend adopting the multi-stereo fusion approach for digital surface model(DSM)product generation.
文摘针对基于深度学习的多视图立体(Multi-view Stereo,MVS)重建算法仍然存在图像特征提取不全面、代价体匹配模糊以及深度误差不断积累而导致在无纹理和重复纹理区域重建效果差的问题,提出了基于上下文引导的代价体构建和深度细化的级联MVS网络。首先,利用基于无参注意力的特征融合模块过滤无用特征并通过特征融合来解决多尺度特征不一致的问题;然后,利用基于上下文引导的代价体模块融合全局信息来提高代价体匹配的完整性和鲁棒性;最后,利用深度细化模块学习深度残差来提升低分辨下深度图的准确性。实验结果表明,在DTU数据集上,该网络相比MVSNet完整度误差减小了24.4%,准确度误差减小了4.1%,整体误差减小了14.3%,其在Tanks and Temples数据集上性能也优于大多数算法,展现出强大的竞争力。
文摘针对当前深度学习在三维重建中难以从图像中提取全面的场景信息,以及未充分考虑视图间的深度一致性问题,提出具有自适应深度一致性和跨频注意力的多视图立体网络(ADCFA-MVSNet:Multi-View Stereo with Adaptive Depth Consistency and Cross-Frequency Attention)。跨频注意力(CFA:Cross-Frequency Attention)模块整合图像内高频和低频信息,以及跨视图的全局场景信息,能更加全面地提取图像特征。自适应深度一致性(AD:Adaptive Depth Consistency)模块精确捕捉场景中的几何结构,动态考虑不同视图对深度一致性的贡献,在不同尺度上增强深度一致性。其创新之处在于利用全面的图像信息,确保几何一致性,从而在3D重建任务中取得优异的表现。实验结果表明,在DTU(Technical University of Denmark)数据集上精确度为0.319,完整度为0.285,整体得分为0.302,优于其他对比方法。在BlendedMVS数据集上,EPE(End-Point-Error)得分为0.27,e1得分为5.28,e3得分为1.84,同样优于对比方法。证明了ADCFA-MVSNet在提升多视图三维重建的完整度和精度方面的有效性,提高了多视图重建质量,取得了良好的重建效果。
文摘针对双目结构光三维重建在左右图像的立体匹配过程中匹配基源选取不当造成的重建精度低等问题,提出一种基于绝对相位的匹配方法,从而降低误匹配率,提高重建精度。首先,在相移法与多频外差法求解的绝对相位基础上,利用极线约束对左右图像像素点采用全局搜索与局部搜索创建搜索匹配区域;然后对搜索区域进行3次样条插值实现亚像素立体匹配;最后利用三角测距原理完成匹配点二维坐标到三维坐标的转换,实现对目标表面的三维重建。实验结果表明:本文提出的方法较绝对误差和(Sum of Absolute Differences,SAD)与误差平方和(Sum of Squared Differences,SDD)匹配算法在匹配耗时上缩短了87.77%,在重建精度上分别提高了77.75%和90%,具有较强的通用性和实用性。同时三维重建后的点云无水波纹现象,表面平整光滑更接近实物。
文摘基于学习的多视图立体匹配算法目前成果显著,但是仍然存在的卷积感受野受限以及忽略图像频率信息导致在低纹理、重复和非兰伯曲面匹配性能不足的问题,针对以上问题提出了上下文增强与图像频率引导的多视图立体匹配网络CAF-MVSNet.首先,在特征提取阶段,将上下文增强模块融合到特征金字塔网络中,有效地扩大网络的感受野.然后引入了图像频率引导注意力模块,通过编码图像的不同频率获取图像的线条、形状、纹理和颜色等信息,增强图像的远程上下文联系的同时进一步解决低纹理、重复和非兰伯曲面的精确匹配问题,以实现可靠的特征匹配.在DTU数据集上的实验结果显示,与经典的级联模型Cas MVSNet相比综合误差(overall)提升了12.3%,展现了优秀的性能.此外,在Tanks and Temples数据集上也取得了不错的效果,展现了良好的泛化性能.
