High-resolution sub-meter satellite data play an increasingly crucial role in the 3D real-scene China construction initiative.Current research on 3D reconstruction using high-resolution satellite data primarily focuse...High-resolution sub-meter satellite data play an increasingly crucial role in the 3D real-scene China construction initiative.Current research on 3D reconstruction using high-resolution satellite data primarily focuses on two approaches:Multi-stereo fusion and multi-view matching.While algorithms based on these two methodologies for multi-view image 3D reconstruction have reached relative maturity,no systematic comparison has been conducted specifically on satellite data to evaluate the relative merits of multi-stereo fusion versus multi-view matching methods.This paper conducts a comparative analysis of the practical accuracy of both approaches using high-resolution satellite datasets from diverse geographical regions.To ensure fairness in accuracy comparison,both methodologies employ non-local dense matching for cost optimization.Results demonstrate that the multi-stereo fusion method outperforms multi-view matching in all evaluation metrics,exhibiting approximately 1.2%higher average matching accuracy and 10.7%superior elevation precision in the experimental datasets.Therefore,for 3D modeling applications using satellite data,we recommend adopting the multi-stereo fusion approach for digital surface model(DSM)product generation.展开更多
针对基于深度学习的多视图立体(Multi-view Stereo,MVS)重建算法仍然存在图像特征提取不全面、代价体匹配模糊以及深度误差不断积累而导致在无纹理和重复纹理区域重建效果差的问题,提出了基于上下文引导的代价体构建和深度细化的级联MV...针对基于深度学习的多视图立体(Multi-view Stereo,MVS)重建算法仍然存在图像特征提取不全面、代价体匹配模糊以及深度误差不断积累而导致在无纹理和重复纹理区域重建效果差的问题,提出了基于上下文引导的代价体构建和深度细化的级联MVS网络。首先,利用基于无参注意力的特征融合模块过滤无用特征并通过特征融合来解决多尺度特征不一致的问题;然后,利用基于上下文引导的代价体模块融合全局信息来提高代价体匹配的完整性和鲁棒性;最后,利用深度细化模块学习深度残差来提升低分辨下深度图的准确性。实验结果表明,在DTU数据集上,该网络相比MVSNet完整度误差减小了24.4%,准确度误差减小了4.1%,整体误差减小了14.3%,其在Tanks and Temples数据集上性能也优于大多数算法,展现出强大的竞争力。展开更多
森林特征参数是评估森林生态系统生长状况的关键指标,为高效、精确地估测森林特征参数,本研究探索结合无人机技术和DNN(Deep neural network)模型的森林特征参数的估测方法,并通过SHAP(Shapley additive explanations)方法提高模型预测...森林特征参数是评估森林生态系统生长状况的关键指标,为高效、精确地估测森林特征参数,本研究探索结合无人机技术和DNN(Deep neural network)模型的森林特征参数的估测方法,并通过SHAP(Shapley additive explanations)方法提高模型预测的可解释性。使用无人机高分辨率影像作为数据源,利用DNN对平均胸径(Average diameter at breast height,AD)、林分胸高断面积(Area of forest stand at breast height,BA)、Lorey's树高(Lorey's tree heights,HL)、样地地上生物量(Above-ground biomass of sample plots,AGB)等森林特征参数进行估测。设计了多层次的DNN模型处理和分析影像数据,预测森林特征参数。同时,采用SHAP方法对DNN模型的预测结果进行可解释性分析,以理解每个特征在模型预测中的作用。深度学习DNN模型可以利用DAP(Digital aerial photograph)数据中获取的二维光谱特征和三维点云特征进行森林特征参数的估测模型构建。BA和AGB参数的估测模型性能从大到小为DOM+DAP点云、DOM(Digital orthophoto mosaic)、DAP点云,BA和AGB最优模型的R2平均值分别为0.7438、0.7762,而AD和HL的参数估测模型性能从大到小排序为DOM+DAP点云、DAP点云、DOM,AD和HL最优模型的R2平均值分别为0.6133、0.7276。SHAP值反映了每个特征变量对预测结果的贡献,树高变异系数在各模型中均占据了较为重要的位置,点云高度变量对特征参数具有更高的解释能力。DNN模型具有较高的估测精度,而SHAP方法提升了模型预测结果的解释性,同时强调了点云变量在整体预测模型中的重要性。这表明现代遥感技术与先进的机器学习方法相结合,可为利用无人机数字航空摄影技术进行森林资源调查监测提供必要的技术支持。展开更多
针对当前深度学习在三维重建中难以从图像中提取全面的场景信息,以及未充分考虑视图间的深度一致性问题,提出具有自适应深度一致性和跨频注意力的多视图立体网络(ADCFA-MVSNet:Multi-View Stereo with Adaptive Depth Consistency and C...针对当前深度学习在三维重建中难以从图像中提取全面的场景信息,以及未充分考虑视图间的深度一致性问题,提出具有自适应深度一致性和跨频注意力的多视图立体网络(ADCFA-MVSNet:Multi-View Stereo with Adaptive Depth Consistency and Cross-Frequency Attention)。跨频注意力(CFA:Cross-Frequency Attention)模块整合图像内高频和低频信息,以及跨视图的全局场景信息,能更加全面地提取图像特征。自适应深度一致性(AD:Adaptive Depth Consistency)模块精确捕捉场景中的几何结构,动态考虑不同视图对深度一致性的贡献,在不同尺度上增强深度一致性。其创新之处在于利用全面的图像信息,确保几何一致性,从而在3D重建任务中取得优异的表现。实验结果表明,在DTU(Technical University of Denmark)数据集上精确度为0.319,完整度为0.285,整体得分为0.302,优于其他对比方法。在BlendedMVS数据集上,EPE(End-Point-Error)得分为0.27,e1得分为5.28,e3得分为1.84,同样优于对比方法。证明了ADCFA-MVSNet在提升多视图三维重建的完整度和精度方面的有效性,提高了多视图重建质量,取得了良好的重建效果。展开更多
针对双目结构光三维重建在左右图像的立体匹配过程中匹配基源选取不当造成的重建精度低等问题,提出一种基于绝对相位的匹配方法,从而降低误匹配率,提高重建精度。首先,在相移法与多频外差法求解的绝对相位基础上,利用极线约束对左右图...针对双目结构光三维重建在左右图像的立体匹配过程中匹配基源选取不当造成的重建精度低等问题,提出一种基于绝对相位的匹配方法,从而降低误匹配率,提高重建精度。首先,在相移法与多频外差法求解的绝对相位基础上,利用极线约束对左右图像像素点采用全局搜索与局部搜索创建搜索匹配区域;然后对搜索区域进行3次样条插值实现亚像素立体匹配;最后利用三角测距原理完成匹配点二维坐标到三维坐标的转换,实现对目标表面的三维重建。实验结果表明:本文提出的方法较绝对误差和(Sum of Absolute Differences,SAD)与误差平方和(Sum of Squared Differences,SDD)匹配算法在匹配耗时上缩短了87.77%,在重建精度上分别提高了77.75%和90%,具有较强的通用性和实用性。同时三维重建后的点云无水波纹现象,表面平整光滑更接近实物。展开更多
传统的立体匹配算法主要基于单帧的双目图片进行视差估计,在遮挡、弱纹理、镜面等情况下往往无法预测出较好的视差值。论文提出了一种基于多帧视差估计的立体匹配算法(Multi-View Semi Global Matching,MVSGM),在计算立体匹配初始代价...传统的立体匹配算法主要基于单帧的双目图片进行视差估计,在遮挡、弱纹理、镜面等情况下往往无法预测出较好的视差值。论文提出了一种基于多帧视差估计的立体匹配算法(Multi-View Semi Global Matching,MVSGM),在计算立体匹配初始代价时会将当前帧投影到参考帧上获取代价信息进行融合。同时,针对视差估计边界模糊等情况,提出了一种基于二阶梯度约束的改进全局平滑算法(Improved Fast Global Smooth,IFGS),该算法兼具了快速求解性和较好的平滑效果。论文使用Middlebury、ETH3D和KITTI数据集进行测试,对经典SGM方法分别添加多帧代价融合和快速全局平滑进行消融实验,最终获取的视差图在误差指标RMSE、AVGE和bad2.0上均有较大幅度提升,证明了该方法的有效性。展开更多
文摘High-resolution sub-meter satellite data play an increasingly crucial role in the 3D real-scene China construction initiative.Current research on 3D reconstruction using high-resolution satellite data primarily focuses on two approaches:Multi-stereo fusion and multi-view matching.While algorithms based on these two methodologies for multi-view image 3D reconstruction have reached relative maturity,no systematic comparison has been conducted specifically on satellite data to evaluate the relative merits of multi-stereo fusion versus multi-view matching methods.This paper conducts a comparative analysis of the practical accuracy of both approaches using high-resolution satellite datasets from diverse geographical regions.To ensure fairness in accuracy comparison,both methodologies employ non-local dense matching for cost optimization.Results demonstrate that the multi-stereo fusion method outperforms multi-view matching in all evaluation metrics,exhibiting approximately 1.2%higher average matching accuracy and 10.7%superior elevation precision in the experimental datasets.Therefore,for 3D modeling applications using satellite data,we recommend adopting the multi-stereo fusion approach for digital surface model(DSM)product generation.
文摘针对基于深度学习的多视图立体(Multi-view Stereo,MVS)重建算法仍然存在图像特征提取不全面、代价体匹配模糊以及深度误差不断积累而导致在无纹理和重复纹理区域重建效果差的问题,提出了基于上下文引导的代价体构建和深度细化的级联MVS网络。首先,利用基于无参注意力的特征融合模块过滤无用特征并通过特征融合来解决多尺度特征不一致的问题;然后,利用基于上下文引导的代价体模块融合全局信息来提高代价体匹配的完整性和鲁棒性;最后,利用深度细化模块学习深度残差来提升低分辨下深度图的准确性。实验结果表明,在DTU数据集上,该网络相比MVSNet完整度误差减小了24.4%,准确度误差减小了4.1%,整体误差减小了14.3%,其在Tanks and Temples数据集上性能也优于大多数算法,展现出强大的竞争力。
文摘森林特征参数是评估森林生态系统生长状况的关键指标,为高效、精确地估测森林特征参数,本研究探索结合无人机技术和DNN(Deep neural network)模型的森林特征参数的估测方法,并通过SHAP(Shapley additive explanations)方法提高模型预测的可解释性。使用无人机高分辨率影像作为数据源,利用DNN对平均胸径(Average diameter at breast height,AD)、林分胸高断面积(Area of forest stand at breast height,BA)、Lorey's树高(Lorey's tree heights,HL)、样地地上生物量(Above-ground biomass of sample plots,AGB)等森林特征参数进行估测。设计了多层次的DNN模型处理和分析影像数据,预测森林特征参数。同时,采用SHAP方法对DNN模型的预测结果进行可解释性分析,以理解每个特征在模型预测中的作用。深度学习DNN模型可以利用DAP(Digital aerial photograph)数据中获取的二维光谱特征和三维点云特征进行森林特征参数的估测模型构建。BA和AGB参数的估测模型性能从大到小为DOM+DAP点云、DOM(Digital orthophoto mosaic)、DAP点云,BA和AGB最优模型的R2平均值分别为0.7438、0.7762,而AD和HL的参数估测模型性能从大到小排序为DOM+DAP点云、DAP点云、DOM,AD和HL最优模型的R2平均值分别为0.6133、0.7276。SHAP值反映了每个特征变量对预测结果的贡献,树高变异系数在各模型中均占据了较为重要的位置,点云高度变量对特征参数具有更高的解释能力。DNN模型具有较高的估测精度,而SHAP方法提升了模型预测结果的解释性,同时强调了点云变量在整体预测模型中的重要性。这表明现代遥感技术与先进的机器学习方法相结合,可为利用无人机数字航空摄影技术进行森林资源调查监测提供必要的技术支持。
文摘针对当前深度学习在三维重建中难以从图像中提取全面的场景信息,以及未充分考虑视图间的深度一致性问题,提出具有自适应深度一致性和跨频注意力的多视图立体网络(ADCFA-MVSNet:Multi-View Stereo with Adaptive Depth Consistency and Cross-Frequency Attention)。跨频注意力(CFA:Cross-Frequency Attention)模块整合图像内高频和低频信息,以及跨视图的全局场景信息,能更加全面地提取图像特征。自适应深度一致性(AD:Adaptive Depth Consistency)模块精确捕捉场景中的几何结构,动态考虑不同视图对深度一致性的贡献,在不同尺度上增强深度一致性。其创新之处在于利用全面的图像信息,确保几何一致性,从而在3D重建任务中取得优异的表现。实验结果表明,在DTU(Technical University of Denmark)数据集上精确度为0.319,完整度为0.285,整体得分为0.302,优于其他对比方法。在BlendedMVS数据集上,EPE(End-Point-Error)得分为0.27,e1得分为5.28,e3得分为1.84,同样优于对比方法。证明了ADCFA-MVSNet在提升多视图三维重建的完整度和精度方面的有效性,提高了多视图重建质量,取得了良好的重建效果。
文摘针对双目结构光三维重建在左右图像的立体匹配过程中匹配基源选取不当造成的重建精度低等问题,提出一种基于绝对相位的匹配方法,从而降低误匹配率,提高重建精度。首先,在相移法与多频外差法求解的绝对相位基础上,利用极线约束对左右图像像素点采用全局搜索与局部搜索创建搜索匹配区域;然后对搜索区域进行3次样条插值实现亚像素立体匹配;最后利用三角测距原理完成匹配点二维坐标到三维坐标的转换,实现对目标表面的三维重建。实验结果表明:本文提出的方法较绝对误差和(Sum of Absolute Differences,SAD)与误差平方和(Sum of Squared Differences,SDD)匹配算法在匹配耗时上缩短了87.77%,在重建精度上分别提高了77.75%和90%,具有较强的通用性和实用性。同时三维重建后的点云无水波纹现象,表面平整光滑更接近实物。
文摘传统的立体匹配算法主要基于单帧的双目图片进行视差估计,在遮挡、弱纹理、镜面等情况下往往无法预测出较好的视差值。论文提出了一种基于多帧视差估计的立体匹配算法(Multi-View Semi Global Matching,MVSGM),在计算立体匹配初始代价时会将当前帧投影到参考帧上获取代价信息进行融合。同时,针对视差估计边界模糊等情况,提出了一种基于二阶梯度约束的改进全局平滑算法(Improved Fast Global Smooth,IFGS),该算法兼具了快速求解性和较好的平滑效果。论文使用Middlebury、ETH3D和KITTI数据集进行测试,对经典SGM方法分别添加多帧代价融合和快速全局平滑进行消融实验,最终获取的视差图在误差指标RMSE、AVGE和bad2.0上均有较大幅度提升,证明了该方法的有效性。
