针对基于深度学习的多视图立体(Multi-view Stereo,MVS)重建算法仍然存在图像特征提取不全面、代价体匹配模糊以及深度误差不断积累而导致在无纹理和重复纹理区域重建效果差的问题,提出了基于上下文引导的代价体构建和深度细化的级联MV...针对基于深度学习的多视图立体(Multi-view Stereo,MVS)重建算法仍然存在图像特征提取不全面、代价体匹配模糊以及深度误差不断积累而导致在无纹理和重复纹理区域重建效果差的问题,提出了基于上下文引导的代价体构建和深度细化的级联MVS网络。首先,利用基于无参注意力的特征融合模块过滤无用特征并通过特征融合来解决多尺度特征不一致的问题;然后,利用基于上下文引导的代价体模块融合全局信息来提高代价体匹配的完整性和鲁棒性;最后,利用深度细化模块学习深度残差来提升低分辨下深度图的准确性。实验结果表明,在DTU数据集上,该网络相比MVSNet完整度误差减小了24.4%,准确度误差减小了4.1%,整体误差减小了14.3%,其在Tanks and Temples数据集上性能也优于大多数算法,展现出强大的竞争力。展开更多
森林特征参数是评估森林生态系统生长状况的关键指标,为高效、精确地估测森林特征参数,本研究探索结合无人机技术和DNN(Deep neural network)模型的森林特征参数的估测方法,并通过SHAP(Shapley additive explanations)方法提高模型预测...森林特征参数是评估森林生态系统生长状况的关键指标,为高效、精确地估测森林特征参数,本研究探索结合无人机技术和DNN(Deep neural network)模型的森林特征参数的估测方法,并通过SHAP(Shapley additive explanations)方法提高模型预测的可解释性。使用无人机高分辨率影像作为数据源,利用DNN对平均胸径(Average diameter at breast height,AD)、林分胸高断面积(Area of forest stand at breast height,BA)、Lorey's树高(Lorey's tree heights,HL)、样地地上生物量(Above-ground biomass of sample plots,AGB)等森林特征参数进行估测。设计了多层次的DNN模型处理和分析影像数据,预测森林特征参数。同时,采用SHAP方法对DNN模型的预测结果进行可解释性分析,以理解每个特征在模型预测中的作用。深度学习DNN模型可以利用DAP(Digital aerial photograph)数据中获取的二维光谱特征和三维点云特征进行森林特征参数的估测模型构建。BA和AGB参数的估测模型性能从大到小为DOM+DAP点云、DOM(Digital orthophoto mosaic)、DAP点云,BA和AGB最优模型的R2平均值分别为0.7438、0.7762,而AD和HL的参数估测模型性能从大到小排序为DOM+DAP点云、DAP点云、DOM,AD和HL最优模型的R2平均值分别为0.6133、0.7276。SHAP值反映了每个特征变量对预测结果的贡献,树高变异系数在各模型中均占据了较为重要的位置,点云高度变量对特征参数具有更高的解释能力。DNN模型具有较高的估测精度,而SHAP方法提升了模型预测结果的解释性,同时强调了点云变量在整体预测模型中的重要性。这表明现代遥感技术与先进的机器学习方法相结合,可为利用无人机数字航空摄影技术进行森林资源调查监测提供必要的技术支持。展开更多
针对当前深度学习在三维重建中难以从图像中提取全面的场景信息,以及未充分考虑视图间的深度一致性问题,提出具有自适应深度一致性和跨频注意力的多视图立体网络(ADCFA-MVSNet:Multi-View Stereo with Adaptive Depth Consistency and C...针对当前深度学习在三维重建中难以从图像中提取全面的场景信息,以及未充分考虑视图间的深度一致性问题,提出具有自适应深度一致性和跨频注意力的多视图立体网络(ADCFA-MVSNet:Multi-View Stereo with Adaptive Depth Consistency and Cross-Frequency Attention)。跨频注意力(CFA:Cross-Frequency Attention)模块整合图像内高频和低频信息,以及跨视图的全局场景信息,能更加全面地提取图像特征。自适应深度一致性(AD:Adaptive Depth Consistency)模块精确捕捉场景中的几何结构,动态考虑不同视图对深度一致性的贡献,在不同尺度上增强深度一致性。其创新之处在于利用全面的图像信息,确保几何一致性,从而在3D重建任务中取得优异的表现。实验结果表明,在DTU(Technical University of Denmark)数据集上精确度为0.319,完整度为0.285,整体得分为0.302,优于其他对比方法。在BlendedMVS数据集上,EPE(End-Point-Error)得分为0.27,e1得分为5.28,e3得分为1.84,同样优于对比方法。证明了ADCFA-MVSNet在提升多视图三维重建的完整度和精度方面的有效性,提高了多视图重建质量,取得了良好的重建效果。展开更多
Of the various kinds of research on the Virtual Reality and GIS, stereo-view is one of the key technologies . The following two aspects are covered in this paper. (1)Physiological fundamental of the natural binocular ...Of the various kinds of research on the Virtual Reality and GIS, stereo-view is one of the key technologies . The following two aspects are covered in this paper. (1)Physiological fundamental of the natural binocular stereo-vision, theory of 3D color TV and the stereo-view on the CRT screen are presented, especially the theory of widely adopted Time-Division System is introduced. (2) The preliminary practice for using the sterecrview technology on the screen to the terrain visual simulation is described, and the paper shows how to use 3DS to construct a movable real stereo terrain perspective by taking DTM data as the first hand information for the purpose of terrain visual simulation.展开更多
基于学习的多视图立体匹配算法目前成果显著,但是仍然存在的卷积感受野受限以及忽略图像频率信息导致在低纹理、重复和非兰伯曲面匹配性能不足的问题,针对以上问题提出了上下文增强与图像频率引导的多视图立体匹配网络CAF-MVSNet.首先,...基于学习的多视图立体匹配算法目前成果显著,但是仍然存在的卷积感受野受限以及忽略图像频率信息导致在低纹理、重复和非兰伯曲面匹配性能不足的问题,针对以上问题提出了上下文增强与图像频率引导的多视图立体匹配网络CAF-MVSNet.首先,在特征提取阶段,将上下文增强模块融合到特征金字塔网络中,有效地扩大网络的感受野.然后引入了图像频率引导注意力模块,通过编码图像的不同频率获取图像的线条、形状、纹理和颜色等信息,增强图像的远程上下文联系的同时进一步解决低纹理、重复和非兰伯曲面的精确匹配问题,以实现可靠的特征匹配.在DTU数据集上的实验结果显示,与经典的级联模型Cas MVSNet相比综合误差(overall)提升了12.3%,展现了优秀的性能.此外,在Tanks and Temples数据集上也取得了不错的效果,展现了良好的泛化性能.展开更多
针对多视图立体网络在弱纹理或非朗伯曲面等挑战性区域重建效果差的问题,首先提出一个基于3个并行扩展卷积和注意力机制的多尺度特征提取模块,在增加感受野的同时捕获特征之间的依赖关系以获取全局上下文信息,从而提升多视图立体网络在...针对多视图立体网络在弱纹理或非朗伯曲面等挑战性区域重建效果差的问题,首先提出一个基于3个并行扩展卷积和注意力机制的多尺度特征提取模块,在增加感受野的同时捕获特征之间的依赖关系以获取全局上下文信息,从而提升多视图立体网络在挑战性区域特征的表征能力以进行鲁棒的特征匹配。其次在代价体正则化3D CNN部分引入注意力机制,使网络注意于代价体中的重要区域以进行平滑处理。另外建立一个神经渲染网络,该网络利用渲染参考损失精确地解析辐射场景表达的几何外观信息,并引入深度一致性损失保持多视图立体网络与神经渲染网络之间的几何一致性,有效地缓解有噪声代价体对多视图立体网络的不利影响。该算法在室内DTU数据集中测试,点云重建的完整性和整体性指标分别为0.289和0.326,与基准方法CasMVSNet相比,分别提升24.9%和8.2%,即使在挑战性区域也得到高质量的重建效果;在室外Tanks and Temples中级数据集中,点云重建的平均F-score为60.31,与方法UCS-Net相比提升9.9%,体现出较强的泛化能力。展开更多
针对多视图立体重建在光照不均匀、弱纹理、非朗伯表面等复杂场景中重建完整度差、泛化能力不足的问题,本文提出了一种基于注意力机制的多视图立体重建算法。在特征提取阶段,该算法采用基于深度可分离卷积和自注意力机制的多尺度特征提...针对多视图立体重建在光照不均匀、弱纹理、非朗伯表面等复杂场景中重建完整度差、泛化能力不足的问题,本文提出了一种基于注意力机制的多视图立体重建算法。在特征提取阶段,该算法采用基于深度可分离卷积和自注意力机制的多尺度特征提取模块,在扩大感受野的同时增强多视图间的空间特征关系,从而提升网络在复杂场景下特征的表征能力以实现更精确的特征匹配。在代价体正则化阶段,本文引入通道注意力机制来自适应调节不同通道的权重,从而减少无关信息对模型的干扰并过滤背景噪声,以提升模型的泛化能力。在DTU数据集上,本文算法的完整度和整体度分别为0.286和0.334,与基准算法CasMVSNet相比,分别提升了25.71%和5.92%,与其他的state-of-the-art(SOTA)算法相比,在复杂场景中重建点云的结构也更加完整。在Tanks and Temples中级数据集上,重建点云综合指标F-score为61.49,这表明本文算法具有更好的鲁棒性和泛化能力。展开更多
文摘针对基于深度学习的多视图立体(Multi-view Stereo,MVS)重建算法仍然存在图像特征提取不全面、代价体匹配模糊以及深度误差不断积累而导致在无纹理和重复纹理区域重建效果差的问题,提出了基于上下文引导的代价体构建和深度细化的级联MVS网络。首先,利用基于无参注意力的特征融合模块过滤无用特征并通过特征融合来解决多尺度特征不一致的问题;然后,利用基于上下文引导的代价体模块融合全局信息来提高代价体匹配的完整性和鲁棒性;最后,利用深度细化模块学习深度残差来提升低分辨下深度图的准确性。实验结果表明,在DTU数据集上,该网络相比MVSNet完整度误差减小了24.4%,准确度误差减小了4.1%,整体误差减小了14.3%,其在Tanks and Temples数据集上性能也优于大多数算法,展现出强大的竞争力。
文摘森林特征参数是评估森林生态系统生长状况的关键指标,为高效、精确地估测森林特征参数,本研究探索结合无人机技术和DNN(Deep neural network)模型的森林特征参数的估测方法,并通过SHAP(Shapley additive explanations)方法提高模型预测的可解释性。使用无人机高分辨率影像作为数据源,利用DNN对平均胸径(Average diameter at breast height,AD)、林分胸高断面积(Area of forest stand at breast height,BA)、Lorey's树高(Lorey's tree heights,HL)、样地地上生物量(Above-ground biomass of sample plots,AGB)等森林特征参数进行估测。设计了多层次的DNN模型处理和分析影像数据,预测森林特征参数。同时,采用SHAP方法对DNN模型的预测结果进行可解释性分析,以理解每个特征在模型预测中的作用。深度学习DNN模型可以利用DAP(Digital aerial photograph)数据中获取的二维光谱特征和三维点云特征进行森林特征参数的估测模型构建。BA和AGB参数的估测模型性能从大到小为DOM+DAP点云、DOM(Digital orthophoto mosaic)、DAP点云,BA和AGB最优模型的R2平均值分别为0.7438、0.7762,而AD和HL的参数估测模型性能从大到小排序为DOM+DAP点云、DAP点云、DOM,AD和HL最优模型的R2平均值分别为0.6133、0.7276。SHAP值反映了每个特征变量对预测结果的贡献,树高变异系数在各模型中均占据了较为重要的位置,点云高度变量对特征参数具有更高的解释能力。DNN模型具有较高的估测精度,而SHAP方法提升了模型预测结果的解释性,同时强调了点云变量在整体预测模型中的重要性。这表明现代遥感技术与先进的机器学习方法相结合,可为利用无人机数字航空摄影技术进行森林资源调查监测提供必要的技术支持。
文摘针对当前深度学习在三维重建中难以从图像中提取全面的场景信息,以及未充分考虑视图间的深度一致性问题,提出具有自适应深度一致性和跨频注意力的多视图立体网络(ADCFA-MVSNet:Multi-View Stereo with Adaptive Depth Consistency and Cross-Frequency Attention)。跨频注意力(CFA:Cross-Frequency Attention)模块整合图像内高频和低频信息,以及跨视图的全局场景信息,能更加全面地提取图像特征。自适应深度一致性(AD:Adaptive Depth Consistency)模块精确捕捉场景中的几何结构,动态考虑不同视图对深度一致性的贡献,在不同尺度上增强深度一致性。其创新之处在于利用全面的图像信息,确保几何一致性,从而在3D重建任务中取得优异的表现。实验结果表明,在DTU(Technical University of Denmark)数据集上精确度为0.319,完整度为0.285,整体得分为0.302,优于其他对比方法。在BlendedMVS数据集上,EPE(End-Point-Error)得分为0.27,e1得分为5.28,e3得分为1.84,同样优于对比方法。证明了ADCFA-MVSNet在提升多视图三维重建的完整度和精度方面的有效性,提高了多视图重建质量,取得了良好的重建效果。
文摘Of the various kinds of research on the Virtual Reality and GIS, stereo-view is one of the key technologies . The following two aspects are covered in this paper. (1)Physiological fundamental of the natural binocular stereo-vision, theory of 3D color TV and the stereo-view on the CRT screen are presented, especially the theory of widely adopted Time-Division System is introduced. (2) The preliminary practice for using the sterecrview technology on the screen to the terrain visual simulation is described, and the paper shows how to use 3DS to construct a movable real stereo terrain perspective by taking DTM data as the first hand information for the purpose of terrain visual simulation.
文摘基于学习的多视图立体匹配算法目前成果显著,但是仍然存在的卷积感受野受限以及忽略图像频率信息导致在低纹理、重复和非兰伯曲面匹配性能不足的问题,针对以上问题提出了上下文增强与图像频率引导的多视图立体匹配网络CAF-MVSNet.首先,在特征提取阶段,将上下文增强模块融合到特征金字塔网络中,有效地扩大网络的感受野.然后引入了图像频率引导注意力模块,通过编码图像的不同频率获取图像的线条、形状、纹理和颜色等信息,增强图像的远程上下文联系的同时进一步解决低纹理、重复和非兰伯曲面的精确匹配问题,以实现可靠的特征匹配.在DTU数据集上的实验结果显示,与经典的级联模型Cas MVSNet相比综合误差(overall)提升了12.3%,展现了优秀的性能.此外,在Tanks and Temples数据集上也取得了不错的效果,展现了良好的泛化性能.
文摘针对多视图立体网络在弱纹理或非朗伯曲面等挑战性区域重建效果差的问题,首先提出一个基于3个并行扩展卷积和注意力机制的多尺度特征提取模块,在增加感受野的同时捕获特征之间的依赖关系以获取全局上下文信息,从而提升多视图立体网络在挑战性区域特征的表征能力以进行鲁棒的特征匹配。其次在代价体正则化3D CNN部分引入注意力机制,使网络注意于代价体中的重要区域以进行平滑处理。另外建立一个神经渲染网络,该网络利用渲染参考损失精确地解析辐射场景表达的几何外观信息,并引入深度一致性损失保持多视图立体网络与神经渲染网络之间的几何一致性,有效地缓解有噪声代价体对多视图立体网络的不利影响。该算法在室内DTU数据集中测试,点云重建的完整性和整体性指标分别为0.289和0.326,与基准方法CasMVSNet相比,分别提升24.9%和8.2%,即使在挑战性区域也得到高质量的重建效果;在室外Tanks and Temples中级数据集中,点云重建的平均F-score为60.31,与方法UCS-Net相比提升9.9%,体现出较强的泛化能力。
文摘针对多视图立体重建在光照不均匀、弱纹理、非朗伯表面等复杂场景中重建完整度差、泛化能力不足的问题,本文提出了一种基于注意力机制的多视图立体重建算法。在特征提取阶段,该算法采用基于深度可分离卷积和自注意力机制的多尺度特征提取模块,在扩大感受野的同时增强多视图间的空间特征关系,从而提升网络在复杂场景下特征的表征能力以实现更精确的特征匹配。在代价体正则化阶段,本文引入通道注意力机制来自适应调节不同通道的权重,从而减少无关信息对模型的干扰并过滤背景噪声,以提升模型的泛化能力。在DTU数据集上,本文算法的完整度和整体度分别为0.286和0.334,与基准算法CasMVSNet相比,分别提升了25.71%和5.92%,与其他的state-of-the-art(SOTA)算法相比,在复杂场景中重建点云的结构也更加完整。在Tanks and Temples中级数据集上,重建点云综合指标F-score为61.49,这表明本文算法具有更好的鲁棒性和泛化能力。
