Of the various kinds of research on the Virtual Reality and GIS, stereo-view is one of the key technologies . The following two aspects are covered in this paper. (1)Physiological fundamental of the natural binocular ...Of the various kinds of research on the Virtual Reality and GIS, stereo-view is one of the key technologies . The following two aspects are covered in this paper. (1)Physiological fundamental of the natural binocular stereo-vision, theory of 3D color TV and the stereo-view on the CRT screen are presented, especially the theory of widely adopted Time-Division System is introduced. (2) The preliminary practice for using the sterecrview technology on the screen to the terrain visual simulation is described, and the paper shows how to use 3DS to construct a movable real stereo terrain perspective by taking DTM data as the first hand information for the purpose of terrain visual simulation.展开更多
针对基于深度学习的多视图立体(Multi-view Stereo,MVS)重建算法仍然存在图像特征提取不全面、代价体匹配模糊以及深度误差不断积累而导致在无纹理和重复纹理区域重建效果差的问题,提出了基于上下文引导的代价体构建和深度细化的级联MV...针对基于深度学习的多视图立体(Multi-view Stereo,MVS)重建算法仍然存在图像特征提取不全面、代价体匹配模糊以及深度误差不断积累而导致在无纹理和重复纹理区域重建效果差的问题,提出了基于上下文引导的代价体构建和深度细化的级联MVS网络。首先,利用基于无参注意力的特征融合模块过滤无用特征并通过特征融合来解决多尺度特征不一致的问题;然后,利用基于上下文引导的代价体模块融合全局信息来提高代价体匹配的完整性和鲁棒性;最后,利用深度细化模块学习深度残差来提升低分辨下深度图的准确性。实验结果表明,在DTU数据集上,该网络相比MVSNet完整度误差减小了24.4%,准确度误差减小了4.1%,整体误差减小了14.3%,其在Tanks and Temples数据集上性能也优于大多数算法,展现出强大的竞争力。展开更多
森林特征参数是评估森林生态系统生长状况的关键指标,为高效、精确地估测森林特征参数,本研究探索结合无人机技术和DNN(Deep neural network)模型的森林特征参数的估测方法,并通过SHAP(Shapley additive explanations)方法提高模型预测...森林特征参数是评估森林生态系统生长状况的关键指标,为高效、精确地估测森林特征参数,本研究探索结合无人机技术和DNN(Deep neural network)模型的森林特征参数的估测方法,并通过SHAP(Shapley additive explanations)方法提高模型预测的可解释性。使用无人机高分辨率影像作为数据源,利用DNN对平均胸径(Average diameter at breast height,AD)、林分胸高断面积(Area of forest stand at breast height,BA)、Lorey's树高(Lorey's tree heights,HL)、样地地上生物量(Above-ground biomass of sample plots,AGB)等森林特征参数进行估测。设计了多层次的DNN模型处理和分析影像数据,预测森林特征参数。同时,采用SHAP方法对DNN模型的预测结果进行可解释性分析,以理解每个特征在模型预测中的作用。深度学习DNN模型可以利用DAP(Digital aerial photograph)数据中获取的二维光谱特征和三维点云特征进行森林特征参数的估测模型构建。BA和AGB参数的估测模型性能从大到小为DOM+DAP点云、DOM(Digital orthophoto mosaic)、DAP点云,BA和AGB最优模型的R2平均值分别为0.7438、0.7762,而AD和HL的参数估测模型性能从大到小排序为DOM+DAP点云、DAP点云、DOM,AD和HL最优模型的R2平均值分别为0.6133、0.7276。SHAP值反映了每个特征变量对预测结果的贡献,树高变异系数在各模型中均占据了较为重要的位置,点云高度变量对特征参数具有更高的解释能力。DNN模型具有较高的估测精度,而SHAP方法提升了模型预测结果的解释性,同时强调了点云变量在整体预测模型中的重要性。这表明现代遥感技术与先进的机器学习方法相结合,可为利用无人机数字航空摄影技术进行森林资源调查监测提供必要的技术支持。展开更多
针对当前深度学习在三维重建中难以从图像中提取全面的场景信息,以及未充分考虑视图间的深度一致性问题,提出具有自适应深度一致性和跨频注意力的多视图立体网络(ADCFA-MVSNet:Multi-View Stereo with Adaptive Depth Consistency and C...针对当前深度学习在三维重建中难以从图像中提取全面的场景信息,以及未充分考虑视图间的深度一致性问题,提出具有自适应深度一致性和跨频注意力的多视图立体网络(ADCFA-MVSNet:Multi-View Stereo with Adaptive Depth Consistency and Cross-Frequency Attention)。跨频注意力(CFA:Cross-Frequency Attention)模块整合图像内高频和低频信息,以及跨视图的全局场景信息,能更加全面地提取图像特征。自适应深度一致性(AD:Adaptive Depth Consistency)模块精确捕捉场景中的几何结构,动态考虑不同视图对深度一致性的贡献,在不同尺度上增强深度一致性。其创新之处在于利用全面的图像信息,确保几何一致性,从而在3D重建任务中取得优异的表现。实验结果表明,在DTU(Technical University of Denmark)数据集上精确度为0.319,完整度为0.285,整体得分为0.302,优于其他对比方法。在BlendedMVS数据集上,EPE(End-Point-Error)得分为0.27,e1得分为5.28,e3得分为1.84,同样优于对比方法。证明了ADCFA-MVSNet在提升多视图三维重建的完整度和精度方面的有效性,提高了多视图重建质量,取得了良好的重建效果。展开更多
传统的立体匹配算法主要基于单帧的双目图片进行视差估计,在遮挡、弱纹理、镜面等情况下往往无法预测出较好的视差值。论文提出了一种基于多帧视差估计的立体匹配算法(Multi-View Semi Global Matching,MVSGM),在计算立体匹配初始代价...传统的立体匹配算法主要基于单帧的双目图片进行视差估计,在遮挡、弱纹理、镜面等情况下往往无法预测出较好的视差值。论文提出了一种基于多帧视差估计的立体匹配算法(Multi-View Semi Global Matching,MVSGM),在计算立体匹配初始代价时会将当前帧投影到参考帧上获取代价信息进行融合。同时,针对视差估计边界模糊等情况,提出了一种基于二阶梯度约束的改进全局平滑算法(Improved Fast Global Smooth,IFGS),该算法兼具了快速求解性和较好的平滑效果。论文使用Middlebury、ETH3D和KITTI数据集进行测试,对经典SGM方法分别添加多帧代价融合和快速全局平滑进行消融实验,最终获取的视差图在误差指标RMSE、AVGE和bad2.0上均有较大幅度提升,证明了该方法的有效性。展开更多
基于学习的多视图立体匹配算法目前成果显著,但是仍然存在的卷积感受野受限以及忽略图像频率信息导致在低纹理、重复和非兰伯曲面匹配性能不足的问题,针对以上问题提出了上下文增强与图像频率引导的多视图立体匹配网络CAF-MVSNet.首先,...基于学习的多视图立体匹配算法目前成果显著,但是仍然存在的卷积感受野受限以及忽略图像频率信息导致在低纹理、重复和非兰伯曲面匹配性能不足的问题,针对以上问题提出了上下文增强与图像频率引导的多视图立体匹配网络CAF-MVSNet.首先,在特征提取阶段,将上下文增强模块融合到特征金字塔网络中,有效地扩大网络的感受野.然后引入了图像频率引导注意力模块,通过编码图像的不同频率获取图像的线条、形状、纹理和颜色等信息,增强图像的远程上下文联系的同时进一步解决低纹理、重复和非兰伯曲面的精确匹配问题,以实现可靠的特征匹配.在DTU数据集上的实验结果显示,与经典的级联模型Cas MVSNet相比综合误差(overall)提升了12.3%,展现了优秀的性能.此外,在Tanks and Temples数据集上也取得了不错的效果,展现了良好的泛化性能.展开更多
文摘Of the various kinds of research on the Virtual Reality and GIS, stereo-view is one of the key technologies . The following two aspects are covered in this paper. (1)Physiological fundamental of the natural binocular stereo-vision, theory of 3D color TV and the stereo-view on the CRT screen are presented, especially the theory of widely adopted Time-Division System is introduced. (2) The preliminary practice for using the sterecrview technology on the screen to the terrain visual simulation is described, and the paper shows how to use 3DS to construct a movable real stereo terrain perspective by taking DTM data as the first hand information for the purpose of terrain visual simulation.
文摘针对基于深度学习的多视图立体(Multi-view Stereo,MVS)重建算法仍然存在图像特征提取不全面、代价体匹配模糊以及深度误差不断积累而导致在无纹理和重复纹理区域重建效果差的问题,提出了基于上下文引导的代价体构建和深度细化的级联MVS网络。首先,利用基于无参注意力的特征融合模块过滤无用特征并通过特征融合来解决多尺度特征不一致的问题;然后,利用基于上下文引导的代价体模块融合全局信息来提高代价体匹配的完整性和鲁棒性;最后,利用深度细化模块学习深度残差来提升低分辨下深度图的准确性。实验结果表明,在DTU数据集上,该网络相比MVSNet完整度误差减小了24.4%,准确度误差减小了4.1%,整体误差减小了14.3%,其在Tanks and Temples数据集上性能也优于大多数算法,展现出强大的竞争力。
文摘森林特征参数是评估森林生态系统生长状况的关键指标,为高效、精确地估测森林特征参数,本研究探索结合无人机技术和DNN(Deep neural network)模型的森林特征参数的估测方法,并通过SHAP(Shapley additive explanations)方法提高模型预测的可解释性。使用无人机高分辨率影像作为数据源,利用DNN对平均胸径(Average diameter at breast height,AD)、林分胸高断面积(Area of forest stand at breast height,BA)、Lorey's树高(Lorey's tree heights,HL)、样地地上生物量(Above-ground biomass of sample plots,AGB)等森林特征参数进行估测。设计了多层次的DNN模型处理和分析影像数据,预测森林特征参数。同时,采用SHAP方法对DNN模型的预测结果进行可解释性分析,以理解每个特征在模型预测中的作用。深度学习DNN模型可以利用DAP(Digital aerial photograph)数据中获取的二维光谱特征和三维点云特征进行森林特征参数的估测模型构建。BA和AGB参数的估测模型性能从大到小为DOM+DAP点云、DOM(Digital orthophoto mosaic)、DAP点云,BA和AGB最优模型的R2平均值分别为0.7438、0.7762,而AD和HL的参数估测模型性能从大到小排序为DOM+DAP点云、DAP点云、DOM,AD和HL最优模型的R2平均值分别为0.6133、0.7276。SHAP值反映了每个特征变量对预测结果的贡献,树高变异系数在各模型中均占据了较为重要的位置,点云高度变量对特征参数具有更高的解释能力。DNN模型具有较高的估测精度,而SHAP方法提升了模型预测结果的解释性,同时强调了点云变量在整体预测模型中的重要性。这表明现代遥感技术与先进的机器学习方法相结合,可为利用无人机数字航空摄影技术进行森林资源调查监测提供必要的技术支持。
文摘针对当前深度学习在三维重建中难以从图像中提取全面的场景信息,以及未充分考虑视图间的深度一致性问题,提出具有自适应深度一致性和跨频注意力的多视图立体网络(ADCFA-MVSNet:Multi-View Stereo with Adaptive Depth Consistency and Cross-Frequency Attention)。跨频注意力(CFA:Cross-Frequency Attention)模块整合图像内高频和低频信息,以及跨视图的全局场景信息,能更加全面地提取图像特征。自适应深度一致性(AD:Adaptive Depth Consistency)模块精确捕捉场景中的几何结构,动态考虑不同视图对深度一致性的贡献,在不同尺度上增强深度一致性。其创新之处在于利用全面的图像信息,确保几何一致性,从而在3D重建任务中取得优异的表现。实验结果表明,在DTU(Technical University of Denmark)数据集上精确度为0.319,完整度为0.285,整体得分为0.302,优于其他对比方法。在BlendedMVS数据集上,EPE(End-Point-Error)得分为0.27,e1得分为5.28,e3得分为1.84,同样优于对比方法。证明了ADCFA-MVSNet在提升多视图三维重建的完整度和精度方面的有效性,提高了多视图重建质量,取得了良好的重建效果。
文摘传统的立体匹配算法主要基于单帧的双目图片进行视差估计,在遮挡、弱纹理、镜面等情况下往往无法预测出较好的视差值。论文提出了一种基于多帧视差估计的立体匹配算法(Multi-View Semi Global Matching,MVSGM),在计算立体匹配初始代价时会将当前帧投影到参考帧上获取代价信息进行融合。同时,针对视差估计边界模糊等情况,提出了一种基于二阶梯度约束的改进全局平滑算法(Improved Fast Global Smooth,IFGS),该算法兼具了快速求解性和较好的平滑效果。论文使用Middlebury、ETH3D和KITTI数据集进行测试,对经典SGM方法分别添加多帧代价融合和快速全局平滑进行消融实验,最终获取的视差图在误差指标RMSE、AVGE和bad2.0上均有较大幅度提升,证明了该方法的有效性。
文摘基于学习的多视图立体匹配算法目前成果显著,但是仍然存在的卷积感受野受限以及忽略图像频率信息导致在低纹理、重复和非兰伯曲面匹配性能不足的问题,针对以上问题提出了上下文增强与图像频率引导的多视图立体匹配网络CAF-MVSNet.首先,在特征提取阶段,将上下文增强模块融合到特征金字塔网络中,有效地扩大网络的感受野.然后引入了图像频率引导注意力模块,通过编码图像的不同频率获取图像的线条、形状、纹理和颜色等信息,增强图像的远程上下文联系的同时进一步解决低纹理、重复和非兰伯曲面的精确匹配问题,以实现可靠的特征匹配.在DTU数据集上的实验结果显示,与经典的级联模型Cas MVSNet相比综合误差(overall)提升了12.3%,展现了优秀的性能.此外,在Tanks and Temples数据集上也取得了不错的效果,展现了良好的泛化性能.
