【意义】随着遥感测绘与自动驾驶技术的快速发展,三维点云语义分割作为数字孪生系统的核心基础技术,其研究热度持续升温。航空点云语义分割被认为是有望提升三维地理信息系统的自动化、智能化的关键技术之一。【分析】在深度学习技术和...【意义】随着遥感测绘与自动驾驶技术的快速发展,三维点云语义分割作为数字孪生系统的核心基础技术,其研究热度持续升温。航空点云语义分割被认为是有望提升三维地理信息系统的自动化、智能化的关键技术之一。【分析】在深度学习技术和激光雷达(Light Detection and Ranging,LiDAR)、深度相机、三维激光扫描仪等传感器的推动下,点云语义分割技术通过精确的特征提取和高效的模型训练能够实现大规模点云数据的自动分类和高精度识别。然而,相比于高密度、类别均衡的典型点云语义分割数据集(如室内点云数据或自动驾驶和机器人领域的室外点云数据),航空点云由于其特有的数据特性(如大范围三维地形覆盖、动态平台运动误差累积、地物空间尺度差异大、复杂地物遮挡等因素),在点云配准、特征提取等关键环节仍面临显著挑战,目前基于深度学习的航空点云语义分割研究仍处于起步阶段。同时,受限于数据不同获取方式、不同分辨率、不同属性信息,现有研究距离算法落地应用还有一段距离。【进展】本文旨在对这一领域的发展进行全面的分析研究,包括各类适应算法的特点、数据集、性能指标和最新提出的方法,以及它们的优势和局限性。此外,本文还提供与现有技术水平的定量比较,对有代表性的方法进行研究,包括精度分析和适用性能分析。【展望】最后,总结分析航空点云语义分割技术突破亟需在特征表达、多模态融合、小样本学习、点云语义分割算法可解释性及大模型基准构建等多个维度开展系统性研究创新,不仅有助于解决当前算法在实际部署中的瓶颈问题,还可为数字孪生城市、灾害应急响应等重大应用提供可靠的技术支撑。展开更多
Semantic segmentation is a core task in computer vision that allows AI models to interact and understand their surrounding environment. Similarly to how humans subconsciously segment scenes, this ability is crucial fo...Semantic segmentation is a core task in computer vision that allows AI models to interact and understand their surrounding environment. Similarly to how humans subconsciously segment scenes, this ability is crucial for scene understanding. However, a challenge many semantic learning models face is the lack of data. Existing video datasets are limited to short, low-resolution videos that are not representative of real-world examples. Thus, one of our key contributions is a customized semantic segmentation version of the Walking Tours Dataset that features hour-long, high-resolution, real-world data from tours of different cities. Additionally, we evaluate the performance of open-vocabulary, semantic model OpenSeeD on our own custom dataset and discuss future implications.展开更多
脑血管分割是脑血管疾病筛选、病理发展追踪和精准手术治疗的重要基础.受限于患者隐私保护和脑血管复杂的手工标注,现有的脑血管公开数据集样本少、人工标注信息不足,从而限制发展高性能的脑血管分割方法.为解决上述问题,本文提出了一...脑血管分割是脑血管疾病筛选、病理发展追踪和精准手术治疗的重要基础.受限于患者隐私保护和脑血管复杂的手工标注,现有的脑血管公开数据集样本少、人工标注信息不足,从而限制发展高性能的脑血管分割方法.为解决上述问题,本文提出了一种粗–精分割的Double U-Net协同优化模型(DU-Net),旨在提高小样本相位对比磁共振血管成像(Phase contrast magnetic resonance angiography,PC-MRA)脑血管分割数据集下的性能表现.首先,DU-Net的两部分路径骨干由3D U-Net构成,其中粗分割路径采用低通道数量的轻量卷积核,从而减少协同训练负担,实现脑血管拓扑特征的初步学习.接着,将拓扑形态传递到精分割路径,从而为模型补偿泛化特征.此外,在精分割路径的跳跃连接部分引入了压缩激励(Squeeze and excitation,SE)模块,为目标区域赋予更高的学习权重.实验结果显示,DU-Net在小样本脑血管数据集上的查准率、查全率、杰卡德系数和Dice系数分别是78.29%、67.91%、57.81%和72.59%,综合表现最优.结果表明,DU-Net具备更强的特征学习与识别能力,能够在小样本数据集上实现精确脑血管分割.展开更多
文摘【意义】随着遥感测绘与自动驾驶技术的快速发展,三维点云语义分割作为数字孪生系统的核心基础技术,其研究热度持续升温。航空点云语义分割被认为是有望提升三维地理信息系统的自动化、智能化的关键技术之一。【分析】在深度学习技术和激光雷达(Light Detection and Ranging,LiDAR)、深度相机、三维激光扫描仪等传感器的推动下,点云语义分割技术通过精确的特征提取和高效的模型训练能够实现大规模点云数据的自动分类和高精度识别。然而,相比于高密度、类别均衡的典型点云语义分割数据集(如室内点云数据或自动驾驶和机器人领域的室外点云数据),航空点云由于其特有的数据特性(如大范围三维地形覆盖、动态平台运动误差累积、地物空间尺度差异大、复杂地物遮挡等因素),在点云配准、特征提取等关键环节仍面临显著挑战,目前基于深度学习的航空点云语义分割研究仍处于起步阶段。同时,受限于数据不同获取方式、不同分辨率、不同属性信息,现有研究距离算法落地应用还有一段距离。【进展】本文旨在对这一领域的发展进行全面的分析研究,包括各类适应算法的特点、数据集、性能指标和最新提出的方法,以及它们的优势和局限性。此外,本文还提供与现有技术水平的定量比较,对有代表性的方法进行研究,包括精度分析和适用性能分析。【展望】最后,总结分析航空点云语义分割技术突破亟需在特征表达、多模态融合、小样本学习、点云语义分割算法可解释性及大模型基准构建等多个维度开展系统性研究创新,不仅有助于解决当前算法在实际部署中的瓶颈问题,还可为数字孪生城市、灾害应急响应等重大应用提供可靠的技术支撑。
文摘Semantic segmentation is a core task in computer vision that allows AI models to interact and understand their surrounding environment. Similarly to how humans subconsciously segment scenes, this ability is crucial for scene understanding. However, a challenge many semantic learning models face is the lack of data. Existing video datasets are limited to short, low-resolution videos that are not representative of real-world examples. Thus, one of our key contributions is a customized semantic segmentation version of the Walking Tours Dataset that features hour-long, high-resolution, real-world data from tours of different cities. Additionally, we evaluate the performance of open-vocabulary, semantic model OpenSeeD on our own custom dataset and discuss future implications.
文摘脑血管分割是脑血管疾病筛选、病理发展追踪和精准手术治疗的重要基础.受限于患者隐私保护和脑血管复杂的手工标注,现有的脑血管公开数据集样本少、人工标注信息不足,从而限制发展高性能的脑血管分割方法.为解决上述问题,本文提出了一种粗–精分割的Double U-Net协同优化模型(DU-Net),旨在提高小样本相位对比磁共振血管成像(Phase contrast magnetic resonance angiography,PC-MRA)脑血管分割数据集下的性能表现.首先,DU-Net的两部分路径骨干由3D U-Net构成,其中粗分割路径采用低通道数量的轻量卷积核,从而减少协同训练负担,实现脑血管拓扑特征的初步学习.接着,将拓扑形态传递到精分割路径,从而为模型补偿泛化特征.此外,在精分割路径的跳跃连接部分引入了压缩激励(Squeeze and excitation,SE)模块,为目标区域赋予更高的学习权重.实验结果显示,DU-Net在小样本脑血管数据集上的查准率、查全率、杰卡德系数和Dice系数分别是78.29%、67.91%、57.81%和72.59%,综合表现最优.结果表明,DU-Net具备更强的特征学习与识别能力,能够在小样本数据集上实现精确脑血管分割.
