目的热力图回归方法因能够提供丰富的空间信息,在人体姿态估计领域受到广泛关注。然而,由于传统真值热力图通常由固定标准差的2D高斯核覆盖标注点位置生成,当人体尺度变化较大时,固定的高斯核覆盖范围可能与关键点的实际语义区域不匹配...目的热力图回归方法因能够提供丰富的空间信息,在人体姿态估计领域受到广泛关注。然而,由于传统真值热力图通常由固定标准差的2D高斯核覆盖标注点位置生成,当人体尺度变化较大时,固定的高斯核覆盖范围可能与关键点的实际语义区域不匹配,导致模型对关键点定位的模糊性和语义不确定性。对此,提出面向自下而上人体姿态估计的自适应真值热力图生成方法。方法首先设计一种自适应真值热力图生成模块,通过学习图像中关键点的固有尺度信息以及近邻关键点之间的几何关系生成自适应尺度因子,为图像定制尺度自适应的真值热力图。另外,由于现有方法使用的热力图损失函数未能有效捕捉局部结构的相关性,导致其对关键点位置偏差不敏感。为此,提出局部概率一致性损失函数,通过在热力图的局部区域上计算结构相似性,提升模型对局部结构的学习和理解,同时引入动态权重来平衡样本的贡献,进一步引导模型优化方向,提高模型鲁棒性。结果在两个公开数据集MS COCO(Microsoft common objects in context)和CrowdPose上进行实验评估,实验结果表明所提方法相较对比工作,关键点检测平均准确率分别提高1.6%与6.5%,达到72.1%和74.1%,验证了所提方法的有效性。此外,所提方法在拥挤场景的CrowPose数据集上也能带来显著的性能提升,这进一步表明其能够有效缓解复杂场景中的人体尺度变化带来的问题。同时消融实验验证了所提方法的有效性。结论提出的面向自下而上人体姿态估计的自适应真值热力图生成方法,通过学习图像中关键点的固有尺度信息以及近邻关键点之间的几何关系生成自适应热力图作为真值,结合局部概率一致性损失函数来处理图像中尺度变化问题,有效提高了人体姿态估计准确率。展开更多
文摘目的热力图回归方法因能够提供丰富的空间信息,在人体姿态估计领域受到广泛关注。然而,由于传统真值热力图通常由固定标准差的2D高斯核覆盖标注点位置生成,当人体尺度变化较大时,固定的高斯核覆盖范围可能与关键点的实际语义区域不匹配,导致模型对关键点定位的模糊性和语义不确定性。对此,提出面向自下而上人体姿态估计的自适应真值热力图生成方法。方法首先设计一种自适应真值热力图生成模块,通过学习图像中关键点的固有尺度信息以及近邻关键点之间的几何关系生成自适应尺度因子,为图像定制尺度自适应的真值热力图。另外,由于现有方法使用的热力图损失函数未能有效捕捉局部结构的相关性,导致其对关键点位置偏差不敏感。为此,提出局部概率一致性损失函数,通过在热力图的局部区域上计算结构相似性,提升模型对局部结构的学习和理解,同时引入动态权重来平衡样本的贡献,进一步引导模型优化方向,提高模型鲁棒性。结果在两个公开数据集MS COCO(Microsoft common objects in context)和CrowdPose上进行实验评估,实验结果表明所提方法相较对比工作,关键点检测平均准确率分别提高1.6%与6.5%,达到72.1%和74.1%,验证了所提方法的有效性。此外,所提方法在拥挤场景的CrowPose数据集上也能带来显著的性能提升,这进一步表明其能够有效缓解复杂场景中的人体尺度变化带来的问题。同时消融实验验证了所提方法的有效性。结论提出的面向自下而上人体姿态估计的自适应真值热力图生成方法,通过学习图像中关键点的固有尺度信息以及近邻关键点之间的几何关系生成自适应热力图作为真值,结合局部概率一致性损失函数来处理图像中尺度变化问题,有效提高了人体姿态估计准确率。
