目的 针对目前三维人体姿态估计方法未能有效处理时间序列冗余,难以捕获人体关节上微小变化的问题,提出一种融合多关节特征的单目视觉三维人体姿态估计网络。方法 在关节运动特征提取模块中,采用多分支操作提取关节在时间维度上的运动特...目的 针对目前三维人体姿态估计方法未能有效处理时间序列冗余,难以捕获人体关节上微小变化的问题,提出一种融合多关节特征的单目视觉三维人体姿态估计网络。方法 在关节运动特征提取模块中,采用多分支操作提取关节在时间维度上的运动特征,并将不同特征融合形成具有高度表达力的特征表示。关节特征融合模块整合了不同关节组和中间帧的全局信息,通过矩阵内积的方式表达不同关节组在高纬度空间的相对位置及相互联系,得到中间3D姿态的初估值。关节约束模块引入中间帧的2D关节点空间位置关系作为隐式约束,与中间帧3D姿态初估值融合,减少不合理的姿态输出,提高最终3D姿态估计的准确性。结果 实验结果表明,与MHFormer方法相比,本文方法在Human3.6M数据集上的平均关节位置误差(mean per joint position error,MPJPE)结果为29.0 mm,误差降低4.9%,对于复杂动作,如SittingDown和WalkDog,误差降低了7.7%和8.2%。在MPI-INF-3DHP数据集上,MPJPE指标降低36.2%,曲线下面积(area under the curve,AUC)指标提升12.9%,正确关节点百分比(percentage of correct keypoints,PCK)指标提升3%。实验结果体现出在面对复杂动作问题时,网络利用各分支提取了不同的关节时序运动特征,将不同关节组的位置信息进行融合交互,结合当前帧的关节姿态信息加以约束,取得更高的精度。在HumanEva数据集上的实验结果表明了本文方法适用不同数据集,消融实验进一步验证了各个模块的有效性。结论 本文网络有效地融合了人体多关节特征,可以更好地提高单目视觉三维人体姿态估计的准确性,且具备较高的泛化性。展开更多
文摘目的 针对目前三维人体姿态估计方法未能有效处理时间序列冗余,难以捕获人体关节上微小变化的问题,提出一种融合多关节特征的单目视觉三维人体姿态估计网络。方法 在关节运动特征提取模块中,采用多分支操作提取关节在时间维度上的运动特征,并将不同特征融合形成具有高度表达力的特征表示。关节特征融合模块整合了不同关节组和中间帧的全局信息,通过矩阵内积的方式表达不同关节组在高纬度空间的相对位置及相互联系,得到中间3D姿态的初估值。关节约束模块引入中间帧的2D关节点空间位置关系作为隐式约束,与中间帧3D姿态初估值融合,减少不合理的姿态输出,提高最终3D姿态估计的准确性。结果 实验结果表明,与MHFormer方法相比,本文方法在Human3.6M数据集上的平均关节位置误差(mean per joint position error,MPJPE)结果为29.0 mm,误差降低4.9%,对于复杂动作,如SittingDown和WalkDog,误差降低了7.7%和8.2%。在MPI-INF-3DHP数据集上,MPJPE指标降低36.2%,曲线下面积(area under the curve,AUC)指标提升12.9%,正确关节点百分比(percentage of correct keypoints,PCK)指标提升3%。实验结果体现出在面对复杂动作问题时,网络利用各分支提取了不同的关节时序运动特征,将不同关节组的位置信息进行融合交互,结合当前帧的关节姿态信息加以约束,取得更高的精度。在HumanEva数据集上的实验结果表明了本文方法适用不同数据集,消融实验进一步验证了各个模块的有效性。结论 本文网络有效地融合了人体多关节特征,可以更好地提高单目视觉三维人体姿态估计的准确性,且具备较高的泛化性。
