人体外廓非接触式测量是一种通过使用传感技术来测量人体的外廓参数或特征,而无需直接接触人体表面获得人体外廓数据的方法。但要得到较为精准的数据需要采用数学建模方法,传统如曲线拟合、三维重建、三角剖分等来创建人体的模型,其中...人体外廓非接触式测量是一种通过使用传感技术来测量人体的外廓参数或特征,而无需直接接触人体表面获得人体外廓数据的方法。但要得到较为精准的数据需要采用数学建模方法,传统如曲线拟合、三维重建、三角剖分等来创建人体的模型,其中三维重建是三维人体测量的主流方法,包括单视图RGB图像、多视图RGB图像、单视图深度图、多视图深度图重建等。受人体形态的影响,不同个体之间,三维重建后的模型点云个数和位置都不固定,不能自动定位到准确的测量点进行测量。而对于大规模人体数据测量,需要通过对人体模型进行标准化,即对模型进行编码来固定人体特征点的序列号,从而实现系统自动测量的目的。SMPL (Skinned Multi-Person Linear model)是一种用于建模人体形状和姿态的编码模型。其蒙皮表面通过形状参数进行对应的顶点映射,可以实现不同体态的表面编码。本文我们使用单视图深度图传感器获取深度图,利用DoubleFusion进行人体三维重建,并得到对应形态的SMPL顶点坐标(6890个),进而根据SMPL顶点的三维坐标,可以对人体关键尺寸进行三维计算,得到人体的测量结果。我们的方法在提高模型的精度和逼真度方面取得了进展,包括增加细节以及与服装模型适配等。该模型适用于人体三维测量、虚拟试衣、三维动画、动作捕捉行业,在电子商务、时尚行业、虚拟和增强现实等领域具有广泛的应用前景。展开更多
目的3维人体重建的目标在于建立真实可靠的3维人体模型。但目前基于SMPL(skinned multi-person linear model)模型重建3维人体的实验和一些公开数据集中,常常会出现预测的姿势角度值不符合真实人体关节角度规则的现象。针对这一问题,本...目的3维人体重建的目标在于建立真实可靠的3维人体模型。但目前基于SMPL(skinned multi-person linear model)模型重建3维人体的实验和一些公开数据集中,常常会出现预测的姿势角度值不符合真实人体关节角度规则的现象。针对这一问题,本文提出设置关节旋转角值域,使得重建的结果真实性更强、更符合人体关节机械结构。方法根据人体关节的联接结构将各个关节的运动进行划分。根据划分结果计算关节运动自由度,并结合实际情况提出基于SMPL模型的关节旋转值域。提出一个简单的重建方法来验证值域分析的正确性。结果使用3维人体数据集UP-3D进行相关实验,并对比以往直接根据学习结果生成重建模型的数据。在使用轴角作为损失参数的情况下,重建精度提高显著,平均误差降低15.1%。在使用所有损失函数后,平均误差比直接根据预测值生成重建模型的两段式重建方法降低7.0%。重建结果与UP-3D数据集进行真实性对比有显著的关节联动性效果。结论本文提出的关节旋转角值域设置对基于SMPL模型进行3维人体重建的方法在进行关节点旋转角回归的过程中起到了很大作用,重建的模型也更符合人体关节运动联动性。展开更多
针对从视频中恢复三维人体模型运动序列时,由于图像特征提取能力有限而导致三维人体模型运动序列重建效果不佳的问题,提出了一种基于Involution卷积的三维人体重建方法。首先为了引入自注意力机制,在ResNet50网络结构中加入Involution算...针对从视频中恢复三维人体模型运动序列时,由于图像特征提取能力有限而导致三维人体模型运动序列重建效果不佳的问题,提出了一种基于Involution卷积的三维人体重建方法。首先为了引入自注意力机制,在ResNet50网络结构中加入Involution算子,获取视频图像帧的特征向量,然后使用姿态估计网络和形状估计网络获取人体姿势以及形状参数,最后使用蒙皮多人线性模型(skinned multi-person linear model, SMPL)生成三维人体模型的运动序列。在三维姿态户外数据集(3D pose in the wild, 3DPW)上与视频人体姿态形状估计推理(video inference for body pose and shape estimation, VIBE)方法以及时间一致性网格恢复(temporally consistent mesh recovery, TCMR)方法进行对比实验,平均精度相比于VIBE、TCMR分别提升了3.1%、0.7%,能够为运动捕捉、三维人体动画制作等工作提供更为准确的三维人体模型。展开更多
文摘人体外廓非接触式测量是一种通过使用传感技术来测量人体的外廓参数或特征,而无需直接接触人体表面获得人体外廓数据的方法。但要得到较为精准的数据需要采用数学建模方法,传统如曲线拟合、三维重建、三角剖分等来创建人体的模型,其中三维重建是三维人体测量的主流方法,包括单视图RGB图像、多视图RGB图像、单视图深度图、多视图深度图重建等。受人体形态的影响,不同个体之间,三维重建后的模型点云个数和位置都不固定,不能自动定位到准确的测量点进行测量。而对于大规模人体数据测量,需要通过对人体模型进行标准化,即对模型进行编码来固定人体特征点的序列号,从而实现系统自动测量的目的。SMPL (Skinned Multi-Person Linear model)是一种用于建模人体形状和姿态的编码模型。其蒙皮表面通过形状参数进行对应的顶点映射,可以实现不同体态的表面编码。本文我们使用单视图深度图传感器获取深度图,利用DoubleFusion进行人体三维重建,并得到对应形态的SMPL顶点坐标(6890个),进而根据SMPL顶点的三维坐标,可以对人体关键尺寸进行三维计算,得到人体的测量结果。我们的方法在提高模型的精度和逼真度方面取得了进展,包括增加细节以及与服装模型适配等。该模型适用于人体三维测量、虚拟试衣、三维动画、动作捕捉行业,在电子商务、时尚行业、虚拟和增强现实等领域具有广泛的应用前景。
文摘目的3维人体重建的目标在于建立真实可靠的3维人体模型。但目前基于SMPL(skinned multi-person linear model)模型重建3维人体的实验和一些公开数据集中,常常会出现预测的姿势角度值不符合真实人体关节角度规则的现象。针对这一问题,本文提出设置关节旋转角值域,使得重建的结果真实性更强、更符合人体关节机械结构。方法根据人体关节的联接结构将各个关节的运动进行划分。根据划分结果计算关节运动自由度,并结合实际情况提出基于SMPL模型的关节旋转值域。提出一个简单的重建方法来验证值域分析的正确性。结果使用3维人体数据集UP-3D进行相关实验,并对比以往直接根据学习结果生成重建模型的数据。在使用轴角作为损失参数的情况下,重建精度提高显著,平均误差降低15.1%。在使用所有损失函数后,平均误差比直接根据预测值生成重建模型的两段式重建方法降低7.0%。重建结果与UP-3D数据集进行真实性对比有显著的关节联动性效果。结论本文提出的关节旋转角值域设置对基于SMPL模型进行3维人体重建的方法在进行关节点旋转角回归的过程中起到了很大作用,重建的模型也更符合人体关节运动联动性。
文摘针对从视频中恢复三维人体模型运动序列时,由于图像特征提取能力有限而导致三维人体模型运动序列重建效果不佳的问题,提出了一种基于Involution卷积的三维人体重建方法。首先为了引入自注意力机制,在ResNet50网络结构中加入Involution算子,获取视频图像帧的特征向量,然后使用姿态估计网络和形状估计网络获取人体姿势以及形状参数,最后使用蒙皮多人线性模型(skinned multi-person linear model, SMPL)生成三维人体模型的运动序列。在三维姿态户外数据集(3D pose in the wild, 3DPW)上与视频人体姿态形状估计推理(video inference for body pose and shape estimation, VIBE)方法以及时间一致性网格恢复(temporally consistent mesh recovery, TCMR)方法进行对比实验,平均精度相比于VIBE、TCMR分别提升了3.1%、0.7%,能够为运动捕捉、三维人体动画制作等工作提供更为准确的三维人体模型。
