为实现脑卒中患者手功能康复情况的自动、精准定量评估,本文提出一种基于手部骨骼的手势识别与功能评估方法。首先,利用MediaPipe框架提取手部关键点并连接形成手骨骼模型,将传统的RGB视频数据集转化为手骨骼数据集。然后,通过C3D模型...为实现脑卒中患者手功能康复情况的自动、精准定量评估,本文提出一种基于手部骨骼的手势识别与功能评估方法。首先,利用MediaPipe框架提取手部关键点并连接形成手骨骼模型,将传统的RGB视频数据集转化为手骨骼数据集。然后,通过C3D模型进行训练,实现手功能动作的识别。最后,在正确识别的基础上进一步评估,采用动态时间规整(dynamic time warping,DTW)算法,在实现时序对齐的同时引入空间对齐机制,通过计算患者健侧手与患侧手完成同一动作的DTW距离,量化动作执行的相似度,为每个动作找到最佳阈值作为定量评估的标准。实验结果表明,用骨骼数据代替传统视频数据,使手势识别的准确率提升至99.01%,缩短了训练时间,并结合DTW算法,实现了手功能康复情况的自动评估。展开更多
文摘为实现脑卒中患者手功能康复情况的自动、精准定量评估,本文提出一种基于手部骨骼的手势识别与功能评估方法。首先,利用MediaPipe框架提取手部关键点并连接形成手骨骼模型,将传统的RGB视频数据集转化为手骨骼数据集。然后,通过C3D模型进行训练,实现手功能动作的识别。最后,在正确识别的基础上进一步评估,采用动态时间规整(dynamic time warping,DTW)算法,在实现时序对齐的同时引入空间对齐机制,通过计算患者健侧手与患侧手完成同一动作的DTW距离,量化动作执行的相似度,为每个动作找到最佳阈值作为定量评估的标准。实验结果表明,用骨骼数据代替传统视频数据,使手势识别的准确率提升至99.01%,缩短了训练时间,并结合DTW算法,实现了手功能康复情况的自动评估。
