针对手术室环境下的动态手势人机交互问题,提出了一种基于深度学习的手势识别算法YOLO-RexNet。基于YOLOv8n的动态手势检测部分,在网络中融入DualConv卷积模块,利用GhostNetV2重构C2f模块,并应用模型剪枝技术,在减少模型参数量和计算量...针对手术室环境下的动态手势人机交互问题,提出了一种基于深度学习的手势识别算法YOLO-RexNet。基于YOLOv8n的动态手势检测部分,在网络中融入DualConv卷积模块,利用GhostNetV2重构C2f模块,并应用模型剪枝技术,在减少模型参数量和计算量的同时保持较高的检测精度。实验结果表明,改进后的算法参数量减少了70.9%,计算量降低了69.7%,模型权重大小下降了66.2%,检测耗时降低了41.3%,动态手势识别的准确率达到99%。基于RexNet的手部关键点检测部分,将损失函数替换为Huber_Loss,使关键点的预测更加准确。所提算法在保证动态手势识别精度的同时,满足轻量化要求,实现了对医疗设备的便捷操作。在Jetson orin nano嵌入式边缘设备上部署时,每秒帧数能够达到65,具备良好的应用前景。展开更多
文摘针对手术室环境下的动态手势人机交互问题,提出了一种基于深度学习的手势识别算法YOLO-RexNet。基于YOLOv8n的动态手势检测部分,在网络中融入DualConv卷积模块,利用GhostNetV2重构C2f模块,并应用模型剪枝技术,在减少模型参数量和计算量的同时保持较高的检测精度。实验结果表明,改进后的算法参数量减少了70.9%,计算量降低了69.7%,模型权重大小下降了66.2%,检测耗时降低了41.3%,动态手势识别的准确率达到99%。基于RexNet的手部关键点检测部分,将损失函数替换为Huber_Loss,使关键点的预测更加准确。所提算法在保证动态手势识别精度的同时,满足轻量化要求,实现了对医疗设备的便捷操作。在Jetson orin nano嵌入式边缘设备上部署时,每秒帧数能够达到65,具备良好的应用前景。
