-
题名面向知识蒸馏的多助教动态设置方法
被引量：2
- 1
-
-
作者
司悦航
成清
黄金才
-
机构
国防科技大学大数据与决策实验室
湖南先进技术研究院
-
出处
《计算机科学》
北大核心
2025年第5期241-247,共7页
-
文摘
知识蒸馏在目标识别的模型压缩等关键领域受到重视。通过深入研究知识蒸馏的效率并分析教师模型和学生模型间知识传递的特点,发现合理设置助教模型可以显著缩小教师和学生之间的性能差距。然而,助教模型的规模和数量的不合理选择会对学生产生负面影响。因此,提出了一种创新的多助教知识蒸馏训练框架,通过动态调整助教的数量和规模,以优化知识从教师向学生传递的过程,从而提高学生模型的训练准确率。此外,还设计了一种动态停止知识蒸馏的策略,设置不同训练方法的学生模型作为对照组,实现对知识蒸馏停止回合的个性化设计,进一步提升学生模型的训练效率,并构建更精简高效的多助教知识蒸馏框架。通过在公开数据集上进行实验,证明了提出的面向知识蒸馏的多助教动态设置方法的有效性。
-
关键词
知识蒸馏
目标识别
多助教
动态设置
dskd
-
Keywords
Knowledge distillation
Object recognition
Multi assistants
Dynamic setting
dskd
-
分类号
TP301
[自动化与计算机技术—计算机系统结构]
-
