目前层次型或深度模糊系统性能优异,但是模型复杂度较高;而基于蒸馏学习的轻量型TSK(Takagi-Sugeno-Kang)模糊分类器主要以单教师知识蒸馏为主,若教师模型表现不佳,则会影响蒸馏效果和模型的整体性能;此外,传统的多教师蒸馏通常使用无...目前层次型或深度模糊系统性能优异,但是模型复杂度较高;而基于蒸馏学习的轻量型TSK(Takagi-Sugeno-Kang)模糊分类器主要以单教师知识蒸馏为主,若教师模型表现不佳,则会影响蒸馏效果和模型的整体性能;此外,传统的多教师蒸馏通常使用无标签策略分配教师模型输出的权重,容易使低质量教师误导学生。对此,本文提出了一种基于多教师自适应知识蒸馏的TSK模糊分类器(TSK fuzzy classifier based on multi-teacher adaptive knowledge distillation,TSK-MTAKD),以多个具有不同神经表达能力的深度神经网络为教师模型,利用本文提出的多教师知识蒸馏框架从多个深度学习模型中提取隐藏知识,并传递给具有强大不确定处理能力的TSK模糊系统。同时设计自适应权重分配器,将教师模型的输出与真实标签做交叉熵处理,更接近真实值的输出将被赋予更高权重,提高了模型的鲁棒性与隐藏知识的有效性。在13个UCI数据集上的实验结果充分验证了TSK-MTAKD的优势。展开更多
文摘目前层次型或深度模糊系统性能优异,但是模型复杂度较高;而基于蒸馏学习的轻量型TSK(Takagi-Sugeno-Kang)模糊分类器主要以单教师知识蒸馏为主,若教师模型表现不佳,则会影响蒸馏效果和模型的整体性能;此外,传统的多教师蒸馏通常使用无标签策略分配教师模型输出的权重,容易使低质量教师误导学生。对此,本文提出了一种基于多教师自适应知识蒸馏的TSK模糊分类器(TSK fuzzy classifier based on multi-teacher adaptive knowledge distillation,TSK-MTAKD),以多个具有不同神经表达能力的深度神经网络为教师模型,利用本文提出的多教师知识蒸馏框架从多个深度学习模型中提取隐藏知识,并传递给具有强大不确定处理能力的TSK模糊系统。同时设计自适应权重分配器,将教师模型的输出与真实标签做交叉熵处理,更接近真实值的输出将被赋予更高权重,提高了模型的鲁棒性与隐藏知识的有效性。在13个UCI数据集上的实验结果充分验证了TSK-MTAKD的优势。
