在短文本分类这一热门研究领域,预训练模型虽表现出色,但存在数据表征散布和转移学习受限等问题,导致分类效果降低。尽管诸如ERNIE(enhanced representation through knowledge integration)等大模型提升了分类效果,但由于其速度慢、资...在短文本分类这一热门研究领域,预训练模型虽表现出色,但存在数据表征散布和转移学习受限等问题,导致分类效果降低。尽管诸如ERNIE(enhanced representation through knowledge integration)等大模型提升了分类效果,但由于其速度慢、资源需求大、受硬件限制等问题,难以应用于工业生产。为此提出了基于ERNIE的辅助任务模型EL(ERNIE+LAT(learning with auxiliary tasks)),旨在验证其获取更优类别特征的可行性。针对工业任务落地需求,同时提出知识蒸馏法,对EL与TextCNN模型进行蒸馏训练,以验证其在提升分类效果以及线上推理效率方面的可行性。研究验证现有预训练模型在公共数据集上的分类优势;采用辅助任务结合预训练模型的方法进行实验改进;并基于知识蒸馏法深入推进模型加速研究。实验表明,通过联合训练能够提升模型的泛化能力与特征提取能力,进而增强特定任务下的学习能力;学生模型TextCNN经蒸馏后不仅可与教师模型相媲美,在线上部署时还更具优势。展开更多
针对现有医学影像合成技术在准确捕捉复杂解剖结构和病理状态方面存在不足,从而生成低质量且与实际情况不符的胸片问题,文中提出了一种创新性的医学潜在扩散模型Chest-Chat。基于先前研究结果改进了所提模型,引入一种多模态文本编码器Me...针对现有医学影像合成技术在准确捕捉复杂解剖结构和病理状态方面存在不足,从而生成低质量且与实际情况不符的胸片问题,文中提出了一种创新性的医学潜在扩散模型Chest-Chat。基于先前研究结果改进了所提模型,引入一种多模态文本编码器MedA-BERT(Medical Attention Strategy Pre-training of Deep Bidirectional Transformers for Language Understanding)。采用跨模态视觉-语言预训练策略构建该编码器并强化胸片影像与对应文本报告间的深刻语义联系,结合双向交叉注意力机制和对比学习显著增强了模型对医学影像报告语义的理解和处理能力。将MedA-BERT与潜在扩散模型的视觉模块相结合,使Chest-Chat能够生成具有详细解剖和病理描述的高质量胸片。在CheXpert和MIMIC-CXR(Chest X-ray)两个公开数据集上进行了广泛评估。实验结果表明,Chest-Chat的FID InceptionV3(Fréchet Inception Distance)、FID XRV和MS-SSIM(Multi-Scale Structural Similarity)分别为58.38、3.69和0.12±0.11,其表现优于现有方法。展开更多
为解决医学文本使用预训练模型处理速度慢、对硬件的算力要求高、难以分辨少样本类别,以及使用传统小模型由于自身限制难以做到足够的准确度的问题,提出了一种融合预训练和元蒸馏的文本分类模型PTMD(fusion of pre-training and meta di...为解决医学文本使用预训练模型处理速度慢、对硬件的算力要求高、难以分辨少样本类别,以及使用传统小模型由于自身限制难以做到足够的准确度的问题,提出了一种融合预训练和元蒸馏的文本分类模型PTMD(fusion of pre-training and meta distillation model)。PTMD针对医学文本的多标签问题,通过对比训练对RoBERTa预训练方法进行微调,再由双向内置注意力简单循环单元充分获取语义信息。最后在传统蒸馏模型的基础上融合元学习和助教的思想,通过教学实验和双级模型等方法,提高模型的教学水平,最终在减少训练成本的基础上得到一个高性能医学文本分类模型。实验结果表明,教师模型在CHIP2019评测三数据集上的F1值达到了85.47%,同时学生模型在F1值损失1.45个百分点的情况下,将模型规模缩小到教师模型的近1/6,效果高于大多数传统预训练模型和知识蒸馏模型,证明了该模型具有良好的实用价值。展开更多
ReLM(Rephrasing Language Model)是当前性能领先的中文拼写纠错(CSC)模型。针对它在复杂语义场景中存在特征表达不足的问题,提出深层语义特征增强的ReLM——FeReLM(Feature-enhanced Rephrasing Language Model)。该模型利用深度可分...ReLM(Rephrasing Language Model)是当前性能领先的中文拼写纠错(CSC)模型。针对它在复杂语义场景中存在特征表达不足的问题,提出深层语义特征增强的ReLM——FeReLM(Feature-enhanced Rephrasing Language Model)。该模型利用深度可分离卷积(DSC)技术融合特征提取模型BGE(BAAI General Embeddings)生成的深层语义特征与ReLM生成的整体特征,从而有效提升模型对复杂上下文的解析力和拼写错误的识别纠正精度。首先,在Wang271K数据集上训练FeReLM,使模型持续学习句子中的深层语义和复杂表达;其次,迁移训练好的权重,从而将模型学习到的知识应用于新的数据集并进行微调。实验结果表明,在ECSpell和MCSC数据集上与ReLM、MCRSpell(Metric learning of Correct Representation for Chinese Spelling Correction)和RSpell(Retrieval-augmented Framework for Domain Adaptive Chinese Spelling Check)等模型相比,FeReLM的精确率、召回率、F1分数等关键指标的提升幅度可达0.6~28.7个百分点。此外,通过消融实验验证了所提方法的有效性。展开更多
文摘在短文本分类这一热门研究领域,预训练模型虽表现出色,但存在数据表征散布和转移学习受限等问题,导致分类效果降低。尽管诸如ERNIE(enhanced representation through knowledge integration)等大模型提升了分类效果,但由于其速度慢、资源需求大、受硬件限制等问题,难以应用于工业生产。为此提出了基于ERNIE的辅助任务模型EL(ERNIE+LAT(learning with auxiliary tasks)),旨在验证其获取更优类别特征的可行性。针对工业任务落地需求,同时提出知识蒸馏法,对EL与TextCNN模型进行蒸馏训练,以验证其在提升分类效果以及线上推理效率方面的可行性。研究验证现有预训练模型在公共数据集上的分类优势;采用辅助任务结合预训练模型的方法进行实验改进;并基于知识蒸馏法深入推进模型加速研究。实验表明,通过联合训练能够提升模型的泛化能力与特征提取能力,进而增强特定任务下的学习能力;学生模型TextCNN经蒸馏后不仅可与教师模型相媲美,在线上部署时还更具优势。
文摘针对现有医学影像合成技术在准确捕捉复杂解剖结构和病理状态方面存在不足,从而生成低质量且与实际情况不符的胸片问题,文中提出了一种创新性的医学潜在扩散模型Chest-Chat。基于先前研究结果改进了所提模型,引入一种多模态文本编码器MedA-BERT(Medical Attention Strategy Pre-training of Deep Bidirectional Transformers for Language Understanding)。采用跨模态视觉-语言预训练策略构建该编码器并强化胸片影像与对应文本报告间的深刻语义联系,结合双向交叉注意力机制和对比学习显著增强了模型对医学影像报告语义的理解和处理能力。将MedA-BERT与潜在扩散模型的视觉模块相结合,使Chest-Chat能够生成具有详细解剖和病理描述的高质量胸片。在CheXpert和MIMIC-CXR(Chest X-ray)两个公开数据集上进行了广泛评估。实验结果表明,Chest-Chat的FID InceptionV3(Fréchet Inception Distance)、FID XRV和MS-SSIM(Multi-Scale Structural Similarity)分别为58.38、3.69和0.12±0.11,其表现优于现有方法。
文摘为解决医学文本使用预训练模型处理速度慢、对硬件的算力要求高、难以分辨少样本类别,以及使用传统小模型由于自身限制难以做到足够的准确度的问题,提出了一种融合预训练和元蒸馏的文本分类模型PTMD(fusion of pre-training and meta distillation model)。PTMD针对医学文本的多标签问题,通过对比训练对RoBERTa预训练方法进行微调,再由双向内置注意力简单循环单元充分获取语义信息。最后在传统蒸馏模型的基础上融合元学习和助教的思想,通过教学实验和双级模型等方法,提高模型的教学水平,最终在减少训练成本的基础上得到一个高性能医学文本分类模型。实验结果表明,教师模型在CHIP2019评测三数据集上的F1值达到了85.47%,同时学生模型在F1值损失1.45个百分点的情况下,将模型规模缩小到教师模型的近1/6,效果高于大多数传统预训练模型和知识蒸馏模型,证明了该模型具有良好的实用价值。
文摘ReLM(Rephrasing Language Model)是当前性能领先的中文拼写纠错(CSC)模型。针对它在复杂语义场景中存在特征表达不足的问题,提出深层语义特征增强的ReLM——FeReLM(Feature-enhanced Rephrasing Language Model)。该模型利用深度可分离卷积(DSC)技术融合特征提取模型BGE(BAAI General Embeddings)生成的深层语义特征与ReLM生成的整体特征,从而有效提升模型对复杂上下文的解析力和拼写错误的识别纠正精度。首先,在Wang271K数据集上训练FeReLM,使模型持续学习句子中的深层语义和复杂表达;其次,迁移训练好的权重,从而将模型学习到的知识应用于新的数据集并进行微调。实验结果表明,在ECSpell和MCSC数据集上与ReLM、MCRSpell(Metric learning of Correct Representation for Chinese Spelling Correction)和RSpell(Retrieval-augmented Framework for Domain Adaptive Chinese Spelling Check)等模型相比,FeReLM的精确率、召回率、F1分数等关键指标的提升幅度可达0.6~28.7个百分点。此外,通过消融实验验证了所提方法的有效性。
