针对中文文本中广泛存在的“一词多义”现象,以及文本不规范导致的分类模型鲁棒性问题,提出一种基于对抗训练和中文预训练模型相结合的AT-NEZHA(Adversarial Training NEZHA)分类模型。一方面通过引入BERT模型的中文改进版NEZHA模型的wo...针对中文文本中广泛存在的“一词多义”现象,以及文本不规范导致的分类模型鲁棒性问题,提出一种基于对抗训练和中文预训练模型相结合的AT-NEZHA(Adversarial Training NEZHA)分类模型。一方面通过引入BERT模型的中文改进版NEZHA模型的word embedding融合上下文信息解决中文文本中“一词多义”问题,另一方面利用对抗训练算法,对词嵌入层参数矩阵进行梯度扰动来增加训练过程中的损失值,使得模型找到更合适的参数,从而提高模型的鲁棒性。实验结果表明,AT-NEZHA能有效提高文本分类的准确度。展开更多
基于离散数据集建立气动模型是飞行器优化设计的重要环节,但建立完备的高精度数值模拟与风洞试验数据集周期长、成本高。为缩短研制周期、节约设计成本,本文基于有限数据集建立高精度的气动力模型,提出一种基于迁移学习的变可信度气动...基于离散数据集建立气动模型是飞行器优化设计的重要环节,但建立完备的高精度数值模拟与风洞试验数据集周期长、成本高。为缩短研制周期、节约设计成本,本文基于有限数据集建立高精度的气动力模型,提出一种基于迁移学习的变可信度气动力建模方法。该方法结合气动数据融合理论与迁移学习方法,设计了基于长短期记忆(Long Short-Term Memory,LSTM)神经网络的回归网络结构,采用预训练微调的参数调优机制进行迁移训练,以获得高可信度气动力模型。首先,以NACA 2414翼型的XFLR软件计算数据(低精度)与风洞试验数据(高精度)为研究对象,利用小量高精度数据对基于大量低精度数据集训练的模型进行迁移学习,形成高保真气动力预测模型。然后,设计了使用1/2至1/10风洞数据量的建模实验,并与未迁移的LSTM神经网络模型和加法标度函数(Additive Scaling Function Based Multi-fidelity Surrogate,AS-MFS)模型进行对比讨论。实验结果表明:在所有数据量下本文提出的迁移学习模型均获得了更高预测精度,阻力和升阻比的预测精度比未迁移的LSTM神经网络模型平均提升了7.22%和8.85%,比AS-MFS模型平均提升了8.66%和4.36%。展开更多
商品属性分类任务是指对一段商品的描述文字进行属性分析并进而对多个属性进行分类的过程,其有助于人们从多个角度了解商品,为市场营销、产品管理等提供帮助。当前大语言模型的使用也愈加广泛,但在商品属性分类问题上,通用大模型由于缺...商品属性分类任务是指对一段商品的描述文字进行属性分析并进而对多个属性进行分类的过程,其有助于人们从多个角度了解商品,为市场营销、产品管理等提供帮助。当前大语言模型的使用也愈加广泛,但在商品属性分类问题上,通用大模型由于缺乏领域知识和属性关联等信息,性能不够理想。为此,提出了一个基于双重预训练的商品属性分类方法,旨在通过使用特定的预训练方式提高大语言模型在商品属性分类任务中的性能。在T5模型的基础上,引入了领域内文本预训练和基于属性间关联性的预训练两种方法。在Clothing Fit Data数据集上的实验结果显示,使用了双重预训练的T5模型较未经过预训练的模型以及其他基准模型,在各个属性上的分类效果都取得了一定提升。实验结果证明了所提方法的有效性。展开更多
预训练扩散先验图像复原依赖预训练的扩散模型,无须微调即可处理各种经典图像复原任务。然而,目前的预训练扩散先验图像复原方法在处理高分辨率图像时效率低下,并且存在分布外问题(out of distribution,OOD)。针对以上问题,提出了一种...预训练扩散先验图像复原依赖预训练的扩散模型,无须微调即可处理各种经典图像复原任务。然而,目前的预训练扩散先验图像复原方法在处理高分辨率图像时效率低下,并且存在分布外问题(out of distribution,OOD)。针对以上问题,提出了一种基于预训练扩散模型的两阶段高分辨率图像复原方法,命名为由粗到细(coarse-to-fine,C2F)的方法。首先在预训练模型固定尺寸的coarse阶段得到粗糙的复原结果以保证输出一致性。然后在原尺寸的fine阶段上以coarse阶段结果为起点,使用更短的扩散过程来大幅度提升复原速度与获取一致性结果。在人脸与自然环境等多种场景下,以修复、上色、去模糊三种经典复原任务为目标,两阶段方法在任何尺寸下皆可获得最高水平的输出结果。对于1024尺寸的图像复原,采样次数需求仅需要同类方法的22%,速度达到了同类方法的4.5倍,避免了OOD问题,并且在PSNR与FID指标上达到最高水平。实验表明,所提方法对高分辨率图像的复原速度远高于其他方法,并且避免了OOD问题,具有良好的复原效果。展开更多
知识超图(knowledge hypergraph,KHG)是超图结构的知识图谱。现有知识超图链接预测模型主要存在以下不足:模型输入时将实体和关系简单地表示为嵌入层的ID(索引),而没有考虑实体和关系之间复杂的联系和语义;编码时只考虑位置和角色信息,...知识超图(knowledge hypergraph,KHG)是超图结构的知识图谱。现有知识超图链接预测模型主要存在以下不足:模型输入时将实体和关系简单地表示为嵌入层的ID(索引),而没有考虑实体和关系之间复杂的联系和语义;编码时只考虑位置和角色信息,而忽略了实体邻域结构和多元关系间的联系,导致实体和关系表示能力不足;模型训练时采样的负样本质量不够高,不能帮助模型高效学习样本特征。针对以上问题,提出一种联合预训练模型和层级注意力的知识超图链接预测模型(link prediction in knowledge hypergraph combining pretrained model and hierarchical attention,LPPH)。该模型引入预训练模型和简化的团式展开方法初始化超图嵌入,将实体和关系之间复杂联系和语义融入至实体和关系嵌入中;编码时使用层级注意力机制聚合实体邻域结构信息以增强实体表示,并使用实体-关系融合操作增强关系表示;提出一种基于过滤机制和主动学习的负样本选择策略,实现模型的高效训练。真实数据集上的大量实验结果验证了LPPH能有效提高知识超图链接预测的效果。展开更多
文摘针对中文文本中广泛存在的“一词多义”现象,以及文本不规范导致的分类模型鲁棒性问题,提出一种基于对抗训练和中文预训练模型相结合的AT-NEZHA(Adversarial Training NEZHA)分类模型。一方面通过引入BERT模型的中文改进版NEZHA模型的word embedding融合上下文信息解决中文文本中“一词多义”问题,另一方面利用对抗训练算法,对词嵌入层参数矩阵进行梯度扰动来增加训练过程中的损失值,使得模型找到更合适的参数,从而提高模型的鲁棒性。实验结果表明,AT-NEZHA能有效提高文本分类的准确度。
文摘基于离散数据集建立气动模型是飞行器优化设计的重要环节,但建立完备的高精度数值模拟与风洞试验数据集周期长、成本高。为缩短研制周期、节约设计成本,本文基于有限数据集建立高精度的气动力模型,提出一种基于迁移学习的变可信度气动力建模方法。该方法结合气动数据融合理论与迁移学习方法,设计了基于长短期记忆(Long Short-Term Memory,LSTM)神经网络的回归网络结构,采用预训练微调的参数调优机制进行迁移训练,以获得高可信度气动力模型。首先,以NACA 2414翼型的XFLR软件计算数据(低精度)与风洞试验数据(高精度)为研究对象,利用小量高精度数据对基于大量低精度数据集训练的模型进行迁移学习,形成高保真气动力预测模型。然后,设计了使用1/2至1/10风洞数据量的建模实验,并与未迁移的LSTM神经网络模型和加法标度函数(Additive Scaling Function Based Multi-fidelity Surrogate,AS-MFS)模型进行对比讨论。实验结果表明:在所有数据量下本文提出的迁移学习模型均获得了更高预测精度,阻力和升阻比的预测精度比未迁移的LSTM神经网络模型平均提升了7.22%和8.85%,比AS-MFS模型平均提升了8.66%和4.36%。
文摘商品属性分类任务是指对一段商品的描述文字进行属性分析并进而对多个属性进行分类的过程,其有助于人们从多个角度了解商品,为市场营销、产品管理等提供帮助。当前大语言模型的使用也愈加广泛,但在商品属性分类问题上,通用大模型由于缺乏领域知识和属性关联等信息,性能不够理想。为此,提出了一个基于双重预训练的商品属性分类方法,旨在通过使用特定的预训练方式提高大语言模型在商品属性分类任务中的性能。在T5模型的基础上,引入了领域内文本预训练和基于属性间关联性的预训练两种方法。在Clothing Fit Data数据集上的实验结果显示,使用了双重预训练的T5模型较未经过预训练的模型以及其他基准模型,在各个属性上的分类效果都取得了一定提升。实验结果证明了所提方法的有效性。
文摘预训练扩散先验图像复原依赖预训练的扩散模型,无须微调即可处理各种经典图像复原任务。然而,目前的预训练扩散先验图像复原方法在处理高分辨率图像时效率低下,并且存在分布外问题(out of distribution,OOD)。针对以上问题,提出了一种基于预训练扩散模型的两阶段高分辨率图像复原方法,命名为由粗到细(coarse-to-fine,C2F)的方法。首先在预训练模型固定尺寸的coarse阶段得到粗糙的复原结果以保证输出一致性。然后在原尺寸的fine阶段上以coarse阶段结果为起点,使用更短的扩散过程来大幅度提升复原速度与获取一致性结果。在人脸与自然环境等多种场景下,以修复、上色、去模糊三种经典复原任务为目标,两阶段方法在任何尺寸下皆可获得最高水平的输出结果。对于1024尺寸的图像复原,采样次数需求仅需要同类方法的22%,速度达到了同类方法的4.5倍,避免了OOD问题,并且在PSNR与FID指标上达到最高水平。实验表明,所提方法对高分辨率图像的复原速度远高于其他方法,并且避免了OOD问题,具有良好的复原效果。
文摘知识超图(knowledge hypergraph,KHG)是超图结构的知识图谱。现有知识超图链接预测模型主要存在以下不足:模型输入时将实体和关系简单地表示为嵌入层的ID(索引),而没有考虑实体和关系之间复杂的联系和语义;编码时只考虑位置和角色信息,而忽略了实体邻域结构和多元关系间的联系,导致实体和关系表示能力不足;模型训练时采样的负样本质量不够高,不能帮助模型高效学习样本特征。针对以上问题,提出一种联合预训练模型和层级注意力的知识超图链接预测模型(link prediction in knowledge hypergraph combining pretrained model and hierarchical attention,LPPH)。该模型引入预训练模型和简化的团式展开方法初始化超图嵌入,将实体和关系之间复杂联系和语义融入至实体和关系嵌入中;编码时使用层级注意力机制聚合实体邻域结构信息以增强实体表示,并使用实体-关系融合操作增强关系表示;提出一种基于过滤机制和主动学习的负样本选择策略,实现模型的高效训练。真实数据集上的大量实验结果验证了LPPH能有效提高知识超图链接预测的效果。
