Most of the current object detection algorithms use pretrained models that are trained on ImageNet and then fine-tuned in the network,which can achieve good performance in terms of general object detectors.However,in ...Most of the current object detection algorithms use pretrained models that are trained on ImageNet and then fine-tuned in the network,which can achieve good performance in terms of general object detectors.However,in the field of remote sensing image object detection,as pretrained models are significantly different from remote sensing data,it is meaningful to explore a train-fromscratch technique for remote sensing images.This paper proposes an object detection framework trained from scratch,SRS-Net,and describes the design of a densely connected backbone network to provide integrated hidden layer supervision for the convolution module.Then,two necessary improvement principles are proposed:studying the role of normalization in the network structure,and improving data augmentation methods for remote sensing images.To evaluate the proposed framework,we performed many ablation experiments on the DIOR,DOTA,and AS datasets.The results show that whether using the improved backbone network,the normalization method or training data enhancement strategy,the performance of the object detection network trained from scratch increased.These principles compensate for the lack of pretrained models.Furthermore,we found that SRS-Net could achieve similar to or slightly better performance than baseline methods,and surpassed most advanced general detectors.展开更多
针对中文文本中广泛存在的“一词多义”现象,以及文本不规范导致的分类模型鲁棒性问题,提出一种基于对抗训练和中文预训练模型相结合的AT-NEZHA(Adversarial Training NEZHA)分类模型。一方面通过引入BERT模型的中文改进版NEZHA模型的wo...针对中文文本中广泛存在的“一词多义”现象,以及文本不规范导致的分类模型鲁棒性问题,提出一种基于对抗训练和中文预训练模型相结合的AT-NEZHA(Adversarial Training NEZHA)分类模型。一方面通过引入BERT模型的中文改进版NEZHA模型的word embedding融合上下文信息解决中文文本中“一词多义”问题,另一方面利用对抗训练算法,对词嵌入层参数矩阵进行梯度扰动来增加训练过程中的损失值,使得模型找到更合适的参数,从而提高模型的鲁棒性。实验结果表明,AT-NEZHA能有效提高文本分类的准确度。展开更多
基于离散数据集建立气动模型是飞行器优化设计的重要环节,但建立完备的高精度数值模拟与风洞试验数据集周期长、成本高。为缩短研制周期、节约设计成本,本文基于有限数据集建立高精度的气动力模型,提出一种基于迁移学习的变可信度气动...基于离散数据集建立气动模型是飞行器优化设计的重要环节,但建立完备的高精度数值模拟与风洞试验数据集周期长、成本高。为缩短研制周期、节约设计成本,本文基于有限数据集建立高精度的气动力模型,提出一种基于迁移学习的变可信度气动力建模方法。该方法结合气动数据融合理论与迁移学习方法,设计了基于长短期记忆(Long Short-Term Memory,LSTM)神经网络的回归网络结构,采用预训练微调的参数调优机制进行迁移训练,以获得高可信度气动力模型。首先,以NACA 2414翼型的XFLR软件计算数据(低精度)与风洞试验数据(高精度)为研究对象,利用小量高精度数据对基于大量低精度数据集训练的模型进行迁移学习,形成高保真气动力预测模型。然后,设计了使用1/2至1/10风洞数据量的建模实验,并与未迁移的LSTM神经网络模型和加法标度函数(Additive Scaling Function Based Multi-fidelity Surrogate,AS-MFS)模型进行对比讨论。实验结果表明:在所有数据量下本文提出的迁移学习模型均获得了更高预测精度,阻力和升阻比的预测精度比未迁移的LSTM神经网络模型平均提升了7.22%和8.85%,比AS-MFS模型平均提升了8.66%和4.36%。展开更多
商品属性分类任务是指对一段商品的描述文字进行属性分析并进而对多个属性进行分类的过程,其有助于人们从多个角度了解商品,为市场营销、产品管理等提供帮助。当前大语言模型的使用也愈加广泛,但在商品属性分类问题上,通用大模型由于缺...商品属性分类任务是指对一段商品的描述文字进行属性分析并进而对多个属性进行分类的过程,其有助于人们从多个角度了解商品,为市场营销、产品管理等提供帮助。当前大语言模型的使用也愈加广泛,但在商品属性分类问题上,通用大模型由于缺乏领域知识和属性关联等信息,性能不够理想。为此,提出了一个基于双重预训练的商品属性分类方法,旨在通过使用特定的预训练方式提高大语言模型在商品属性分类任务中的性能。在T5模型的基础上,引入了领域内文本预训练和基于属性间关联性的预训练两种方法。在Clothing Fit Data数据集上的实验结果显示,使用了双重预训练的T5模型较未经过预训练的模型以及其他基准模型,在各个属性上的分类效果都取得了一定提升。实验结果证明了所提方法的有效性。展开更多
基金supported by the Natural Science Foundation of China(No.61906213).
文摘Most of the current object detection algorithms use pretrained models that are trained on ImageNet and then fine-tuned in the network,which can achieve good performance in terms of general object detectors.However,in the field of remote sensing image object detection,as pretrained models are significantly different from remote sensing data,it is meaningful to explore a train-fromscratch technique for remote sensing images.This paper proposes an object detection framework trained from scratch,SRS-Net,and describes the design of a densely connected backbone network to provide integrated hidden layer supervision for the convolution module.Then,two necessary improvement principles are proposed:studying the role of normalization in the network structure,and improving data augmentation methods for remote sensing images.To evaluate the proposed framework,we performed many ablation experiments on the DIOR,DOTA,and AS datasets.The results show that whether using the improved backbone network,the normalization method or training data enhancement strategy,the performance of the object detection network trained from scratch increased.These principles compensate for the lack of pretrained models.Furthermore,we found that SRS-Net could achieve similar to or slightly better performance than baseline methods,and surpassed most advanced general detectors.
文摘针对中文文本中广泛存在的“一词多义”现象,以及文本不规范导致的分类模型鲁棒性问题,提出一种基于对抗训练和中文预训练模型相结合的AT-NEZHA(Adversarial Training NEZHA)分类模型。一方面通过引入BERT模型的中文改进版NEZHA模型的word embedding融合上下文信息解决中文文本中“一词多义”问题,另一方面利用对抗训练算法,对词嵌入层参数矩阵进行梯度扰动来增加训练过程中的损失值,使得模型找到更合适的参数,从而提高模型的鲁棒性。实验结果表明,AT-NEZHA能有效提高文本分类的准确度。
文摘基于离散数据集建立气动模型是飞行器优化设计的重要环节,但建立完备的高精度数值模拟与风洞试验数据集周期长、成本高。为缩短研制周期、节约设计成本,本文基于有限数据集建立高精度的气动力模型,提出一种基于迁移学习的变可信度气动力建模方法。该方法结合气动数据融合理论与迁移学习方法,设计了基于长短期记忆(Long Short-Term Memory,LSTM)神经网络的回归网络结构,采用预训练微调的参数调优机制进行迁移训练,以获得高可信度气动力模型。首先,以NACA 2414翼型的XFLR软件计算数据(低精度)与风洞试验数据(高精度)为研究对象,利用小量高精度数据对基于大量低精度数据集训练的模型进行迁移学习,形成高保真气动力预测模型。然后,设计了使用1/2至1/10风洞数据量的建模实验,并与未迁移的LSTM神经网络模型和加法标度函数(Additive Scaling Function Based Multi-fidelity Surrogate,AS-MFS)模型进行对比讨论。实验结果表明:在所有数据量下本文提出的迁移学习模型均获得了更高预测精度,阻力和升阻比的预测精度比未迁移的LSTM神经网络模型平均提升了7.22%和8.85%,比AS-MFS模型平均提升了8.66%和4.36%。
文摘商品属性分类任务是指对一段商品的描述文字进行属性分析并进而对多个属性进行分类的过程,其有助于人们从多个角度了解商品,为市场营销、产品管理等提供帮助。当前大语言模型的使用也愈加广泛,但在商品属性分类问题上,通用大模型由于缺乏领域知识和属性关联等信息,性能不够理想。为此,提出了一个基于双重预训练的商品属性分类方法,旨在通过使用特定的预训练方式提高大语言模型在商品属性分类任务中的性能。在T5模型的基础上,引入了领域内文本预训练和基于属性间关联性的预训练两种方法。在Clothing Fit Data数据集上的实验结果显示,使用了双重预训练的T5模型较未经过预训练的模型以及其他基准模型,在各个属性上的分类效果都取得了一定提升。实验结果证明了所提方法的有效性。
