由于不同时期的录波数据记录标准有所不同,以及各个生产厂家对标准的解读存在偏差,造成同源录波数据的通道名称存在个性化差异,且通道索引号不同,难以进行录波数据的同源匹配。针对上述问题,提出基于句向量掩码纠错双向编码器表征语言模...由于不同时期的录波数据记录标准有所不同,以及各个生产厂家对标准的解读存在偏差,造成同源录波数据的通道名称存在个性化差异,且通道索引号不同,难以进行录波数据的同源匹配。针对上述问题,提出基于句向量掩码纠错双向编码器表征语言模型(sentence-masked language model as correction bidirectional encoder representations from transformers,Sentence-MacBERT)的同源录波数据匹配方法。首先,分析录波文件的记录格式特点,根据录波文件的格式特点完成核查信息表的构建。然后,通过构建的核查信息表进行录波文件自动校核。最后,在双向编码器表征(bidirectional encoder representations from transformers,BERT)模型的基础上构建Sentence-MacBERT同源通道匹配模型,完成同源录波数据匹配。算例分析表明,根据核查信息表能够完成录波文件的自动校核,并对解析失败的录波文件发出告警信息。利用Sentence-MacBERT模型进行通道名称匹配的效果良好,能够有效地完成录波数据的同源匹配,帮助运行人员进行故障分析。展开更多
针对农业领域文本信息密度大、语义模糊、特征稀疏的特点,提出一种基于MacBERT(MLM as correction-BERT)、深度金字塔卷积网络(DPCNN)和注意力机制(Attention)的农业文本分类模型,命名为MacBERT—DPCNN—Attention(MDA)。首先,使用MacB...针对农业领域文本信息密度大、语义模糊、特征稀疏的特点,提出一种基于MacBERT(MLM as correction-BERT)、深度金字塔卷积网络(DPCNN)和注意力机制(Attention)的农业文本分类模型,命名为MacBERT—DPCNN—Attention(MDA)。首先,使用MacBERT模型充分提取农业类文本内容的上下文信息,强化文本的语义特征表示。然后,DPCNN模型通过其多层卷积神经网络和池化操作,有效捕获文本的局部特征。最后,注意力机制进一步增强农业文本序列的特征表达。结果表明,与其他主流模型如BERT—DPCNN、BERT—CNN、BERT—RNN相比,MDA模型在农业文本分类任务上的精确率提升1.04%以上,召回率提升0.95%以上,F1值提升0.14%以上。表明所提模型在解决农业领域文本分类问题方面的有效性和优越性。展开更多
台风灾害评估是一个多属性决策问题,针对台风灾害发生后决策信息来源的真实性和时效性问题,本研究提出一种中智环境下基于全词掩码的中文BERT模型(masked language model as correction BERT,MacBERT)的台风灾害评估方法。首先,使用微...台风灾害评估是一个多属性决策问题,针对台风灾害发生后决策信息来源的真实性和时效性问题,本研究提出一种中智环境下基于全词掩码的中文BERT模型(masked language model as correction BERT,MacBERT)的台风灾害评估方法。首先,使用微调后的MacBERT模型对网络实时评论信息分指标量化,采用单值中智数表达台风灾害评论信息的分类结果;然后,采用逼近理想解排序方法(technique for order preference by similarity to an ideal solution,TOPSIS)把各个地区受台风灾害影响的程度进行排序,排序结果可用于辅助灾后应急救援工作。最后,以“黑格比”台风为例进行了案例分析,做了详细的灵敏性分析以确定分类模型的最优参数设置;排序结果与官方统计数据进行了对比,证明了评估方法的有效性;从数据转换效率的角度出发将单值中智数与精确数进行对比,证明了单值中智数在表达模型分类结果时比精确数更能有效地保留原始数据;从模型分类效果方面将MacBERT与ChatGPT模型进行对比,证明了微调后的MacBERT模型在处理台风灾害评论文本时具有更好的效果,最佳F1值达到0.983。展开更多
针对BERT预训练与下游任务微调阶段存在不匹配差异,以及人工对文本数据进行情感倾向性标注可能存在误差的问题,提出一种基于MacBERT和标签平滑的网络模型(MacLMC).首先,在BERT的基础上引入MLM as correction策略,利用近义词替换被掩码词...针对BERT预训练与下游任务微调阶段存在不匹配差异,以及人工对文本数据进行情感倾向性标注可能存在误差的问题,提出一种基于MacBERT和标签平滑的网络模型(MacLMC).首先,在BERT的基础上引入MLM as correction策略,利用近义词替换被掩码词,通过MacBERT预训练模型获取词向量;其次,经过双层LSTM学习长距离依赖;再次,采用双通道多卷积核的卷积操作,分别提取信息的最大特征和均值特征;最后,利用标签平滑策略降低模型预测类别的概率,提升模型对于标签的容错能力,提高模型泛化性.实验结果表明:与现有主流模型相比,本文模型在多种数据集上性能表现更佳,能够更好地用于新冠疫情公众情感分析任务.展开更多
为更好地解决传统模型特征捕捉能力不足,词向量语义表示不准确等问题,提出了结合MacBERT与多层次特征协同网络的音乐社交评论情感分析模型MacBERT-MFCN(MacBERT and Multi-level Feature Collaborative Network)。采用MacBERT模型提取...为更好地解决传统模型特征捕捉能力不足,词向量语义表示不准确等问题,提出了结合MacBERT与多层次特征协同网络的音乐社交评论情感分析模型MacBERT-MFCN(MacBERT and Multi-level Feature Collaborative Network)。采用MacBERT模型提取评论文本特征向量,解决静态词向量无法表示多义词的问题;多层次特征协同网络结合双向内置注意力简单循环单元(Bidirectional Built in Attention Simple Recurrent Unit,BiBASRU)和多层次卷积神经网络(Multilevel Convolutional Neural Network,MCNN)模块,全面捕捉局部和上下文语义特征;软注意力用来衡量分类特征贡献的大小,赋予关键特征更高权重。基于网易云评论文本数据集进行实验,结果表明,MacBERTMFCN模型F1值高达95.56%,能有效地提升文本情感分类准确率。展开更多
文摘由于不同时期的录波数据记录标准有所不同,以及各个生产厂家对标准的解读存在偏差,造成同源录波数据的通道名称存在个性化差异,且通道索引号不同,难以进行录波数据的同源匹配。针对上述问题,提出基于句向量掩码纠错双向编码器表征语言模型(sentence-masked language model as correction bidirectional encoder representations from transformers,Sentence-MacBERT)的同源录波数据匹配方法。首先,分析录波文件的记录格式特点,根据录波文件的格式特点完成核查信息表的构建。然后,通过构建的核查信息表进行录波文件自动校核。最后,在双向编码器表征(bidirectional encoder representations from transformers,BERT)模型的基础上构建Sentence-MacBERT同源通道匹配模型,完成同源录波数据匹配。算例分析表明,根据核查信息表能够完成录波文件的自动校核,并对解析失败的录波文件发出告警信息。利用Sentence-MacBERT模型进行通道名称匹配的效果良好,能够有效地完成录波数据的同源匹配,帮助运行人员进行故障分析。
文摘针对农业领域文本信息密度大、语义模糊、特征稀疏的特点,提出一种基于MacBERT(MLM as correction-BERT)、深度金字塔卷积网络(DPCNN)和注意力机制(Attention)的农业文本分类模型,命名为MacBERT—DPCNN—Attention(MDA)。首先,使用MacBERT模型充分提取农业类文本内容的上下文信息,强化文本的语义特征表示。然后,DPCNN模型通过其多层卷积神经网络和池化操作,有效捕获文本的局部特征。最后,注意力机制进一步增强农业文本序列的特征表达。结果表明,与其他主流模型如BERT—DPCNN、BERT—CNN、BERT—RNN相比,MDA模型在农业文本分类任务上的精确率提升1.04%以上,召回率提升0.95%以上,F1值提升0.14%以上。表明所提模型在解决农业领域文本分类问题方面的有效性和优越性。
文摘台风灾害评估是一个多属性决策问题,针对台风灾害发生后决策信息来源的真实性和时效性问题,本研究提出一种中智环境下基于全词掩码的中文BERT模型(masked language model as correction BERT,MacBERT)的台风灾害评估方法。首先,使用微调后的MacBERT模型对网络实时评论信息分指标量化,采用单值中智数表达台风灾害评论信息的分类结果;然后,采用逼近理想解排序方法(technique for order preference by similarity to an ideal solution,TOPSIS)把各个地区受台风灾害影响的程度进行排序,排序结果可用于辅助灾后应急救援工作。最后,以“黑格比”台风为例进行了案例分析,做了详细的灵敏性分析以确定分类模型的最优参数设置;排序结果与官方统计数据进行了对比,证明了评估方法的有效性;从数据转换效率的角度出发将单值中智数与精确数进行对比,证明了单值中智数在表达模型分类结果时比精确数更能有效地保留原始数据;从模型分类效果方面将MacBERT与ChatGPT模型进行对比,证明了微调后的MacBERT模型在处理台风灾害评论文本时具有更好的效果,最佳F1值达到0.983。
文摘针对BERT预训练与下游任务微调阶段存在不匹配差异,以及人工对文本数据进行情感倾向性标注可能存在误差的问题,提出一种基于MacBERT和标签平滑的网络模型(MacLMC).首先,在BERT的基础上引入MLM as correction策略,利用近义词替换被掩码词,通过MacBERT预训练模型获取词向量;其次,经过双层LSTM学习长距离依赖;再次,采用双通道多卷积核的卷积操作,分别提取信息的最大特征和均值特征;最后,利用标签平滑策略降低模型预测类别的概率,提升模型对于标签的容错能力,提高模型泛化性.实验结果表明:与现有主流模型相比,本文模型在多种数据集上性能表现更佳,能够更好地用于新冠疫情公众情感分析任务.
文摘为更好地解决传统模型特征捕捉能力不足,词向量语义表示不准确等问题,提出了结合MacBERT与多层次特征协同网络的音乐社交评论情感分析模型MacBERT-MFCN(MacBERT and Multi-level Feature Collaborative Network)。采用MacBERT模型提取评论文本特征向量,解决静态词向量无法表示多义词的问题;多层次特征协同网络结合双向内置注意力简单循环单元(Bidirectional Built in Attention Simple Recurrent Unit,BiBASRU)和多层次卷积神经网络(Multilevel Convolutional Neural Network,MCNN)模块,全面捕捉局部和上下文语义特征;软注意力用来衡量分类特征贡献的大小,赋予关键特征更高权重。基于网易云评论文本数据集进行实验,结果表明,MacBERTMFCN模型F1值高达95.56%,能有效地提升文本情感分类准确率。
