方面级情感分析旨在识别文本中针对特定方面的情感倾向,然而现有研究仍面临多重挑战:基于BERT的方面级情感分析研究存在语义过拟合、低层级语义利用不足的问题;自注意力机制存在局部信息丢失的问题;多编码层和多粒度语义的结构存在信息...方面级情感分析旨在识别文本中针对特定方面的情感倾向,然而现有研究仍面临多重挑战:基于BERT的方面级情感分析研究存在语义过拟合、低层级语义利用不足的问题;自注意力机制存在局部信息丢失的问题;多编码层和多粒度语义的结构存在信息冗余问题。为此,提出一种融合BERT编码层的多粒度语义方面级情感分析模型(multi-granular semantic aspect-based sentiment analysis model with fusion of BERT encoding layers,MSBEL)。具体地,引入金字塔注意力机制,利用各个编码层的语义特征,并结合低层编码器以降低过拟合;通过多尺度门控卷积增强模型处理局部信息丢失的能力;使用余弦注意力突出与方面词相关的情感特征,从而减少信息冗余。t-SNE的可视化分析表明,MSBEL的情感表示聚类效果优于BERT。此外,在多个基准数据集上将本文模型与主流模型的性能进行了对比,结果显示:与LCF-BERT相比,本文模型在5个数据集上的F1分别提升了1.53%、3.94%、1.39%、6.68%、5.97%;与SenticGCN相比,本文模型的F1平均提升0.94%,最大提升2.12%;与ABSA-DeBERTa相比,本文模型的F1平均提升1.16%,最大提升4.20%,验证了本文模型在方面级情感分析任务上的有效性和优越性。展开更多
针对火电机组故障预测准确率低的问题,提出基于BERT-STAM1DCNN的火电机组故障预测模型。在预处理阶段,利用随机森林算法对原始数据进行处理,筛选重要的特征,提高故障预测准确率;利用BERT(bidirectional encoder representations from tr...针对火电机组故障预测准确率低的问题,提出基于BERT-STAM1DCNN的火电机组故障预测模型。在预处理阶段,利用随机森林算法对原始数据进行处理,筛选重要的特征,提高故障预测准确率;利用BERT(bidirectional encoder representations from transformers)模型对特征数据进行训练,并提出一种融合二次加权时空注意力机制的一维卷积神经网络(STAM1DCNN)模型,提高关键信息对预测结果的影响程度。以火电机组实际运行数据作为数据集,与其他模型相比,所提出的模型具有良好的性能和稳定性。展开更多
针对现有的专家推荐算法忽略了用户评论中蕴含的情感表达对专家专长表征的影响,从而导致推荐准确度不高的问题,提出基于双向编码器表示-多头注意力机制(bidirectional encoder representations from transformers-multi-head attention,...针对现有的专家推荐算法忽略了用户评论中蕴含的情感表达对专家专长表征的影响,从而导致推荐准确度不高的问题,提出基于双向编码器表示-多头注意力机制(bidirectional encoder representations from transformers-multi-head attention,BERT-MHA)的深度语义增强专家推荐算法。该算法基于预训练BERT模型,融合MHA机制,自动调整用户评论对专家历史回答问题的情感注意力权重,获取专家动态专长表征,并与静态专长联合以实现专家特征文本的语义增强,表征专家综合专长;通过注意力机制识别用户问题特征;采用多层感知机建模专家综合专长与用户问题间的非线性交互,预测推荐专家的匹配度。利用好大夫网站(haodf.com)的数据进行了不同参数配置及不同算法的对比实验,实验结果表明该算法在准确率(accuracy,ACC)和曲线下的面积(area under curve,AUC)指标下明显优于其他算法,能有效提高在线问答社区的专家推荐准确度。展开更多
文摘方面级情感分析旨在识别文本中针对特定方面的情感倾向,然而现有研究仍面临多重挑战:基于BERT的方面级情感分析研究存在语义过拟合、低层级语义利用不足的问题;自注意力机制存在局部信息丢失的问题;多编码层和多粒度语义的结构存在信息冗余问题。为此,提出一种融合BERT编码层的多粒度语义方面级情感分析模型(multi-granular semantic aspect-based sentiment analysis model with fusion of BERT encoding layers,MSBEL)。具体地,引入金字塔注意力机制,利用各个编码层的语义特征,并结合低层编码器以降低过拟合;通过多尺度门控卷积增强模型处理局部信息丢失的能力;使用余弦注意力突出与方面词相关的情感特征,从而减少信息冗余。t-SNE的可视化分析表明,MSBEL的情感表示聚类效果优于BERT。此外,在多个基准数据集上将本文模型与主流模型的性能进行了对比,结果显示:与LCF-BERT相比,本文模型在5个数据集上的F1分别提升了1.53%、3.94%、1.39%、6.68%、5.97%;与SenticGCN相比,本文模型的F1平均提升0.94%,最大提升2.12%;与ABSA-DeBERTa相比,本文模型的F1平均提升1.16%,最大提升4.20%,验证了本文模型在方面级情感分析任务上的有效性和优越性。
文摘针对火电机组故障预测准确率低的问题,提出基于BERT-STAM1DCNN的火电机组故障预测模型。在预处理阶段,利用随机森林算法对原始数据进行处理,筛选重要的特征,提高故障预测准确率;利用BERT(bidirectional encoder representations from transformers)模型对特征数据进行训练,并提出一种融合二次加权时空注意力机制的一维卷积神经网络(STAM1DCNN)模型,提高关键信息对预测结果的影响程度。以火电机组实际运行数据作为数据集,与其他模型相比,所提出的模型具有良好的性能和稳定性。
文摘针对现有的专家推荐算法忽略了用户评论中蕴含的情感表达对专家专长表征的影响,从而导致推荐准确度不高的问题,提出基于双向编码器表示-多头注意力机制(bidirectional encoder representations from transformers-multi-head attention,BERT-MHA)的深度语义增强专家推荐算法。该算法基于预训练BERT模型,融合MHA机制,自动调整用户评论对专家历史回答问题的情感注意力权重,获取专家动态专长表征,并与静态专长联合以实现专家特征文本的语义增强,表征专家综合专长;通过注意力机制识别用户问题特征;采用多层感知机建模专家综合专长与用户问题间的非线性交互,预测推荐专家的匹配度。利用好大夫网站(haodf.com)的数据进行了不同参数配置及不同算法的对比实验,实验结果表明该算法在准确率(accuracy,ACC)和曲线下的面积(area under curve,AUC)指标下明显优于其他算法,能有效提高在线问答社区的专家推荐准确度。
