期刊文献+
共找到50篇文章
< 1 2 3 >
每页显示 20 50 100
基于BERT-CNN-SIFRank的智能预问诊模型研究与设计
1
作者 崔晓笛 吴冠朋 刘文强 《中国数字医学》 2025年第8期65-71,共7页
目的:研究并设计智能预问诊模型,模拟医生实际问诊过程,准确了解患者就诊意图,自动解答患者提出的问题,减少患者问诊等待时间,提升患者就医体验,提高医生接诊效率。方法:基于深度学习技术构建智能预问诊模型,设计基于BERT-CNN的医疗文... 目的:研究并设计智能预问诊模型,模拟医生实际问诊过程,准确了解患者就诊意图,自动解答患者提出的问题,减少患者问诊等待时间,提升患者就医体验,提高医生接诊效率。方法:基于深度学习技术构建智能预问诊模型,设计基于BERT-CNN的医疗文本分类模型实现患者问题分类,利用基于SIFRank的医疗文本关键词抽取模型提取患者问题关键词,进而获取患者医疗问题意图。结果:基于BERT-CNN的医疗文本分类模型在公开数据集上的F1值达到82.84%,有效提高了医疗文本分类准确率。结论:基于BERT-CNNSIFRank的智能预问诊模型丰富了预问诊研究技术路线,为构建高效、智能、个性化的预问诊系统提供了理论模型基础,有利于促进互联网医院高质量发展。 展开更多
关键词 预问诊模型 医疗文本分类 医疗关键词抽取 BERT CNN
在线阅读 下载PDF
基于BERT-CNN的电影原声智能问答系统 被引量:8
2
作者 黄东晋 秦汉 郭昊 《计算机技术与发展》 2020年第11期158-162,共5页
智能问答是自然语言处理领域一个非常重要的研究热点,传统的智能问答不能准确地理解用户的意图,从而无法返回准确的答案。因此,提出了基于BERT-CNN算法的智能问答系统,并应用于电影原声领域,可以快速准确地反馈相关信息。首先,构建电影... 智能问答是自然语言处理领域一个非常重要的研究热点,传统的智能问答不能准确地理解用户的意图,从而无法返回准确的答案。因此,提出了基于BERT-CNN算法的智能问答系统,并应用于电影原声领域,可以快速准确地反馈相关信息。首先,构建电影原声的知识图谱,建立节点实体以及实体之间的关系,利用Neo4j图数据库对数据进行存储。然后,通过基于规则和词典的方法进行实体识别,利用BERT-CNN分类算法对用户意图进行分类。最后,根据用户意图和实体,将问句转化成知识图谱的查询语句,在数据库中查询后返回结果。实验结果表明,构建的面向电影原声智能问答系统是可行的,采用BERT-CNN分类算法,分类准确率高达91.24%,能够实时得到问题答案的准确反馈,准确率达到95%以上。 展开更多
关键词 智能问答 知识图谱 电影原声 bert-cnn分类 图数据库
在线阅读 下载PDF
BERT-CNN: A Deep Learning Model for Detecting Emotions from Text 被引量:6
3
作者 Ahmed R.Abas Ibrahim Elhenawy +1 位作者 Mahinda Zidan Mahmoud Othman 《Computers, Materials & Continua》 SCIE EI 2022年第5期2943-2961,共19页
Due to the widespread usage of social media in our recent daily lifestyles,sentiment analysis becomes an important field in pattern recognition and Natural Language Processing(NLP).In this field,users’feedback data o... Due to the widespread usage of social media in our recent daily lifestyles,sentiment analysis becomes an important field in pattern recognition and Natural Language Processing(NLP).In this field,users’feedback data on a specific issue are evaluated and analyzed.Detecting emotions within the text is therefore considered one of the important challenges of the current NLP research.Emotions have been widely studied in psychology and behavioral science as they are an integral part of the human nature.Emotions describe a state of mind of distinct behaviors,feelings,thoughts and experiences.The main objective of this paper is to propose a new model named BERT-CNN to detect emotions from text.This model is formed by a combination of the Bidirectional Encoder Representations from Transformer(BERT)and the Convolutional Neural networks(CNN)for textual classification.This model embraces the BERT to train the word semantic representation language model.According to the word context,the semantic vector is dynamically generated and then placed into the CNN to predict the output.Results of a comparative study proved that the BERT-CNN model overcomes the state-of-art baseline performance produced by different models in the literature using the semeval 2019 task3 dataset and ISEAR datasets.The BERTCNN model achieves an accuracy of 94.7%and an F1-score of 94%for semeval2019 task3 dataset and an accuracy of 75.8%and an F1-score of 76%for ISEAR dataset. 展开更多
关键词 bert-cnn deep learning emotion detection semeval2019 text classification
在线阅读 下载PDF
Data Mining and Spatial Analysis of Social Media Text Based on the BERT-CNN Model to Achieve Situational Awareness: a Case Study of COVID-19 被引量:5
4
作者 Jiawei ZHANG Hua QI 《Journal of Geodesy and Geoinformation Science》 2022年第2期38-48,共11页
In response to the COVID-19,social media big data has played an important role in epidemic warning,tracking the source of infection,and public opinion monitoring,providing strong technical support for China’s epidemi... In response to the COVID-19,social media big data has played an important role in epidemic warning,tracking the source of infection,and public opinion monitoring,providing strong technical support for China’s epidemic prevention and control work.The paper used Sina Weibo posts related to COVID-19 hashtags as the data source,and built a BERT-CNN deep learning model to perform fine-grained and high-precision topic classificationon massive social media posts.Taking Shenzhen as a region of interest,we mined the“epidemic data bulletin”and“daily life impact”posts during the epidemic for spatial analysis.The results show that the confirmed communities and designated hospitals in Shenzhen as a whole present the characteristics of“sparse east and dense west”,and there is a strong positive spatial correlation between the number of confirmed cases and social media response.Specifically,Nanshan District,Futian District and Luohu District have more confirmed cases due to large population movements and dense transportation networks,and social media has responded more violently,and people’s lives have been greatly affected.However,Yantian District,Pingshan District and Dapeng New District showed opposite characteristics.The case study results further show that using deep learning methods to mine text information in social media is scientifically feasible for improving situational awareness and decision support during the COVID-19. 展开更多
关键词 COVID-19 Sina Weibo bert-cnn topic classification situational awareness
在线阅读 下载PDF
基于BERT-CNN的城轨列控车载设备故障分类 被引量:2
5
作者 徐倩 张雷 +1 位作者 欧冬秀 贺云鹏 《深圳大学学报(理工版)》 CAS CSCD 北大核心 2023年第5期529-538,共10页
针对基于通信的城市轨道交通列车控制系统车载设备故障排查困难,故障维修日志由于信息零散、语义模糊及归类混乱等导致的传统文本分布式表示与浅层机器学习算法分类精度低等问题,提出一种基于焦点损失函数BERT-CNN(bidirectional encode... 针对基于通信的城市轨道交通列车控制系统车载设备故障排查困难,故障维修日志由于信息零散、语义模糊及归类混乱等导致的传统文本分布式表示与浅层机器学习算法分类精度低等问题,提出一种基于焦点损失函数BERT-CNN(bidirectional encoder representations from transformers-convolutional neural network)的故障分类方法,建立故障处理及结论、故障现象的关系模型.利用预训练好的BERT模型微调获取故障现象的词向量,充分捕捉融合了上下文的双向语义并关注重点词汇;利用卷积神经网络(convolutional neural network,CNN)进行训练,改进损失函数以缓解数据类别不平衡引起的性能下降问题.通过对某车载信号工区数据进行实验,对比基于交叉熵损失函数的BERT-CNN、单一BERT模型与word2vec-CNN(word to vector-CNN)方法,基于焦点损失函数BERT-CNN方法在分类指标上最优,对某些样本数量少的类别能够更精准分类.研究结果有助于建立更完善的智能运维故障案例库. 展开更多
关键词 交通运输工程 城轨列控车载设备 BERT语言模型 卷积神经网络 故障分类 类别不平衡
在线阅读 下载PDF
基于BERT-CNN编码特征融合的实体关系联合抽取方法 被引量:2
6
作者 丁建立 苏伟 《中国民航大学学报》 CAS 2023年第2期47-53,共7页
针对现有实体关系抽取模型结构复杂且抽取效果欠佳的问题,提出基于预训练的BERT(bidirectional encoder representation from transformers)与CNN(convolutional neural network)编码特征融合的实体关系联合抽取方法。首先,基于BERT-CN... 针对现有实体关系抽取模型结构复杂且抽取效果欠佳的问题,提出基于预训练的BERT(bidirectional encoder representation from transformers)与CNN(convolutional neural network)编码特征融合的实体关系联合抽取方法。首先,基于BERT-CNN编码的句子向量预测主语的首尾位置;其次,将预测的首尾位置索引句子中的特征向量作为预测主语的首尾向量,再将预测的主语首尾向量采用乘积方式进行特征融合得到主语向量;然后,将主语向量与句子向量以乘积方式融合得到新的句子编码向量,进而指导不同关系下宾语首尾位置的预测,得到实体关系三元组。为了验证模型效果,将本模型与其他类似算法模型在NYT与WebNLG公开数据集上进行对比实验,其准确率、召回率均优于对比模型且F1值分别达到92.75%与93.19%。 展开更多
关键词 BERT CNN 特征融合 二分类 实体关系联合抽取 实体关系三元组
在线阅读 下载PDF
基于BERT-CNN的中文评论文本情感分析
7
作者 邵辉 《科技创新导报》 2021年第31期179-183,共5页
对中文酒店评论文本,CNN、BIGRU等模型无法充分获得文本上下文之间的关系,因此在情感分析上没有很好的效果。BERT模型提出后,它在文本上下文之间的关系的提取上有着很大的优势。以此为基础,本文提出一种基于预训练的(BERT)网络与卷积神... 对中文酒店评论文本,CNN、BIGRU等模型无法充分获得文本上下文之间的关系,因此在情感分析上没有很好的效果。BERT模型提出后,它在文本上下文之间的关系的提取上有着很大的优势。以此为基础,本文提出一种基于预训练的(BERT)网络与卷积神经网络(CNN)相结合的BERT-CNN模型得到酒店评论中更多的情感信息。首先利用BERT模型对评论文本信息编码,再通过CNN模型提取局部特征,最终提取语义。最后通过实验来将该模型与现有模型进行比较,在酒店评论数据集上所做的实验充分表明该方法能更准确地进行中文文本情感分析。 展开更多
关键词 BERT 卷积神经网络 情感分析 自注意力机制 双向编码转换器
在线阅读 下载PDF
基于BERT-CNN的新闻文本分类的知识蒸馏方法研究 被引量:10
8
作者 叶榕 邵剑飞 +1 位作者 张小为 邵建龙 《电子技术应用》 2023年第1期8-13,共6页
近年来,随着大数据时代进入人类的生活之后,人们的生活中出现很多无法识别的文本、语义等其他数据,这些数据的量十分庞大,语义也错综复杂,这使得分类任务更加困难。如何让计算机对这些信息进行准确的分类,已成为当前研究的重要任务。在... 近年来,随着大数据时代进入人类的生活之后,人们的生活中出现很多无法识别的文本、语义等其他数据,这些数据的量十分庞大,语义也错综复杂,这使得分类任务更加困难。如何让计算机对这些信息进行准确的分类,已成为当前研究的重要任务。在此过程中,中文新闻文本分类成为这个领域的一个分支,这对国家舆论的控制、用户日常行为了解、用户未来言行的预判都有着至关重要的作用。针对新闻文本分类模型参数量多和训练时间过长的不足,在最大限度保留模型性能的情况下压缩训练时间,力求二者折中,故提出基于BERT-CNN的知识蒸馏。根据模型压缩的技术特点,将BERT作为教师模型,CNN作为学生模型,先将BERT进行预训练后再让学生模型泛化教师模型的能力。实验结果表明,在模型性能损失约2.09%的情况下,模型参数量压缩约为原来的1/82,且时间缩短约为原来的1/670。 展开更多
关键词 新闻文本 BERT CNN 知识蒸馏
在线阅读 下载PDF
基于BERT-CNN的电商评论情感分析 被引量:17
9
作者 史振杰 董兆伟 +2 位作者 庞超逸 张百灵 孙立辉 《智能计算机与应用》 2020年第2期7-11,共5页
在对电商评论进行情感分析中,为了使提取的情感特征能够更多地捕获句子中的情感信息,提出了一种基于预训练的Bidirectional Encoder Representations from Transformers(BERT)网络与卷积神经网络(CNN)相结合的BERT-CNN网络模型。首先利... 在对电商评论进行情感分析中,为了使提取的情感特征能够更多地捕获句子中的情感信息,提出了一种基于预训练的Bidirectional Encoder Representations from Transformers(BERT)网络与卷积神经网络(CNN)相结合的BERT-CNN网络模型。首先利用BERT结构表达句子语义作为文本向量,然后通过卷积神经网络抽取句子的局部特征,通过在有标签的京东某手机评论数据集上的实验,表明该方法在该领域具有良好的性能。 展开更多
关键词 BERT 卷积神经网络 情感分析
在线阅读 下载PDF
基于BERT-CNN的Webshell流量检测系统设计与实现 被引量:7
10
作者 江魁 余志航 +1 位作者 陈小雷 李宇豪 《计算机应用》 CSCD 北大核心 2023年第S01期126-132,共7页
Webshell是一种网站后门程序,常被黑客用于入侵服务器后对服务器进行控制,给网站带来严重的安全隐患。针对以往基于流量的机器学习检测Webshell方法存在特征选择不全、向量化不准确、模型设计不合理导致的检测效果不佳问题,设计并实现... Webshell是一种网站后门程序,常被黑客用于入侵服务器后对服务器进行控制,给网站带来严重的安全隐患。针对以往基于流量的机器学习检测Webshell方法存在特征选择不全、向量化不准确、模型设计不合理导致的检测效果不佳问题,设计并实现了一种将基于变换器的双向编码器表示技术(BERT)与卷积神经网络(CNN)相结合的Webshell流量检测系统,通过分析超文本传输协议(HTTP)报文中各个字段信息,提取其中具有Webshell信息的特征字段,使用BERT模型对特征进行向量化编码,并结合一维CNN模型从不同空间维度检测特征建立分类模型,最后使用模型对流量数据进行检测调优。实验结果表明,与以往基于流量检测方法相比,该检测系统在准确率、召回率和F1值等性能指标上表现更好,分别达到99.84%、99.83%、99.84%。 展开更多
关键词 Webshell检测 深度学习 流量检测 基于变换器的双向编码器表示 卷积神经网络
在线阅读 下载PDF
引入注意力机制的恶意URL检测算法研究 被引量:1
11
作者 刘拥民 翟佳慧 +2 位作者 徐卓农 邓伟豪 麻海志 《河北工业科技》 2025年第3期221-230,共10页
为解决传统模型在处理长统一资源定位系统(uniform resource locator,URL)时难以捕捉全局和局部特征的问题,提出了一种基于分层注意力机制的BERT-CNN模型。该模型通过来自变换器的双向编码器表征量(bidirectional encoder representatio... 为解决传统模型在处理长统一资源定位系统(uniform resource locator,URL)时难以捕捉全局和局部特征的问题,提出了一种基于分层注意力机制的BERT-CNN模型。该模型通过来自变换器的双向编码器表征量(bidirectional encoder representations from transformers,BERT)模块捕捉URL的全局语义信息,并利用卷积神经网络(convolutional neural network,CNN)提取URL的局部特征,在BERT和CNN之间引入分层注意力机制,在不同层次上动态分配注意力权重,加强捕捉URL中的关键信息;引入稀疏注意力机制,减少模型的计算复杂度和内存开销,同时保留BERT的全局语义理解能力;在公开的恶意URL检测数据集上进行对比实验、消融实验以及可视化实验,验证所提模型的性能。结果表明:基于分层注意力机制的BERT-CNN模型在检测恶意URL时的准确率达到了96.8%,相比基线BERT-CNN模型提高了2.5个百分点;F 1分数达到了95.3%,相比基线BERT-CNN模型提高了2.1个百分点。引入注意力机制的恶意URL检测模型在捕捉URL全局和局部特征方面具有显著优势,可为异常流量检测提供新的技术路径和解决方案。 展开更多
关键词 自然语言处理 卷积神经网络 恶意URL BERT模型 分层注意力机制
在线阅读 下载PDF
基于BERT-CNN模型的微博文本情感分类研究 被引量:5
12
作者 桂婷 马子璇 梁泽 《网络安全技术与应用》 2023年第11期34-35,共2页
近年来,随着人类进入大数据时代,整个社交媒体平台产生的文本数量呈爆炸式增长。由于海量的中文文本本身存在稀疏性和高维性特点,其语义解释也具有多样性和较强的语境依赖性,这无疑增加了对中文文本准确分类任务的难度。如何利用计算机... 近年来,随着人类进入大数据时代,整个社交媒体平台产生的文本数量呈爆炸式增长。由于海量的中文文本本身存在稀疏性和高维性特点,其语义解释也具有多样性和较强的语境依赖性,这无疑增加了对中文文本准确分类任务的难度。如何利用计算机对海量文本信息进行准确的分类,已成为当前研究的热门。本文通过实验对比BERT模型、BERT-LSTM模型和BERT-CNN模型在微博文本情感分类中的表现,实验结果表明,BERT-CNN模型分类效果最佳,其准确率比单一的BERT模型提高0.26%。 展开更多
关键词 bert-cnn 微博文本 情感分类
原文传递
基于缺陷文本识别的变压器风险评估及辅助检修决策方法 被引量:8
13
作者 廖才波 黄智勇 +3 位作者 杨金鑫 邵剑 王同磊 林元棣 《高电压技术》 EI CAS CSCD 北大核心 2024年第7期2931-2941,共11页
针对传统变电设备检修业务过度依赖人工经验、设备缺陷处置效率过低等问题,提出了一种基于缺陷文本识别和知识图谱的变压器风险评估及辅助检修决策方法。该方法通过建立基于Bert-CNN的缺陷文本识别模型,完成现场运维人员所填缺陷记录的... 针对传统变电设备检修业务过度依赖人工经验、设备缺陷处置效率过低等问题,提出了一种基于缺陷文本识别和知识图谱的变压器风险评估及辅助检修决策方法。该方法通过建立基于Bert-CNN的缺陷文本识别模型,完成现场运维人员所填缺陷记录的动态词向量提取及文本局部特征分析,自动评估设备缺陷严重程度及其风险等级。随后,基于行业标准、试验规程及专家经验,采用知识图谱构建了变压器运维检修策略库,实现了缺陷文本识别结果与检修策略库的知识融合与映射,完善了设备缺陷记录到运维检修决策的全过程智能化运检辅助功能。最后,结合算法对比及案例验证,该方法对缺陷严重程度、部件和风险等级的识别结果准确率达到91%以上,且可实现基于设备缺陷情况的差异化检修决策推送,有助于提升变压器运维检修业务的智能化和自动化水平。 展开更多
关键词 变压器缺陷 文本分类 bert-cnn 知识图谱 智能辅助决策
原文传递
基于网络信息与BP神经网络的应急物资需求预测研究--以积石山县6.2级地震为例 被引量:3
14
作者 张淞 黄猛 +2 位作者 刘帅 周文涛 游巧 《防灾科技学院学报》 2024年第3期76-85,共10页
为应对震后应急初期难以及时获取灾情信息,灾区内各区域应急物资需求不明等问题,引入实时网络资源信息结合历史地震数据进行物资需求预测。通过爬取2023年12月18日甘肃积石山地震震后72h内112672条多平台网络信息,使用BERT-CNN模型对网... 为应对震后应急初期难以及时获取灾情信息,灾区内各区域应急物资需求不明等问题,引入实时网络资源信息结合历史地震数据进行物资需求预测。通过爬取2023年12月18日甘肃积石山地震震后72h内112672条多平台网络信息,使用BERT-CNN模型对网络信息进行分类。结合历史地震数据,采取TOPSIS方法完成应急需求急迫度评估,将其作为新的样本特征引入BP神经网络,以优化对积石山县内各乡镇死亡人数预测效果。最后基于死亡人数与安全库存理论,完成对震后72h灾区各乡镇饮用水、帐篷两类物资的需求预测。通过实验证明,引入网络资源可以及时反映灾区受灾情况,提高应急物资预测的时效性、精细度和准确性。 展开更多
关键词 网络资源 自然语言处理 bert-cnn BP神经网络 应急物资需求预测
在线阅读 下载PDF
融合汉字输入法的BERT与BLCG的长文本分类研究 被引量:3
15
作者 杨文涛 雷雨琦 +1 位作者 李星月 郑天成 《计算机工程与应用》 CSCD 北大核心 2024年第9期196-202,共7页
现有的中文长文本分类模型中,没有考虑汉字读音、笔画等特征信息,因此不能充分表示中文语义;同时,长文本中常常包含大量与目标主题无关的信息,甚至部分文本与其他主题相关,导致模型误判。为此,提出了一种融合汉字输入法的BERT(BERT fuse... 现有的中文长文本分类模型中,没有考虑汉字读音、笔画等特征信息,因此不能充分表示中文语义;同时,长文本中常常包含大量与目标主题无关的信息,甚至部分文本与其他主题相关,导致模型误判。为此,提出了一种融合汉字输入法的BERT(BERT fused Chinese input methods,CIMBERT)、带有门控机制的长短期记忆卷积网络(BiLSTM fused CNN with gating mechanism,BLCG)相结合的文本分类方法。该方法使用BERT模型进行文本的向量表示,在BERT模型的输入向量中,采用了拼音和五笔两种常用的汉字输入法,增强了汉字的语义信息。建立了BLCG模型进行文本特征提取,该模型使用双向长短期记忆网络(BiLSTM)进行全局特征提取、卷积神经网络(CNN)进行局部特征提取,并通过门控机制(gating mechanism)动态融合全局特征和局部特征,解决了部分文本与目标主题无关导致模型误判的问题。在THUCNews数据集与Sogou语料库上对该方法进行了验证,其准确率为97.63%、95.43%,F1-score为97.68%、95.49%,优于其他文本分类模型。 展开更多
关键词 长文本分类 BERT模型 卷积神经网络 长短期记忆网络 门控机制
在线阅读 下载PDF
融合多尺度CNN和CRF的通用细粒度事件检测
16
作者 任永功 阎格 何馨宇 《小型微型计算机系统》 CSCD 北大核心 2024年第4期859-864,共6页
事件检测是自然语言处理领域中事件抽取的主要任务之一,它旨在从众多非结构化信息中自动提取出结构化的关键信息.现有的方法存在特征提取不全面、特征分布不均等情况.为了提高事件检测的准确率,提出了一种融合BERT预训练模型与多尺度CN... 事件检测是自然语言处理领域中事件抽取的主要任务之一,它旨在从众多非结构化信息中自动提取出结构化的关键信息.现有的方法存在特征提取不全面、特征分布不均等情况.为了提高事件检测的准确率,提出了一种融合BERT预训练模型与多尺度CNN的神经网络模型(BMCC,BERT+Multi-scale CNN+CRF).首先通过BERT(Bidirectional Encoder Representations from Transformers)预训练模型来进行词向量的嵌入,并利用其双向训练的Transformer机制来提取序列的状态特征;其次使用不同尺度的卷积核在多个卷积通道中进行卷积训练,以此来提取不同视野的语义信息,丰富其语义表征.最后将BIO机制融入到条件随机场(CRF)来对序列进行标注,实现事件的检测.实验结果表明,所提出的模型在MAVEN数据集上的F1值为65.17%,表现了该模型的良好性能. 展开更多
关键词 事件检测 BERT 多尺度CNN 条件随机场(CRF) 交叉验证
在线阅读 下载PDF
基于BE-MCNN模型的新闻评论情感分析方法 被引量:2
17
作者 李文书 管平 《软件导刊》 2024年第3期1-7,共7页
实时新闻评论具有文本短、信息丰富、结构复杂等特点,情感分析难以准确捕捉其真实的情感倾向。为增强语义的特征信息,减少模型过拟合问题,提高新闻评论情感分析的准确性,提出一种融合BERT模型、Transformer En⁃coder与多尺度CNN模型的... 实时新闻评论具有文本短、信息丰富、结构复杂等特点,情感分析难以准确捕捉其真实的情感倾向。为增强语义的特征信息,减少模型过拟合问题,提高新闻评论情感分析的准确性,提出一种融合BERT模型、Transformer En⁃coder与多尺度CNN模型的新闻评论情感分析算法。首先,针对新闻评论长度较短、表达情绪观点内容较多的特点,使用BERT模型对新闻评论文本进行预训练,获得具有上下文信息的特征向量;其次,为解决模型过拟合问题,在BERT模型下游添加一层Transformer编码器;最后使用四通道双层CNN模型,通过组合不同大小尺寸的卷积核来提升模型分析新闻评论情感的性能。实验结果表明,该方法在两个新闻评论数据集上的准确率分别达到93.0%与96.4%;与不同模型的比较实验进一步证明了所提方法的有效性。 展开更多
关键词 情感分析 BERT模型 Transformer Encoder 多尺度CNN 新闻评论
在线阅读 下载PDF
多类型知识增强的微博立场检测模型 被引量:1
18
作者 王天雨 袁嘉伟 +1 位作者 齐芮 李洋 《广西师范大学学报(自然科学版)》 CAS 北大核心 2024年第1期79-90,共12页
针对文本立场检测中目标话题在微博文本中隐式出现以及文本语义隐含表达这2个核心问题,本文提出一种基于多类型知识增强与预训练语言模型相结合的立场检测新方法KE-BERT。该模型同时从知识图谱和百度百科中引入多类型的相关常识知识来... 针对文本立场检测中目标话题在微博文本中隐式出现以及文本语义隐含表达这2个核心问题,本文提出一种基于多类型知识增强与预训练语言模型相结合的立场检测新方法KE-BERT。该模型同时从知识图谱和百度百科中引入多类型的相关常识知识来弥补语义缺失,使用改进的预训练语言模型BERT作为编码器,然后通过卷积注意力机制对常识知识进行融合与聚焦,最后通过Softmax分类获得立场。该模型在NLPCC-2016语料库上实验的宏平均F_(1)值达到0.803,分类性能超越现有主流模型,验证了模型的有效性。 展开更多
关键词 立场检测 知识增强 BERT 卷积神经网络 注意力机制
在线阅读 下载PDF
基于BERT模型的网站敏感信息识别及其变体还原技术研究 被引量:2
19
作者 符泽凡 姚竟发 滕桂法 《现代电子技术》 北大核心 2024年第23期105-112,共8页
针对各类网站为了避免被检测到敏感信息,网站内的文字常采用变体词对敏感词词库进行规避。为解决这一问题,文中提出一种基于BERT模型结合变体字还原算法的网站敏感信息识别的方法。该方法将针对文本中的变体词进行还原,通过采用BERT模... 针对各类网站为了避免被检测到敏感信息,网站内的文字常采用变体词对敏感词词库进行规避。为解决这一问题,文中提出一种基于BERT模型结合变体字还原算法的网站敏感信息识别的方法。该方法将针对文本中的变体词进行还原,通过采用BERT模型对文本内容进行向量化,并将其输入由Bi LSTM层和CNN层构成的模型进行训练,从而实现对网站内敏感信息及其变体词的识别。实验结果显示,变体词还原的正确率较高,通过BERT模型获取的文本向量在文本分类任务中表现出色。与其他模型相比,BERT-Bi LSTM-CNN模型在网站敏感信息识别任务中表现出更高的准确率、召回率和F1值,呈现明显的提升。文中模型为变体词还原问题和敏感信息识别领域提供了参考和支持,具有一定的实际应用价值。 展开更多
关键词 网站 敏感信息 变体词 BERT 双向长短期记忆网络 卷积神经
在线阅读 下载PDF
基于BERT和改进对抗训练的痛风病历分类方法 被引量:3
20
作者 李胜煜 王磊 +2 位作者 徐文畅 贺玉伟 李鑫德 《计算机工程与设计》 北大核心 2024年第6期1668-1673,共6页
为解决痛风电子病历文本稀疏性高、数据集小导致的分类任务准确率低问题,提出一种基于BERT预训练模型和改进对抗训练的痛风病历文本分类算法。使用中文生物医学语言预训练模型MC-BERT初始化病历文本,下接Text-CNN网络捕捉文本中不同长... 为解决痛风电子病历文本稀疏性高、数据集小导致的分类任务准确率低问题,提出一种基于BERT预训练模型和改进对抗训练的痛风病历文本分类算法。使用中文生物医学语言预训练模型MC-BERT初始化病历文本,下接Text-CNN网络捕捉文本中不同长度的关键词信息,在模型训练过程中采用改进的对抗训练策略,在词嵌入中添加对抗性扰动提高模型的泛化性。实验结果表明,该算法可以提高中文痛风病历文本分类任务的精度,增强模型的鲁棒性。 展开更多
关键词 痛风 电子病历 文本分类 卷积神经网络 对抗训练 预训练模型 词嵌入
在线阅读 下载PDF
上一页 1 2 3 下一页 到第
使用帮助 返回顶部