基于BERT-TextCNN的工单挖掘模型设计与训练

1

作者 洪睿洁 王子畅 +2 位作者 徐爱蓉 叶晟 莫雨阳 《电力与能源》 2025年第3期338-341,348,共5页

为了给客户提供更好的供电服务,需要加快构建卓越供电服务体系,更好地服务国家重大战略实施,更好地解决人民群众用电急难愁盼问题。按照语料库构建→预训练模型构建→工单信息挖掘分类的总体思路框架,首先汇聚融合95598、微信群、属地... 为了给客户提供更好的供电服务,需要加快构建卓越供电服务体系,更好地服务国家重大战略实施,更好地解决人民群众用电急难愁盼问题。按照语料库构建→预训练模型构建→工单信息挖掘分类的总体思路框架,首先汇聚融合95598、微信群、属地化服务平台等渠道的诉求工单等数据,然后利用客户服务大语言模型能力,通过对工单信息特征进行挖掘,实现了诉求工单分类。结果显示,所提出的框架可实现对诉求工单的精细挖掘分类,精准理解客户的真实需求和情感状态,为诉求应对处置提供支持。 展开更多

关键词 bert-textcnn模型 诉求管理 特征挖掘 工单分类

在线阅读 下载PDF 职称材料

基于BERT-TextCNN的中文短文本情感分析 被引量：6

2

作者 邵辉 《信息与电脑》 2022年第1期77-80,共4页

外卖商家和平台留住客户的重点就是要依据客户的需求制定个性化的服务。因此,本文提出一种基于BERT(Bidirectional Encoder Representation from Transformers)网络与文本卷积神经网络(Convolutional Neural Networks,TextCNN)相结合的B... 外卖商家和平台留住客户的重点就是要依据客户的需求制定个性化的服务。因此,本文提出一种基于BERT(Bidirectional Encoder Representation from Transformers)网络与文本卷积神经网络(Convolutional Neural Networks,TextCNN)相结合的BERT-TextCNN网络模型。该模型从外卖中文短文本评论中得到更多的情感信息。最后,在外卖中文评论数据集上进行实验,对比BERT、TextCNN、BERT-TextCNN模型的准确性、稳定性和耗时程度。实验结果证明:BERT-TextCNN的准确率有提升,该方法能更准确地进行中文文本情感分析。 展开更多

关键词 BERT TextCNN 中文短文本 情感分析

在线阅读 下载PDF 职称材料

基于BERT-TextCNN模型的临床试验筛选短文本分类方法 被引量：14

3

作者 杨飞洪 王序文 李姣 《中华医学图书情报杂志》 CAS 2021年第1期54-59,共6页

目的:设计一种基于深度学习的BERT-TextCNN模型,用于临床试验筛选短文本的自动化识别与分类。方法:调研文本分类的常见算法,从中国健康信息处理会议开发的临床试验中筛选短文本分类数据集,比较分析BERT-TextCNN模型、BERT模型和TextCNN... 目的:设计一种基于深度学习的BERT-TextCNN模型,用于临床试验筛选短文本的自动化识别与分类。方法:调研文本分类的常见算法,从中国健康信息处理会议开发的临床试验中筛选短文本分类数据集,比较分析BERT-TextCNN模型、BERT模型和TextCNN模型的性能差异。结果:BERT-TextCNN模型的文本分类平均F1值为82.39%,相较于单纯使用BERT模型和TextCNN模型进行文本分类的性能分别提升了1.81%和9.02%。结论:基于BERT-TextCNN模型的临床试验筛选短文本分类方法有效,为今后相关医学领域的研究和临床试验筛选短文文本自动化系统开发提供了一定的参考。 展开更多

关键词 BERT模型 TextCNN模型 临床试验 筛选标准 短文文本分类

暂未订购

基于人工与ChatGPT标注的推文情感分析对比研究

4

作者 杨艺 黄镜月 +1 位作者 贺品尧 荣婷 《重庆工商大学学报(自然科学版)》 2025年第4期95-101,共7页

目的针对特定推文情感分析任务中标注数据的困难和由于标注不准确带来的分类结果不尽如人意问题,提出一种机器标注数据的方法来研究深度学习模型对人工标注和机器标注推文数据情感分类的性能表现差异。方法研究中,对于统一的标签体系,... 目的针对特定推文情感分析任务中标注数据的困难和由于标注不准确带来的分类结果不尽如人意问题,提出一种机器标注数据的方法来研究深度学习模型对人工标注和机器标注推文数据情感分类的性能表现差异。方法研究中,对于统一的标签体系,分别对推文数据进行人工标注和运用ChatGPT模型接口标注,再采用BERT-TextCNN深度学习混合模型,对经过人工标注和ChatGPT标注的数据集进行情感分类。结果实验结果表明:人工标注数据集在整体性能上表现出更高的准确性和可信度,但是在某些推文数据上,ChatGPT大模型以其比人更丰富的知识储备,可以生成比人更客观科学的可解释性标注,在情感分类结果上呈现出一定的优势,人工标注和机器标注方法各具优劣;由此可以得出对于文本情感分类任务,机器标注是一种可行的标注方法。结论在实际应用场景中,可以根据任务需求灵活选择和结合两种标注方法,充分利用两者之间的优势,以达到更佳的分析性能和效果。 展开更多

关键词 人工标注 ChatGPT标注 推文 情感分析 bert-textcnn

在线阅读 下载PDF 职称材料

基于BERT-TextCNN的临床试验疾病亚型识别研究 被引量：4

5

作者 杨林 黄晓硕 +3 位作者 王嘉阳 丁玲玲 李子孝 李姣 《数据分析与知识发现》 CSSCI CSCD 北大核心 2022年第4期69-81,共13页

【目的】面向复杂疾病临床试验招募的需求,提出一种基于BERT-TextCNN的临床试验疾病亚型识别方法,辅助识别复杂疾病特定亚型的受试人群。【方法】将临床试验疾病亚型识别问题转化为单标签分类问题,应用基于BERT-TextCNN的单标签分类模... 【目的】面向复杂疾病临床试验招募的需求,提出一种基于BERT-TextCNN的临床试验疾病亚型识别方法,辅助识别复杂疾病特定亚型的受试人群。【方法】将临床试验疾病亚型识别问题转化为单标签分类问题,应用基于BERT-TextCNN的单标签分类模型进行分类,以卒中为例在临床试验数据集(ClinicalTrials.gov)上开展实验验证。【结果】基于LP法的BERT-TextCNN模型性能最佳,加权宏平均F1值为0.9053,可以有效判定一项卒中临床试验可纳入卒中亚型受试者情况。【局限】缺乏在其他单病种上的可行性研究,以及在外部数据集上的有效性验证。【结论】本文方法可以有效解决从纳入标准中准确识别复杂疾病亚型的问题。 展开更多

关键词 临床试验 文本分类 bert-textcnn 卒中 疾病亚型

原文传递

中文短文本情感分类:融入位置感知强化的Transformer-TextCNN模型研究

6

作者 李浩君 王耀东 汪旭辉 《计算机工程与应用》 北大核心 2025年第11期216-226,共11页

针对当前中文短文本情感分类模型文本位置信息与关键特征获取不足的问题,提出了一种融入位置感知强化的Transformer-TextCNN情感分类模型。利用BERT可学习绝对位置编码与正弦位置编码强化模型的位置感知能力,融合Transformer的全局上下... 针对当前中文短文本情感分类模型文本位置信息与关键特征获取不足的问题,提出了一种融入位置感知强化的Transformer-TextCNN情感分类模型。利用BERT可学习绝对位置编码与正弦位置编码强化模型的位置感知能力,融合Transformer的全局上下文理解能力与TextCNN的局部特征捕捉能力,分别提取中文短文本全局特征与局部特征,构建位置感知强化与特征协同的情感特征输出服务,实现中文短文本情感准确分类。实验结果表明,该模型在视频弹幕数据集上的准确率达到90.23%,在SMP2020数据集上的准确率达到87.38%。相较于最优的基线模型,准确率在视频弹幕数据集和SMP2020数据集上分别提高了1.98和0.44个百分点,在中文短文本情感分类任务中取得更好的分类效果。 展开更多

关键词 文本情感分类 BERT TRANSFORMER textCNN 位置编码

在线阅读 下载PDF 职称材料

基于预训练和混合神经网络的智能合约漏洞检测

7

作者 张光华 张思怡 +1 位作者 高业萍 武少广 《计算机技术与发展》 2025年第1期94-100,共7页

针对现有智能合约漏洞检测方法准确率低以及对合约源代码特征提取不足的问题,该文提出一种基于预训练BERT模型(Bidirectional Encoder Representations from Transformer,BERT)和混合神经网络串行的智能合约漏洞检测方案SCVD-PBHNN。首... 针对现有智能合约漏洞检测方法准确率低以及对合约源代码特征提取不足的问题,该文提出一种基于预训练BERT模型(Bidirectional Encoder Representations from Transformer,BERT)和混合神经网络串行的智能合约漏洞检测方案SCVD-PBHNN。首先,对源代码进行数据预处理,去除冗余信息,保留源代码中的关键语句信息;其次,利用BERT模型替换了传统的静态词嵌入模型,深入挖掘智能合约源代码的语义特征;然后,结合文本卷积神经网络(Text Convolutional Neural Network,TextCNN)和双向长短期记忆网络(Bi-directional Long Short-Term Memory,BiLSTM)混合神经网络构建特征提取层,对传入的词向量进行训练,充分提取源代码上下文信息和局部关键特征;最后,通过激活函数对特征向量进行归一化处理,实现漏洞检测与识别。实验结果表明,该方案在准确率、精确率、召回率以及F1值等评价指标上相比已有方案均有明显提升,能准确识别四种常见的漏洞,准确率分别为94.40%、93.72%、96.29%、93.53%。 展开更多

关键词 混合神经网络 BERT TextCNN-BiLSTM 智能合约 漏洞检测

在线阅读 下载PDF 职称材料

基于K-BERT的测井文本分类方法研究

8

作者 曹茂俊 肖阳 《计算机技术与发展》 2025年第5期197-204,共8页

在石油勘探与开发领域,测井文本数据的处理和分类是提高测井数据解读效率和准确性的关键环节。然而,测井文本中包含大量专业术语和复杂的数据结构,使得传统的文本分类技术在面对专业领域数据时效果有限,难以满足实际应用需求。为了解决... 在石油勘探与开发领域,测井文本数据的处理和分类是提高测井数据解读效率和准确性的关键环节。然而,测井文本中包含大量专业术语和复杂的数据结构,使得传统的文本分类技术在面对专业领域数据时效果有限,难以满足实际应用需求。为了解决这一问题,该文提出了一种改进的K-BERT文本分类方法。该方法结合了K-BERT模型和TextCNN的文本特征提取能力。K-BERT通过引入测井领域的知识图谱,将领域知识嵌入模型中,增强了模型对专业术语和复杂语义的理解能力,从而提升了模型在专业领域文本分类中的语义捕捉效果。而TextCNN利用卷积神经网络的特性,能够有效提取文本的局部特征,捕捉文本细节信息,进一步提升分类的精度与鲁棒性。两者的结合为测井文本的分类提供了一种创新的解决方案。通过实验对比分析,该方法在宏精确率、宏召回率及宏F1值等指标上均优于传统文本分类模型,验证了其在专业领域文本分类中的有效性和优越性。 展开更多

关键词 K-BERT TextCNN 测井文本 文本分类 测井知识图谱

在线阅读 下载PDF 职称材料

基于多模型融合的XSS攻击检测研究

9

作者 赵润钰 赵生慧 《滁州学院学报》 2025年第5期25-32,112,共9页

随着Web应用程序的普及,其安全风险日益凸显。跨站脚本攻击(XSS攻击)作为OWASP十大安全风险之一,攻击者通过将恶意脚本注入易受攻击的网页,可造成恶意代码执行、内容篡改和会话劫持等严重后果。针对XSS攻击传统检测方法在特征提取能力... 随着Web应用程序的普及,其安全风险日益凸显。跨站脚本攻击(XSS攻击)作为OWASP十大安全风险之一,攻击者通过将恶意脚本注入易受攻击的网页,可造成恶意代码执行、内容篡改和会话劫持等严重后果。针对XSS攻击传统检测方法在特征提取能力上表现不足、无法识别新型变种攻击以及对混淆技术缺乏有效应对策略等问题,本研究提出一种基于深度学习(DL)的混合检测模型XSS-BLAT,创新性地融合了BERT、注意力增强型双向长短期记忆网络(BiLSTM-Attention)和文本卷积神经网络(TextCNN)的技术优势。该模型采用多阶段特征处理框架:首先使用预训练BERT模型进行初始特征提取,并引入输出分割策略,其次设计特征拼接的融合策略,使用DL技术进一步改进特征,将结果进行有效连接,用于构建高效的XSS攻击检测模型。实验结果表明,模型融合方法在利用众多模型的优势下提高了模型的整体性能,准确率、精确度、召回率以及F1分数分别达到99.94%、99.92%、99.75%、99.84%,文中提出的方法在各个指标上全面超越了其他对比方法。 展开更多

关键词 XSS BERT BiLSTM TextCNN 注意力机制

在线阅读 下载PDF 职称材料

基于LGCM-BERT的文本情感分析研究

10

作者 张仲千 杜艳平 +1 位作者 窦水海 白慧娟 《北京印刷学院学报》 2025年第6期21-28,共8页

评论文本中由于词域开放、词序颠倒、一词多义和上下文信息缺乏等问题,文本利用率低、有效信息提取困难,同时,现有的情感分析模型在分类过程中往往忽略文本主题信息对分类效果的影响。针对以上问题,提出一种融入主题信息与跨区域多头自... 评论文本中由于词域开放、词序颠倒、一词多义和上下文信息缺乏等问题,文本利用率低、有效信息提取困难,同时,现有的情感分析模型在分类过程中往往忽略文本主题信息对分类效果的影响。针对以上问题,提出一种融入主题信息与跨区域多头自注意力机制的LGCM-BERT文本情感分析模型。该模型以BERT-BiGRU-TextCNN为基础,通过LDA模型提取文本主题词,结合BERT词嵌入层生成词向量;利用BiGRU获取词间依赖关系与双向上下文信息;采用TextCNN层捕捉文本的局部相关性;使用跨区域多头自注意力机制在不同主题区域之间建立更强关联与理解,提取和整合主题词特征信息,显著提高了情感分析的准确率。在实验数据集上的实验表明,该模型与传统的情感分析模型相比,有效地提高了分类性能。 展开更多

关键词 BERT BiGRU TextCNN LDA 跨区域多头自注意力

在线阅读 下载PDF 职称材料

基于知识图谱的电力标准智能问答系统研究 被引量：1

11

作者 刘沿娟 张栋栋 +3 位作者 于海亮 刘玉玺 王一竹 陈宜亮 《电工技术》 2024年第16期143-146,共4页

随着人工智能技术和机器学习技术的快速发展,目前智能问答系统已成为自然语言处理领域的热点研究之一。构建了一种基于知识图谱的电力标准智能问答系统,该系统通过对用户提出的问题进行分析理解,自动从知识库资源中获取信息并将搜索结... 随着人工智能技术和机器学习技术的快速发展,目前智能问答系统已成为自然语言处理领域的热点研究之一。构建了一种基于知识图谱的电力标准智能问答系统,该系统通过对用户提出的问题进行分析理解,自动从知识库资源中获取信息并将搜索结果以多维度可视化的方式展示给用户。重点介绍了电力标准知识库构建过程以及问答系统实现方式,其中知识构建过程包含实体识别、实体间关系抽取、基于BERT-TextCNN网络结构的意图识别。系统实现包含系统设计方案以及系统界面展示结果。该系统的开发能够满足用户对电力标准知识的问答需求。 展开更多

关键词 知识图谱 电力标准 bert-textcnn 多维度展示

在线阅读 下载PDF 职称材料

融入频域增强自注意力机制的BTBFA混合神经网络情感分类模型

12

作者 苏妍嫄 韩翠娟 张亚明 《现代情报》 CSSCI 北大核心 2024年第12期52-63,共12页

[目的/意义]智媒时代基于神经网络模型实现用户情感精准分类,进而深入挖掘海量文本信息潜在价值具有重要意义。[方法/过程]针对现有混合模型层间依赖性强、输出特征重要性差异体现不足等导致的情感分类效果受限问题,基于Stacking集成思... [目的/意义]智媒时代基于神经网络模型实现用户情感精准分类,进而深入挖掘海量文本信息潜在价值具有重要意义。[方法/过程]针对现有混合模型层间依赖性强、输出特征重要性差异体现不足等导致的情感分类效果受限问题,基于Stacking集成思想,提出一种融入频域增强自注意力机制的混合神经网络情感分类模型,通过构建由Bert、TextCNN、BiLSTM组成的并行式特征提取基学习器层与融入频域增强自注意力机制的元学习器层,并与词嵌入层和全连接层相融合,系统挖掘文本深层次语义信息以及局部、全局特征,进而通过权重分配以及离散傅里叶变换提升情感分类效果。[结果/结论]酒店评论数据集上的对比实验与消融实验结果均表明,所提模型情感分类性能与其他模型相比具有显著优势,准确率、召回率、F1值分别达到91.7%、95.3%和93.9%,且随Epoch训练轮数增加,模型情感分类准确性不断提升,损失值不断降低,呈现较强的泛化能力。 展开更多

关键词 情感分类 混合神经网络 bert-textcnn-BiLSTM-FAttention Stacking算法 自注意力机制 离散傅里叶变换

在线阅读 下载PDF 职称材料

基于距离注意力的双特征融合的图书分类方法

13

作者 王豹 周勇 +3 位作者 褚庆福 罗淇丰 吴佳隆 许婕 《江西师范大学学报(自然科学版)》 北大核心 2024年第6期652-660,共9页

针对传统分类模型缺乏对图书数据的多维度语义学习和无法充分学习图书名称、作者和简介等语义信息及其之间联系的问题,提出了一种基于距离注意力的双特征融合的图书分类模型:BTCBLA(BERT-TextCNN-BiLSTM-Attention).该模型采用双通道的... 针对传统分类模型缺乏对图书数据的多维度语义学习和无法充分学习图书名称、作者和简介等语义信息及其之间联系的问题,提出了一种基于距离注意力的双特征融合的图书分类模型:BTCBLA(BERT-TextCNN-BiLSTM-Attention).该模型采用双通道的方法进行特征提取.针对图书数据包含位置信息的特殊性,在Self-Attention的基础上提出了Distance-Attention,通过加入多尺度相对位置编码解决了在自注意力无法充分理解序列中动态依赖关系的问题;设计了独特的语义融合模块Global-Local-Attention,能够生成权重提取关键信息与语义联系,从而融合局部与全局信息;经过全连接层和Softmax层进行分类,获取多个维度的语义特征,从而具备更丰富的文本语义信息.实验结果表明该模型的准确度达到了91.75%,具有良好的分类性能. 展开更多

关键词 BERT TextCNN BiLSTM 注意力 图书分类

在线阅读 下载PDF 职称材料

基于深度学习的化工新闻文本分类方法

14

作者 宗慧 魏鹏 《淮阴工学院学报》 CAS 2024年第2期74-79,共6页

近年来鉴于化工新闻文本的数量增多,化工从业者想要获得高质量的化工新闻文本信息变得越来越困难,而文本分类技术可以帮助化工从业者更轻松地找到自己所需的信息。提出了BERT-ATTCNN(BERT-Attention-TextCNN)模型,它将BERT和TextCNN模... 近年来鉴于化工新闻文本的数量增多,化工从业者想要获得高质量的化工新闻文本信息变得越来越困难,而文本分类技术可以帮助化工从业者更轻松地找到自己所需的信息。提出了BERT-ATTCNN(BERT-Attention-TextCNN)模型,它将BERT和TextCNN模型融合并结合Attention机制进行化工新闻文本分类,该模型可以同时学习文本信息的语义表示和特征提取,从而实现更加准确的分类任务。通过实验验证,BERT-ATTCNN模型在化工新闻分类任务中表现优秀,准确率达到97.65%的,具有更高的分类准确率和更好的泛化能力。因此,BERT-ATTCNN模型可以为化工新闻分类等自然语言处理任务提供有效的解决方案。 展开更多

关键词 文本分类 自然语言处理 BERT 注意力机制 TextCNN

在线阅读 下载PDF 职称材料

基于BERT的多模型融合的Web攻击检测方法 被引量：1

15

作者 袁平宇 邱林 《计算机工程》 CAS CSCD 北大核心 2024年第11期197-206,共10页

传统Web攻击检测方法准确率不高,不能有效防范Web攻击。针对该问题,提出一种基于变换器的双向编码器表示(BERT)的预训练模型、文本卷积神经网络(TextCNN)和双向长短期记忆网络(BiLSTM)多模型融合的Web攻击检测方法。先将HTTP请求进行预... 传统Web攻击检测方法准确率不高,不能有效防范Web攻击。针对该问题,提出一种基于变换器的双向编码器表示(BERT)的预训练模型、文本卷积神经网络(TextCNN)和双向长短期记忆网络(BiLSTM)多模型融合的Web攻击检测方法。先将HTTP请求进行预处理,再通过BERT进行训练得到具备上下文依赖的特征向量,并用TextCNN模型进一步提取其中的高阶语义特征,作为BiLSTM的输入,最后利用Softmax函数进行分类检测。在HTTP CSIC 2010和恶意URL检测两个数据集上对所提方法进行验证,结果表明,与支持向量机(SVM)、逻辑回归(LR)等传统的机器学习方法和现有较新的方法相比,基于BERT的多模型融合的Web攻击检测方法在准确率、精确率、召回率和F1值指标上均表现更优(准确率和F1值的最优值都在99%以上),能准确检测Web攻击。 展开更多

关键词 Web攻击检测 基于变换器的双向编码器表示 多模型融合 HTTP请求 文本卷积神经网络 双向长短期记忆网络

在线阅读 下载PDF 职称材料

融合上下文特征和BERT词嵌入的新闻标题分类研究 被引量：19

16

作者 范昊 何灏 《情报科学》 CSSCI 北大核心 2022年第6期90-97,共8页

【目的/意义】随着社交媒体的发展,各类新闻数量激增,舆情监测处理越来越重要,高效精确的识别舆情新闻可以帮助有关部门及时搜集跟踪突发事件信息并处理,减小舆论对社会的影响。本文提出一种融合BERT、TEXTCNN、BILSTM的新闻标题文本分... 【目的/意义】随着社交媒体的发展,各类新闻数量激增,舆情监测处理越来越重要,高效精确的识别舆情新闻可以帮助有关部门及时搜集跟踪突发事件信息并处理,减小舆论对社会的影响。本文提出一种融合BERT、TEXTCNN、BILSTM的新闻标题文本分类模型,充分考虑词嵌入信息、文本特征和上下文信息,以提高新闻标题类别识别的准确率。【方法/过程】将使用BERT生成的新闻标题文本向量输入到TEXTCNN提取特征,将TEXTCNN的结果输入到BILSTM捕获新闻标题上下文信息,利用softmax判断分类结果。【结果/结论】研究表明,本文提出的融合了基于语言模型的BERT、基于词向量TEXTCNN和基于上下文机制BILSTM三种算法的分类模型在准确率、精确率、召回率和F1值均达到了0.92以上,而且具有良好的泛化能力,优于传统的文本分类模型。【创新/局限】本文使用BERT进行词嵌入,同时进行特征提取和捕获上下文语义,模型识别新闻类别表现良好,但模型参数较多向量维度较大对训练设备要求较高,同时数据类别只有10类,未对类别更多或类别更细化的数据进行实验。 展开更多

关键词 文本分类 新闻标题 BERT词嵌入 TEXTCNN BILSTM

原文传递

互联网新闻敏感信息识别方法的研究 被引量：12

17

作者 李姝 张祥祥 +1 位作者 于碧辉 于金刚 《小型微型计算机系统》 CSCD 北大核心 2021年第4期685-689,共5页

敏感信息识别是净化互联网环境的关键,在当今信息爆炸的时代,人们每天都要从互联网中获得大量信息,如何过滤大量信息中的敏感信息对整个社会安定和谐有着重要的意义.现有的方法主要是基于敏感关键词的方法进行过滤,需要不断更新迭代敏... 敏感信息识别是净化互联网环境的关键,在当今信息爆炸的时代,人们每天都要从互联网中获得大量信息,如何过滤大量信息中的敏感信息对整个社会安定和谐有着重要的意义.现有的方法主要是基于敏感关键词的方法进行过滤,需要不断更新迭代敏感关键词,泛化性弱,本文中使用基于预训练模型的深度学习方法可以学习到互联网新闻文本中更深层的语义信息,进而更有效的识别和过滤敏感信息,泛化性强,但是只使用深度学习方法会一定程度上的损失敏感关键词特征.本文首次将传统的敏感关键词方法与深度学习方法相结合应用于互联网敏感信息识别,提出了一种融合敏感关键词特征的模型Mer-HiBert.实验结果表明,与之前的敏感关键词方法以及深度学习模型相比,模型的性能有进一步提高. 展开更多

关键词 敏感信息识别 敏感关键词 Bert ATTENTION TextCNN

在线阅读 下载PDF 职称材料

基于BERT模型的中文短文本分类算法 被引量：90

18

作者 段丹丹 唐加山 +1 位作者 温勇 袁克海 《计算机工程》 CAS CSCD 北大核心 2021年第1期79-86,共8页

针对现有中文短文本分类算法通常存在特征稀疏、用词不规范和数据海量等问题,提出一种基于Transformer的双向编码器表示(BERT)的中文短文本分类算法,使用BERT预训练语言模型对短文本进行句子层面的特征向量表示,并将获得的特征向量输入S... 针对现有中文短文本分类算法通常存在特征稀疏、用词不规范和数据海量等问题,提出一种基于Transformer的双向编码器表示(BERT)的中文短文本分类算法,使用BERT预训练语言模型对短文本进行句子层面的特征向量表示,并将获得的特征向量输入Softmax回归模型进行训练与分类。实验结果表明,随着搜狐新闻文本数据量的增加,该算法在测试集上的整体F1值最高达到93%,相比基于TextCNN模型的短文本分类算法提升6个百分点,说明其能有效表示句子层面的语义信息,具有更好的中文短文本分类效果。 展开更多

关键词 中文短文本分类 基于Transformer的双向编码器表示 Softmax回归模型 TextCNN模型 word2vec模型

在线阅读 下载PDF 职称材料

基于BSTTC模型的中文命名实体识别 被引量：3

19

作者 申晖 张英俊 +1 位作者 谢斌红 赵红燕 《计算机系统应用》 2021年第6期262-270,共9页

大多数中文命名实体识别模型中,语言预处理只关注单个词和字符的向量表示,忽略了它们之间的语义关系,无法解决一词多义问题;Transformer特征抽取模型的并行计算和长距离建模优势提升了许多自然语言理解任务的效果,但全连接结构使得计算... 大多数中文命名实体识别模型中,语言预处理只关注单个词和字符的向量表示,忽略了它们之间的语义关系,无法解决一词多义问题;Transformer特征抽取模型的并行计算和长距离建模优势提升了许多自然语言理解任务的效果,但全连接结构使得计算复杂度为输入长度的平方,导致其在中文命名实体识别的效果不佳.针对这些问题,提出一种基于BSTTC (BERT-Star-Transformer-TextCNN-CRF)模型的中文命名实体识别方法.首先利用在大规模语料上预训练好的BERT模型根据其输入上下文动态生成字向量序列;然后使用星型Transformer与TextCNN联合模型进一步提取句子特征;最后将特征向量序列输入CRF模型得到最终预测结果.在MSRA中文语料上的实验结果表明,该模型的精确率、召回率和F1值与之前模型相比,均有所提高.与BERT-Transformer-CRF模型相比,训练时间大约节省了65%. 展开更多

关键词 BERT 星型Transformer 命名实体识别 TextCNN 条件随机场

在线阅读 下载PDF 职称材料

基于改进的BERT-CNN 模型的新闻文本分类研究 被引量：13

20

作者 张小为 邵剑飞 《电视技术》 2021年第7期146-150,共5页

语言处理模型层出不穷,从在图像领域运用的卷积神经网络(Convolutional Neural Networks,CNN)、被改进后的TextCNN到循环神经网络(Rerrent Neural Network,RNN)、谷歌推出的transformer模型以及百度公司提出的ERNIE模型等。为了区分出... 语言处理模型层出不穷,从在图像领域运用的卷积神经网络(Convolutional Neural Networks,CNN)、被改进后的TextCNN到循环神经网络(Rerrent Neural Network,RNN)、谷歌推出的transformer模型以及百度公司提出的ERNIE模型等。为了区分出在新闻文本领域处理效果最佳的文本分类模型,基于新闻文本任务数据对来自变换器的双向编码器表征量(Bidirectional Encoder Representations from Transformers,BERT)进行微调,再将BERT作为embedding输入到其他深度学习模型中,最后对比目前几个深度学习模型的训练效果。实验结果表明,BERT-CNN模型分类效果最佳,其准确率比原BERT模型的准确率多了0.31%,且更为稳定。 展开更多

关键词 BERT TextCNN 词嵌入

在线阅读 下载PDF 职称材料