期刊文献+
共找到13篇文章
< 1 >
每页显示 20 50 100
基于RoBERTa-wwm-ext与混淆集的中文文本校对模型 被引量:3
1
作者 徐久珺 黄国栋 马传香 《湖北大学学报(自然科学版)》 CAS 2023年第5期712-718,共7页
中文文本自动校对技术是自然语言处理领域中的主要任务之一.针对中文文本中字粒度级别的错误(音似、形似和义似替换错误),提出一种基于RoBERTa-wwm-ext与混淆集的中文文本校对模型.该模型在RoBERTa-wwm-ext结构的基础上,利用transforme... 中文文本自动校对技术是自然语言处理领域中的主要任务之一.针对中文文本中字粒度级别的错误(音似、形似和义似替换错误),提出一种基于RoBERTa-wwm-ext与混淆集的中文文本校对模型.该模型在RoBERTa-wwm-ext结构的基础上,利用transformer结构中的encoder机制读取整段中文文本序列,然后通过softmax函数计算当前字符权重分布来判断该字符是否错误,并在纠错任务中引入混淆集,使用混淆集找到该错字对应的候选字符,最后结合掩码语言模型给出的修改建议,完成文本校对.在SIGHAN2014与SIGHAN2015中文拼写检查数据集上,设计字粒度级别的中文文本校对实验,对比模型性能.实验结果表明,与当前主流的中文文本校对模型相比,该模型的中文文本校对效果表现更佳,文本校对的准确率、召回率、F1值均有所提升. 展开更多
关键词 自然语言处理 掩码语言模型 roberta-wwm-ext 混淆集 transformer结构
在线阅读 下载PDF
基于预训练模型与双向注意力流的抽取式阅读理解模型
2
作者 文勇军 吴金铭 梅硕 《首都师范大学学报(自然科学版)》 2025年第2期1-11,共11页
针对服务机器人的抽取式阅读理解任务中出现答案抽取准确度不高的问题,构建了基于预训练模型与双向注意力流的抽取式阅读理解模型。该模型首先采用预训练模型来提取问题与文档上下文的浅层联合语义表征;其次利用双向注意力网络来加强特... 针对服务机器人的抽取式阅读理解任务中出现答案抽取准确度不高的问题,构建了基于预训练模型与双向注意力流的抽取式阅读理解模型。该模型首先采用预训练模型来提取问题与文档上下文的浅层联合语义表征;其次利用双向注意力网络来加强特征交互和信息融合,得到问题与文档上下文的深层联合语义表征;最后结合浅层和深层的联合语义表征,通过排序、滤错和定位操作完成对答案的抽取。在抽取式问答任务的斯坦福英文机器阅读理解数据集SQuAD 1.1和“讯飞杯”中文机器阅读理解数据集CMRC 2018上进行了实验。结果表明:与英文预训练语言模型BERT相比,该模型的性能指标EM和F1值分别提高了1.172%和1.194%;与中文预训练语言模型RoBERTa-wwm-ext相比,该模型的EM和F1值分别提高了1.336%和0.921%。 展开更多
关键词 自然语言处理 机器阅读理解 预训练模型 双向注意力流(BERT) roberta-wwm-ext 答案抽取
在线阅读 下载PDF
RoBERTa-GCN-EGPLinker中文实体关系联合抽取
3
作者 冯甲 张仕斌 +3 位作者 闫丽丽 秦智 昌燕 吕智颖 《计算机技术与发展》 2025年第9期132-139,共8页
实体关系抽取是自然语言处理中的核心任务之一,旨在从文本中识别出实体及其之间的关系,生成实体关系三元组,为后续的数据分析和知识发现提供基础。随着中文语言的复杂性,尤其是在实体嵌套、关系重叠等问题上,中文实体关系抽取面临着诸... 实体关系抽取是自然语言处理中的核心任务之一,旨在从文本中识别出实体及其之间的关系,生成实体关系三元组,为后续的数据分析和知识发现提供基础。随着中文语言的复杂性,尤其是在实体嵌套、关系重叠等问题上,中文实体关系抽取面临着诸多挑战。传统方法在处理这些复杂语言现象时,常常受到语法结构和上下文信息捕捉不充分的限制。因此,如何提高中文实体关系抽取的精度和效率,成为了该领域研究的重点。为了解决这些问题,提出了一种基于RoBERTa-GCN-EGPLinker的中文实体关系联合抽取方法。该方法首先利用RoBERTa-wwm-ext模型对文本进行深度语义编码,结合中文依存分析工具LTP,提取文本的依存关系和句法结构信息。接着,通过构建图卷积神经网络(GCN)和语义邻接矩阵,进一步捕捉文本中的结构化信息。这种方法不仅能够有效处理实体之间的关系,还能在面对复杂语言现象时保持较高的抽取精度。实验结果表明,该方法在公开数据集CMeIE-V2和DuIE上具有显著的优势,能够提升中文实体关系抽取的精度与效率。 展开更多
关键词 实体关系抽取 中文文本 LTP工具 roberta-wwm-ext 图卷积神经网络 Efficient Glob-alPointer模型
在线阅读 下载PDF
基于CRoBERTa-Effg和对抗训练的中文医疗命名实体识别
4
作者 邢雪凯 柯晨昊 +2 位作者 何帆 杨一鸣 胡国华 《黑龙江工业学院学报(综合版)》 2025年第4期103-107,共5页
针对利用预训练模型进行中文医疗命名识别任务中存在复杂的实体边界、多义性和数据稀疏性等问题,首先,提出了CRoBERTa+Efficient-GlobalPointer+PGD实体识别模型。模型在编码阶段使用chinese-roberta-wwm-ext预训练模型对输入进行编码,... 针对利用预训练模型进行中文医疗命名识别任务中存在复杂的实体边界、多义性和数据稀疏性等问题,首先,提出了CRoBERTa+Efficient-GlobalPointer+PGD实体识别模型。模型在编码阶段使用chinese-roberta-wwm-ext预训练模型对输入进行编码,充分捕捉上下文信息;其次,通过改进的Efficient-GlobalPointer网络处理嵌套与非嵌套实体关系,有效建模实体间的长距离依赖关系;最后,通过引入对抗训练策略增强模型对噪声和对抗样本的鲁棒性。在CMeEE中文医学命名实体识别数据集上进行实验,结果表明,该模型的准确率,召回率和F1值分别达到74.5%、75.4%、74.8%,较CRoBERTa-GlobalPointer模型在准确率、召回率、F1值上分别提升了1.3%、1.3%、1.2%。实验结果表明,该模型在复杂的医疗文本场景中具有更好的识别性能和鲁棒性。 展开更多
关键词 chinese-roberta-wwm-ext 命名实体识别 Efficient-GlobalPointer 对抗训练
在线阅读 下载PDF
基于文本超图构建的中文仇恨言论检测模型
5
作者 张顺香 王琰慧 +2 位作者 李冠憬 周渝皓 李嘉伟 《安徽理工大学学报(自然科学版)》 CAS 2024年第4期77-88,共12页
目的仇恨言论检测可以判定文本是否具有仇恨倾向,有助于筛除网络上的不当言论,维护网络环境的安全与秩序。为有效解决现有的仇恨言论检测方法依赖单一特征的图结构,难以捕捉文中由于对目标对象的隐性提及以及修辞手法的使用所带来的复... 目的仇恨言论检测可以判定文本是否具有仇恨倾向,有助于筛除网络上的不当言论,维护网络环境的安全与秩序。为有效解决现有的仇恨言论检测方法依赖单一特征的图结构,难以捕捉文中由于对目标对象的隐性提及以及修辞手法的使用所带来的复杂语义,从而导致仇恨言论检测准确率不高的问题。方法提出一种基于文本超图构建的中文仇恨言论检测模型,通过分析文本中的语序和语法信息,及利用大语言模型针对目标对象所获取的语义扩展信息来构建文本超图,从而提升仇恨言论检测的效果。首先,构建提示模板引导大语言模型识别文本中的目标对象,并对其进行知识补充作为文本的语义扩展信息;然后,构建文本超图,以挖掘文本中隐含的语义结构和关联关系,并通过超图注意力机制聚合超图信息得到全局特征;同时,利用roberta-wwm-ext对原始文本进行动态特征提取,得到文本特征;最后利用交叉注意力机制实现文本特征与全局特征的融合,并通过sigmoid计算仇恨倾向检测仇恨言论。结果在COLDataset数据集上进行实验,该方法在实验中取得了较好的效果,可以提高检测的精确率和F1值。结论实验结果表明,该模型能够有效地提升中文仇恨言论的检测效果。 展开更多
关键词 仇恨言论检测 文本超图 大语言模型 roberta-wwm-ext
在线阅读 下载PDF
基于RoBERTa和对抗训练的中文医疗命名实体识别 被引量:9
6
作者 郭瑞 张欢欢 《华东理工大学学报(自然科学版)》 CAS CSCD 北大核心 2023年第1期144-152,共9页
BERT(Bidirectional Encoder Representations from Transformers)和神经网络模型相结合的方法目前已被广泛应用于中文医疗命名实体识别领域。但BERT在中文中是以字为粒度切分的,没有考虑到中文分词。而神经网络模型往往局部不稳定,即... BERT(Bidirectional Encoder Representations from Transformers)和神经网络模型相结合的方法目前已被广泛应用于中文医疗命名实体识别领域。但BERT在中文中是以字为粒度切分的,没有考虑到中文分词。而神经网络模型往往局部不稳定,即使微小的扰动也可能误导它们,导致模型的鲁棒性差。为了解决这两个问题,提出了一种基于RoBERTa(A Robustly OptimizedBERTPre-trainingApproach)和对抗训练的中文医疗命名实体识别模型(ATRBC)。首先,使用RoBERTa-wwm-ext-large(ARobustlyOptimizedBERTPre-training Approach-whole word masking-extended data-large)预训练模型得到输入文本的初始向量表示;其次,在初始向量表示上添加一些扰动来生成对抗样本;最后,将初始向量表示和对抗样本一同依次输入双向长短期记忆网络和条件随机场中,得到最终的预测结果。在CCKS 2019数据集上的实验结果表明,AT-RBC模型的F1值达到了88.96%;在Resume数据集上的实验结果表明,AT-RBC模型的F1值也达到了97.14%,证明了该模型的有效性。 展开更多
关键词 医疗命名实体识别 roberta-wwm-ext-large 对抗训练 双向长短期记忆网络 条件随机场
在线阅读 下载PDF
基于RoBERTa-Effg-Adv的实体关系联合抽取方法 被引量:2
7
作者 姚飞杨 刘晓静 《计算机技术与发展》 2024年第3期147-154,共8页
实体关系抽取是构建知识图谱的关键步骤,其目的是抽取文本中的关系三元组。针对现有中文实体关系联合抽取模型无法有效抽取重叠关系三元组及提取性能不足的问题,该文提出了RoBERTa-Effg-Adv的实体关系联合抽取模型,其编码端采用RoBERTa-... 实体关系抽取是构建知识图谱的关键步骤,其目的是抽取文本中的关系三元组。针对现有中文实体关系联合抽取模型无法有效抽取重叠关系三元组及提取性能不足的问题,该文提出了RoBERTa-Effg-Adv的实体关系联合抽取模型,其编码端采用RoBERTa-wwm-ext预训练模型对输入数据进行编码,并采用Efficient GlobalPointer模型来处理嵌套和非嵌套命名实体识别,将实体关系三元组拆分成五元组进行实体关系联合抽取。再结合对抗训练,提升模型的鲁棒性。为了获得机器可读的语料库,对相关文本书籍进行扫描,并进行光学字符识别,再通过人工标注数据的方式,形成该研究所需要的关系抽取数据集REDQTTM,该数据集包含18种实体类型和11种关系类型。实验结果验证了该方法在瞿昙寺壁画领域的中文实体关系联合抽取任务的有效性,在REDQTTM测试集上的精确率达到了94.0%,召回率达到了90.7%,F1值达到了92.3%,相比GPLinker模型,在精确率、召回率和F1值上分别提高了2.4百分点、0.9百分点、1.6百分点。 展开更多
关键词 roberta-wwm-ext 对抗训练 关系抽取 Efficient GlobalPointer 中文实体
在线阅读 下载PDF
基于阅读理解智能问答的RPR融合模型研究 被引量:6
8
作者 王寰 孙雷 +3 位作者 吴斌 刘占亮 张万通 张烁 《计算机应用研究》 CSCD 北大核心 2022年第3期726-731,738,共7页
基于阅读理解的智能问答是指同人类一样首先让模型阅读理解相关文本,然后根据模型获取的文本信息来回答对应问题。预训练模型RoBERTa-wwm-ext使用抽取原文片段作为问题的回答,但这种方法遇到原文中不存在的答案片段或需要对原文总结后... 基于阅读理解的智能问答是指同人类一样首先让模型阅读理解相关文本,然后根据模型获取的文本信息来回答对应问题。预训练模型RoBERTa-wwm-ext使用抽取原文片段作为问题的回答,但这种方法遇到原文中不存在的答案片段或需要对原文总结后回复这两种情况时不能很好解决,而使用预训练模型进行生成式模型训练,这种生成式回复在一定程度上解决了需要总结原文才能回答的问题。因此,改进了只采用RoBERTa-wwm-ext模型进行抽取答案的方式,在此基础上融合了基于RAG模型的生成式问答模型,用于回答RoBERTa-wwm-ext等抽取式模型无法处理的问题。同时,吸取了PGN模型的优点,对RAG模型进行改进得到RPGN子模型,可以更好地利用阅读理解的文章生成合理的答案。由此,提出RPR(RAG、PGN、RoBERTa-wwm-ext)的融合模型,用于同时处理抽取式问题任务和生成式问答任务。 展开更多
关键词 阅读理解 智能问答 roberta-wwm-ext 指针生成网络 RAG RPGN RPR
在线阅读 下载PDF
结合RoBERTa与多策略召回的医学术语标准化 被引量:4
9
作者 韩振桥 付立军 +3 位作者 刘俊明 郭宇捷 唐珂轲 梁锐 《计算机系统应用》 2022年第10期245-253,共9页
针对传统的基于模板匹配、人工构建特征、语义匹配等解决术语标准化的方案,往往会存在术语映射准确率不高,难以对齐等问题.本文结合医疗领域的文本中术语口语化、表达多样化的特点,使用了多策略召回和蕴含语义评分排序模块来提升医学术... 针对传统的基于模板匹配、人工构建特征、语义匹配等解决术语标准化的方案,往往会存在术语映射准确率不高,难以对齐等问题.本文结合医疗领域的文本中术语口语化、表达多样化的特点,使用了多策略召回和蕴含语义评分排序模块来提升医学术语标准化效果.在多策略召回模块中使用了基于Jaccard相关系数、TF-IDF、历史召回方法进行召回,在蕴含语义评分模块使用了RoBERTa-wwm-ext作为判分语义模型.首次在医学专业人员标注的基于SNOMED CT标准的中文数据集上验证了可用性.实验证明,在医疗知识特征的处理中,本方法能够在医学术语标准化实际应用上达到不错的效果,具有很好的泛化性及实用价值. 展开更多
关键词 术语标准化 知识映射 深度学习 roberta-wwm-ext SNOMED CT
在线阅读 下载PDF
基于RBBEGP的中文电子病历命名实体识别研究 被引量:2
10
作者 郭振华 宋波 《电脑知识与技术》 2024年第16期6-10,共5页
针对中文电子病历中嵌套命名实体较多以及中英文字词表达差异所导致的传统命名实体识别模型识别准确率低的问题,文章提出了一种基于RoBERTa-wwm-ext-BiGRU-EGP的命名实体识别模型RBBEGP。预训练模型RoBERTawwm-ext将输入的中文电子病历... 针对中文电子病历中嵌套命名实体较多以及中英文字词表达差异所导致的传统命名实体识别模型识别准确率低的问题,文章提出了一种基于RoBERTa-wwm-ext-BiGRU-EGP的命名实体识别模型RBBEGP。预训练模型RoBERTawwm-ext将输入的中文电子病历文本序列转化为动态向量,BiGRU对词向量的双向时序特征信息进行提取以结合上下文语义,最后通过全局指针网络(Efficient Global Pointer,EGP)判断并输出最为可靠的序列作为命名实体的类别。实验结果表明,文章提出的RBBEGP模型在CCKS2019中文电子病历数据集上的精确率、召回率、F1值分别达到了83.36%、83.25%和83.30%,相较于BERT-BiLSTM-CRF等主流模型有所提高。 展开更多
关键词 中文电子病历 命名实体识别 roberta-wwm-ext BiGRU EGP
在线阅读 下载PDF
基于NL2SQL的铁路客运营销数据智能交互 被引量:2
11
作者 牛一凡 吕晓艳 +2 位作者 李仕旺 张奥 王洪业 《铁道科学与工程学报》 EI CAS CSCD 北大核心 2024年第9期3529-3539,共11页
为解决因对铁路客运营销业务知识匮乏、客运营销数据库结构不熟悉及结构化查询语句使用不熟练等因素导致的铁路客运营销数据查询门槛高及营销数据利用率低的问题,提出一种基于NL2SQL的铁路客运营销数据智能交互模型。首先,基于铁路客运... 为解决因对铁路客运营销业务知识匮乏、客运营销数据库结构不熟悉及结构化查询语句使用不熟练等因素导致的铁路客运营销数据查询门槛高及营销数据利用率低的问题,提出一种基于NL2SQL的铁路客运营销数据智能交互模型。首先,基于铁路客运营销数据高频查询需求,建立了包含多张数据表,涉及大量铁路客运营销业务专业数据的实验库,并人工标记得到2000条常用结构化查询语句的实验数据。然后,使用收集到的铁路客运营销业务相关语料数据,利用P-tuning参数微调方法对Chinese-RoBerta-wwm-ext预训练模型进行了微调,实现了非结构化文本数据的数字化表达,从而建立了专精于铁路客运营销业务的动态词嵌入模型;接着,针对SQL语法的结构特点,基于双向长短期记忆网络建立了关键词预测、聚合运算符预测、算术运算符预测、逻辑运算符预测、排序预测、聚合条件预测和列预测等7个预测子模型,进而基于SQL各模块关联关系对7个子模型进行整合构建了SQL预测模型;最后,将该SQL预测模型作为微调后的Chinese-RoBerta-wwm-ext预训练模型的下游任务,构建了基于动态词嵌入和SQL抽象语法树的SQL预测模型,并利用由客运营销标记数据和CSpider数据集组成的混合数据集对该模型进行了训练和测试。经过对比实验和验证,该模型对标记的客运营销SQL数据预测的逻辑形式准确性达到68.4%,执行正确率达到75.9%,能够准确预测出要查询的列名、表名、操作符和条件等,相较于基于GLoVe固定词嵌入的模型(基准模型)和基于池化层参数微调的模型(对比模型)皆有较大的提升。该模型的应用对于进一步降低数据库使用门槛,更好地让数据服务于决策具有重要推动性作用。 展开更多
关键词 智能交互 铁路客运 营销数据 Chinese-roberta-wwm-ext
在线阅读 下载PDF
融入夸张表征的中文反讽识别方法 被引量:1
12
作者 李书羽 朱广丽 +3 位作者 李嘉伟 段文杰 周若彤 张顺香 《数据分析与知识发现》 北大核心 2025年第2期1-11,共11页
【目的】为解决中文反讽短文本中存在的特征稀疏问题,提出一种融入夸张表征的中文反讽识别方法,挖掘短文本中的夸张表征以提升中文反讽识别准确率。【方法】通过点互信息和语义相似度计算分别获取与反讽领域相关的共现词对集、感叹词集... 【目的】为解决中文反讽短文本中存在的特征稀疏问题,提出一种融入夸张表征的中文反讽识别方法,挖掘短文本中的夸张表征以提升中文反讽识别准确率。【方法】通过点互信息和语义相似度计算分别获取与反讽领域相关的共现词对集、感叹词集与程度副词集,合并上述词集构建夸张表征词典;然后,通过正则表达式匹配反讽文本得到特殊标点符号序列并经独热编码获得特殊标点符号特征,采用RoBERTa-wwm-ext模型获取文本语义特征,利用WoBERT模型将夸张表征词典内的词及词对转化为动态词向量,获取夸张表征;最后,改进多头注意力机制,同时关注文本语义特征、夸张表征以及特殊标点符号特征,经Softmax函数得到识别结果。【结果】将公开的Ciron和ChineseSarcasm-Corpus数据集合并后进行实验,本文方法准确率达81.49%,F1值达81.24%。【局限】构建的夸张表征词典依赖语料质量,泛化能力有限。【结论】本文方法通过挖掘中文反讽短文本中存在的夸张表征,结合文本语义信息,能有效丰富文本语义表示,提升中文反讽识别的准确率。 展开更多
关键词 中文反讽领域词典 夸张表征 roberta-wwm-ext 多头注意力机制
原文传递
基于深度学习的网络评论文本情感分析方法
13
作者 李大一 王友国 翟其清 《建模与仿真》 2024年第5期5372-5381,共10页
在自然语言处理的众多研究领域中,文本的情感层面分析已成为一个备受瞩目的课题。针对情感分析任务中存在的文本向量表示语义不佳和特征提取不足导致分类不准确的问题,本研究提出了一种融合了RoBERTa-wwm-ext模型和多头注意力机制的深... 在自然语言处理的众多研究领域中,文本的情感层面分析已成为一个备受瞩目的课题。针对情感分析任务中存在的文本向量表示语义不佳和特征提取不足导致分类不准确的问题,本研究提出了一种融合了RoBERTa-wwm-ext模型和多头注意力机制的深度学习文本分类框架RoBERTa-BiLSTM-Mutil-Head-Attention(RBM)。模型最初利用预训练的RoBERTa-wwm-ext语言模型捕获文本的动态特性;利用双向长短期记忆网络Bi-LSTM进一步提取文本更深层次的语义关系,将最后一个时序输出作为特征向量输入到多头注意力机制层;最后通过全连接层神经网络得到文本分类结果。经过一系列模型的对比测试,本研究提出的基于RBM的分类模型在ChnSentiCorp的网络评论文本集上实现了更高的准确度、精确率、召回率和F1值,且模型较好地提取了文本中字词的特征,提高了中文评论文本情感分析的效果。 展开更多
关键词 文本情感分析 roberta-wwm-ext Bi-LSTM Mutil-Head-Attention
在线阅读 下载PDF
上一页 1 下一页 到第
使用帮助 返回顶部