融合关键信息的PGN文本主题句生成方法 被引量：2

1

作者 葛斌 何春辉 黄宏斌 《计算机工程与设计》 北大核心 2022年第6期1601-1608,共8页

针对现有模型无法充分理解上下文和同时解决不同类型文本主题句自动生成以及生成重复内容的难题,对一种融合关键信息的PGN文本主题句生成方法进行研究。融合句子情感倾向加权特征和TextRank迭代算法筛选关键句;根据不同文本类型进行参... 针对现有模型无法充分理解上下文和同时解决不同类型文本主题句自动生成以及生成重复内容的难题,对一种融合关键信息的PGN文本主题句生成方法进行研究。融合句子情感倾向加权特征和TextRank迭代算法筛选关键句;根据不同文本类型进行参数自动配置,利用BERT预训练语言模型对获取的关键句进行向量化表征并输入到融合coverage复制机制的指针生成网络模型中生成主题句;采用后处理技术对生成的主题句内容和长度进行检测与修正得到最终主题句。在公开数据集LCSTS上的实验结果表明,所提模型可以更充分地理解原文并有效减少重复内容的生成,它的Rouge-1和Rouge-L值均高于基线模型。 展开更多

关键词 信息抽取 主题句生成 指针生成网络 迭代算法 复制机制 深度学习 后处理技术

在线阅读 下载PDF 职称材料

一种融合主题的PGN-GAN文本摘要模型 被引量：2

2

作者 郭继峰 费禹潇 +2 位作者 孙文博 谢培浇 张健 《小型微型计算机系统》 CSCD 北大核心 2023年第1期199-203,共5页

为了改进生成式文本的摘要模型,本文提出了一种基于主题的生成对抗与指针网络结合的文本摘要模型.首先通过LDA主题建模方法获取主题词,在获取单词的主题向量后,将结合主题的词向量与传统的序列注意力相结合,形成新的复合注意力共同影响... 为了改进生成式文本的摘要模型,本文提出了一种基于主题的生成对抗与指针网络结合的文本摘要模型.首先通过LDA主题建模方法获取主题词,在获取单词的主题向量后,将结合主题的词向量与传统的序列注意力相结合,形成新的复合注意力共同影响单词的生成,然后通过加入生成对抗网络以在指针生成网络上取得了更好的效果.实验采用gigaword数据集进行训练,采用ROUGE评分机制进行评分,结果证明由于融入主题因素,相比单独采用指针网络我们的模型提升了摘要结果的可读性及准确性,具有更好的表现. 展开更多

关键词 指针网络 生成对抗 主题模型 文本摘要

在线阅读 下载PDF 职称材料

基于BERT-PGN模型的中文新闻文本自动摘要生成 被引量：15

3

作者 谭金源 刁宇峰 +1 位作者 祁瑞华 林鸿飞 《计算机应用》 CSCD 北大核心 2021年第1期127-132,共6页

针对文本自动摘要任务中生成式摘要模型对句子的上下文理解不够充分、生成内容重复的问题,基于BERT和指针生成网络(PGN),提出了一种面向中文新闻文本的生成式摘要模型——BERT-指针生成网络(BERTPGN)。首先,利用BERT预训练语言模型结合... 针对文本自动摘要任务中生成式摘要模型对句子的上下文理解不够充分、生成内容重复的问题,基于BERT和指针生成网络(PGN),提出了一种面向中文新闻文本的生成式摘要模型——BERT-指针生成网络(BERTPGN)。首先,利用BERT预训练语言模型结合多维语义特征获取词向量,从而得到更细粒度的文本上下文表示;然后,通过PGN模型,从词表或原文中抽取单词组成摘要;最后,结合coverage机制来减少重复内容的生成并获取最终的摘要结果。在2017年CCF国际自然语言处理与中文计算会议(NLPCC2017)单文档中文新闻摘要评测数据集上的实验结果表明,与PGN、伴随注意力机制的长短时记忆神经网络(LSTM-attention)等模型相比,结合多维语义特征的BERT-PGN模型对摘要原文的理解更加充分,生成的摘要内容更加丰富,全面且有效地减少重复、冗余内容的生成,Rouge-2和Rouge-4指标分别提升了1.5%和1.2%。 展开更多

关键词 生成式摘要模型 预训练语言模型 多维语义特征 指针生成网络 coverage机制

在线阅读 下载PDF 职称材料

基于PGN-CL的文本摘要生成模型 被引量：1

4

作者 刘雅情 张海军 +2 位作者 梁科晋 张昱 王月阳 《计算机与现代化》 2023年第2期66-71,77,共7页

基于Seq2Seq框架的生成式文本摘要模型取得了不错的研究进展,但此类模型大多存在未登录词、生成文本重复、曝光偏差问题。为此,本文提出基于对抗性扰动对比学习的指针生成器网络PGN-CL来建模文本摘要生成过程,该模型以指针生成器网络PG... 基于Seq2Seq框架的生成式文本摘要模型取得了不错的研究进展,但此类模型大多存在未登录词、生成文本重复、曝光偏差问题。为此,本文提出基于对抗性扰动对比学习的指针生成器网络PGN-CL来建模文本摘要生成过程,该模型以指针生成器网络PGN为基本架构,解决摘要模型存在的未登录词和生成文本重复的问题;采用对抗性扰动对比学习作为一种新的模型训练方式来解决曝光偏差问题。在PGN模型的训练过程中,通过向目标序列添加扰动并建立对比损失函数来生成对抗性正负样本,使负样本与目标序列在嵌入空间相似但语义差别很大,正样本与目标序列在语义空间很相近但嵌入空间差距较大,这些区分困难的正负样本可以引导PGN模型在特征空间更好地学习到正负样本的区分特征,获得更准确的摘要表示。在LCSTS数据集上的实验结果表明,提出的模型在ROUGE评价指标上的表现优于对比基线,证明了融合指针生成器网络和对抗性扰动对比学习对摘要质量提升的有效性。 展开更多

关键词 文本摘要 指针生成器网络 对抗性扰动 对比学习

在线阅读 下载PDF 职称材料

基于IF-PGN模型的短文本摘要生成 被引量：1

5

作者 孙岩 李晶 《佳木斯大学学报（自然科学版）》 CAS 2021年第1期41-44,共4页

针对以往提出的模型生成的摘要准确性不够,且含有过多冗余信息的问题,提出一种生成式文本摘要模型--信息过滤-指针生成网络。该模型对神经网络编码解码结构进行扩展,引入信息过滤网络和指针生成网络,可以有效地捕获原文信息,免于无效信... 针对以往提出的模型生成的摘要准确性不够,且含有过多冗余信息的问题,提出一种生成式文本摘要模型--信息过滤-指针生成网络。该模型对神经网络编码解码结构进行扩展,引入信息过滤网络和指针生成网络,可以有效地捕获原文信息,免于无效信息的影响,且让指针网络的复制概率更加准确,生成的摘要内容更加丰富、连贯。在CNN/Ddily Mail数据集上的实验结果表明, ROUGE指标有明显提升。 展开更多

关键词 生成式摘要 神经网络 指针生成网络 信息过滤

在线阅读 下载PDF 职称材料

基于Transformer-TextRank-PGN的文本摘要模型

6

作者 吴广硕 樊重俊 陶国庆 《计算机与数字工程》 2024年第12期3681-3685,3749,共6页

任务中存在编码器端对文本语义信息理解不足,解码器端生成单词不可控的问题,提出了一种Transformer-Text Rank-PGN文本摘要模型,该模型同时保留了生成式摘要和抽取式摘要的优点。在模型编码器端引入Text Rank算法增强编码器学习文本语... 任务中存在编码器端对文本语义信息理解不足,解码器端生成单词不可控的问题,提出了一种Transformer-Text Rank-PGN文本摘要模型,该模型同时保留了生成式摘要和抽取式摘要的优点。在模型编码器端引入Text Rank算法增强编码器学习文本语义信息的能力,解码器端引入指针网络指向原文中抽取单词,使用抽取单词概率分布和解码器生成单词的概率分布共同影响最终生成词,使模型可以复现出原文细节和生成OOV词汇。经过在NLPCC文本摘要数据集上的实验结果表明,该模型所生成摘要的准确性和可读性更接近于数据集中所给出的标准摘要。 展开更多

关键词 生成式摘要 抽取式摘要 TRANSFORMER TextRank 指针网络

在线阅读 下载PDF 职称材料

基于交叉多头注意力的查询式文本摘要生成

7

作者 何东欢 李旸 王素格 《中文信息学报》 北大核心 2025年第7期138-147,共10页

生成是一项根据给定文档和查询,生成与查询相关摘要的任务。该文将查询式摘要生成任务转换为阅读理解任务,将文档与查询进行交互,建立了基于交叉多头注意力的Transformer架构的多源指针生成式摘要新模型。该模型通过BERT预训练模型,建... 生成是一项根据给定文档和查询,生成与查询相关摘要的任务。该文将查询式摘要生成任务转换为阅读理解任务,将文档与查询进行交互,建立了基于交叉多头注意力的Transformer架构的多源指针生成式摘要新模型。该模型通过BERT预训练模型,建立文档、查询和摘要的嵌入表示,再在Transformer架构中,通过交叉的多头注意力机制,建立查询与文档的交互深层语义表示。在此基础上,使用多源指针生成网络,使生成的摘要与文档和查询内容具有语义一致性和表达连贯性。最后,在查询式文本摘要生成数据集Debatepedia和Querysum-data上,与已有方法进行对比实验,实验结果验证了该文摘要生成模型CMAT-PG的有效性。 展开更多

关键词 查询式文本摘要生成 机器阅读理解 交叉多头注意力机制 多源指针生成网络

在线阅读 下载PDF 职称材料

基于文本语义的注意力指针网络文本摘要生成模型

8

作者 谢文博 张晓滨 《计算机与数字工程》 2025年第1期189-195,共7页

论文旨在针对文本摘要生成任务中存在的语义信息编码不充分、生成摘要结果不通顺问题,提出一种基于文本语义的注意力指针网络文本摘要模型。该模型采用改进的序列到序列(Seq2Seq)架构,利用双编码器+双注意力机制对源文档编码以获取文本... 论文旨在针对文本摘要生成任务中存在的语义信息编码不充分、生成摘要结果不通顺问题,提出一种基于文本语义的注意力指针网络文本摘要模型。该模型采用改进的序列到序列(Seq2Seq)架构,利用双编码器+双注意力机制对源文档编码以获取文本的不同特征向量:应用Child-Sum Tree-LSTMs+SelfAttention获取文本的语义特征向量,BiLSTM+SoftAttention获取文本的位置时序特征向量,之后构建门控机制与指针网络融合取舍不同编码器获取到的特征向量,利用覆盖机制解决生成重复问题,最后使用集束搜索选取最终生成词,从而产生更为准确和连贯的摘要。最终实验表明:在中文短文本摘要数据集LCSTS与英文数据集CNN/Daily Mail上,论文模型与对照实验组对比,在ROUGE评分标准下取得了更高的分数,表明该模型能有效地提升文本摘要生成效果。 展开更多

关键词 文本摘要生成 Child-Sum Tree-LSTMs Seq2Seq 指针网络 注意力机制

在线阅读 下载PDF 职称材料

先验知识指导生成虚拟样本在指针式仪表识别上的应用 被引量：12

9

作者 马波 蔡伟东 郑凡帆 《计算机辅助设计与图形学学报》 EI CSCD 北大核心 2019年第9期1549-1557,共9页

为解决现有指针式仪表识别方法依赖于预处理的有效性且泛化能力不足的问题,提出一种基于深度卷积神经网络与虚拟样本结合的识别方法.该方法利用深度卷积神经网络自适应地提取仪表图像关键特征,避免无关信息的干扰;采用先验知识构建指针... 为解决现有指针式仪表识别方法依赖于预处理的有效性且泛化能力不足的问题,提出一种基于深度卷积神经网络与虚拟样本结合的识别方法.该方法利用深度卷积神经网络自适应地提取仪表图像关键特征,避免无关信息的干扰;采用先验知识构建指针式仪表虚拟样本生成模型,解决深度卷积神经网络面临的小样本难题.仿真数据、实验数据和现场实际应用结果表明,文中方法是可行有效的,且比传统的指针定位方法识别效果更好,尤其在更换仪表、局部信息缺失等复杂情况下具有很好的鲁棒性. 展开更多

关键词 指针式仪表 虚拟样本生成 小样本 先验知识 卷积神经网络

在线阅读 下载PDF 职称材料

基于指针网络的抽取生成式摘要生成模型 被引量：3

10

作者 陈伟 杨燕 《计算机应用》 CSCD 北大核心 2021年第12期3527-3533,共7页

作为自然语言处理中的热点问题,摘要生成具有重要的研究意义。基于Seq2Seq模型的生成式摘要模型取得了良好的效果,然而抽取式的方法具有挖掘有效特征并抽取文章重要句子的潜力,因此如何利用抽取式方法来改进生成式方法是一个较好的研究... 作为自然语言处理中的热点问题,摘要生成具有重要的研究意义。基于Seq2Seq模型的生成式摘要模型取得了良好的效果,然而抽取式的方法具有挖掘有效特征并抽取文章重要句子的潜力,因此如何利用抽取式方法来改进生成式方法是一个较好的研究方向。鉴于此,提出了融合生成式和抽取式方法的模型。首先,使用TextRank算法并融合主题相似度来抽取文章中有重要意义的句子。然后,设计了融合抽取信息语义的基于Seq2Seq模型的生成式框架来实现摘要生成任务;同时,引入指针网络解决模型训练中的未登录词(OOV)问题。综合以上步骤得到最终摘要,并在CNN/Daily Mail数据集上进行验证。结果表明在ROUGE-1、ROUGE-2和ROUGE-L三个指标上所提模型比传统TextRank算法均有所提升,同时也验证了融合抽取式和生成式方法在摘要生成领域中的有效性。 展开更多

关键词 抽取生成式摘要 TextRank算法 Seq2Seq模型 指针网络 语义融合

在线阅读 下载PDF 职称材料

基于混合过滤编码的神经中文生成式摘要

11

作者 蓝雯飞 周伟枭 +2 位作者 许智明 朱容波 罗一凡 《中南民族大学学报（自然科学版）》 CAS 北大核心 2021年第3期305-311,共7页

在神经生成式摘要任务中,由于输入文档与参考摘要之间不存在显式的对齐关系,通常会导致重复生成相同单词的问题以及生成的摘要与输入文档语义不相关、准确性低的问题.为更好解决该问题,提出了混合过滤编码网络(HFEN)并在HFEN中集成混合... 在神经生成式摘要任务中,由于输入文档与参考摘要之间不存在显式的对齐关系,通常会导致重复生成相同单词的问题以及生成的摘要与输入文档语义不相关、准确性低的问题.为更好解决该问题,提出了混合过滤编码网络(HFEN)并在HFEN中集成混合过滤编码机制(HFEM)、注意力机制、指针生成器.HFEM分为管道过滤编码机制(PFEM)、特征融合过滤编码机制(FFFEM).其中,FFFEM具体通过添加特征融合层实现.在中文摘要领域基准数据集(LCSTS)上的实验结果表明:HFEN相较于基线模型生成了准确性更高、重复单词更少的摘要,ROUGE指标有较大提升. 展开更多

关键词 神经中文生成式摘要 混合过滤编码网络 混合过滤编码机制 管道过滤编码机制 特征融合过滤编码机制 指针生成器

在线阅读 下载PDF 职称材料

基于指针生成网络的代码注释自动生成模型 被引量：6

12

作者 牛长安 葛季栋 +3 位作者 唐泽 李传艺 周宇 骆斌 《软件学报》 EI CSCD 北大核心 2021年第7期2142-2165,共24页

代码注释在软件质量保障中发挥着重要的作用,它可以提升代码的可读性,使代码更易理解、重用和维护.但是出于各种各样的原因,有时开发者并没有添加必要的注释,使得在软件维护的过程中,往往需要花费大量的时间来理解代码,大大降低了软件... 代码注释在软件质量保障中发挥着重要的作用,它可以提升代码的可读性,使代码更易理解、重用和维护.但是出于各种各样的原因,有时开发者并没有添加必要的注释,使得在软件维护的过程中,往往需要花费大量的时间来理解代码,大大降低了软件维护的效率.近年来,多项工作利用机器学习技术自动生成代码注释,这些方法从代码中提取出语义和结构化信息后,输入序列到序列的神经网络模型生成相应的注释,均取得了不错的效果.然而,当前最好的代码注释生成模型Hybrid-DeepCom仍然存在两方面的不足.一是其在预处理时可能破坏代码结构导致不同实例的输入信息不一致,使得模型学习效果欠佳;二是由于序列到序列模型的限制,其无法在注释中生成词库之外的单词(out-of-vocabulary word,简称OOV word).例如在源代码中出现次数极少的变量名、方法名等标识符通常都为OOV词,缺少了它们,注释将难以理解.为解决上述问题,提出了一种新的代码注释生成模型CodePtr.一方面,通过添加完整的源代码编码器解决代码结构被破坏的问题;另一方面,引入指针生成网络(pointer-generator network)模块,在解码的每一步实现生成词和复制词两种模式的自动切换,特别是遇到在输入中出现次数极少的标识符时模型可以直接将其复制到输出中,以此解决无法生成OOV词的问题.最后,在大型数据集上通过实验对比了CodePtr和Hybrid-DeepCom模型,结果表明,当词库大小为30000时,CodePtr的各项翻译效果指标平均提升6%,同时,处理OOV词的效果提升近50%,充分说明了CodePtr模型的有效性. 展开更多

关键词 软件质量保障 代码注释生成 神经网络 out-of-vocabulary word 指针生成网络

在线阅读 下载PDF 职称材料

基于BERT-SUMOPN模型的抽取-生成式文本自动摘要 被引量：13

13

作者 谭金源 刁宇峰 +2 位作者 杨亮 祁瑞华 林鸿飞 《山东大学学报（理学版）》 CAS CSCD 北大核心 2021年第7期82-90,共9页

可读性、准确性较差,生成式摘要存在连贯性、逻辑性的不足,此外2种摘要方法的传统模型对文本的向量表示往往不够充分、准确。针对以上问题,该文提出了一种基于BERT-SUMOPN模型的抽取-生成式摘要方法。模型通过BERT预训练语言模型获取文... 可读性、准确性较差,生成式摘要存在连贯性、逻辑性的不足,此外2种摘要方法的传统模型对文本的向量表示往往不够充分、准确。针对以上问题,该文提出了一种基于BERT-SUMOPN模型的抽取-生成式摘要方法。模型通过BERT预训练语言模型获取文本向量,然后利用抽取式结构化摘要模型抽取文本中的关键句子,最后将得到的关键句子输入到生成式指针生成网络中,通过EAC损失函数对模型进行端到端训练,结合coverage机制减少生成重复,获取摘要结果。实验结果表明,BERT-SUMOPN模型在BIGPATENT专利数据集上取得了很好的效果,ROUGE-1和ROUGE-2指标分别提升了3.3%和2.5%。 展开更多

关键词 BERT预训练语言模型 结构化模型 指针生成网络 EAC损失函数

原文传递

面向法律文书的分段式摘要模型 被引量：6

14

作者 王刚 孙媛媛 +1 位作者 陈彦光 林鸿飞 《计算机工程》 CAS CSCD 北大核心 2022年第6期288-294,共7页

是指对文本信息内容进行概括、提取主要内容进而形成摘要的过程。现有的文本摘要模型通常将内容选择和摘要生成独立分析,虽然能够有效提高句子压缩和融合的性能,但是在抽取过程中会丢失部分文本信息,导致准确率降低。基于预训练模型和Tr... 是指对文本信息内容进行概括、提取主要内容进而形成摘要的过程。现有的文本摘要模型通常将内容选择和摘要生成独立分析,虽然能够有效提高句子压缩和融合的性能,但是在抽取过程中会丢失部分文本信息,导致准确率降低。基于预训练模型和Transformer结构的文档级句子编码器,提出一种结合内容抽取与摘要生成的分段式摘要模型。采用BERT模型对大量语料进行自监督学习,获得包含丰富语义信息的词表示。基于Transformer结构,通过全连接网络分类器将每个句子分成3类标签,抽取每句摘要对应的原文句子集合。利用指针生成器网络对原文句子集合进行压缩,将多个句子集合生成单句摘要,缩短输出序列和输入序列的长度。实验结果表明,相比直接生成摘要全文,该模型在生成句子上ROUGE-1、ROUGE-2和ROUGE-L的F1平均值提高了1.69个百分点,能够有效提高生成句子的准确率。 展开更多

关键词 司法摘要 预训练模型 Transformer编码器 序列标注 指针生成器网络 分段式摘要模型

在线阅读 下载PDF 职称材料

基于指针生成网络的中文对话文本摘要模型 被引量：1

15

作者 胡清丰 魏赟 邬春学 《计算机系统应用》 2023年第1期224-232,共9页

针对传统Seq2Seq序列模型在文本摘要任务中无法准确地提取到文本中的关键信息、无法处理单词表之外的单词等问题,本文提出一种基于Fastformer的指针生成网络(pointer generator network,PGN)模型,且该模型结合了抽取式和生成式两种文本... 针对传统Seq2Seq序列模型在文本摘要任务中无法准确地提取到文本中的关键信息、无法处理单词表之外的单词等问题,本文提出一种基于Fastformer的指针生成网络(pointer generator network,PGN)模型,且该模型结合了抽取式和生成式两种文本摘要方法.模型首先利用Fastformer模型高效的获取具有上下文信息的单词嵌入向量,然后利用指针生成网络模型选择从源文本中复制单词或利用词汇表来生成新的摘要信息,以解决文本摘要任务中常出现的OOV(out of vocabulary)问题,同时模型使用覆盖机制来追踪过去时间步的注意力分布,动态的调整单词的重要性,解决了重复词问题,最后,在解码阶段引入了Beam Search优化算法,使得解码器能够获得更加准确的摘要结果.实验在百度AI Studio中汽车大师所提供的汽车诊断对话数据集中进行,结果表明本文提出的FastformerPGN模型在中文文本摘要任务中达到的效果要优于基准模型,具有更好的效果. 展开更多

关键词 深度学习 文本摘要 指针生成网络(pgn) 覆盖机制 Fastformer模型

在线阅读 下载PDF 职称材料

一种用于代码注释自动生成的语法辅助复制机制 被引量：4

16

作者 许柏炎 蔡瑞初 梁智豪 《计算机工程》 CAS CSCD 北大核心 2021年第4期92-99,共8页

现有代码注释生成方法的复制机制未考虑源代码复杂多变的语法结构,导致存在准确率和鲁棒性不高等问题。通过改进指针网络使其支持结构化数据输入,提出一种语法辅助复制机制,以用于代码注释自动生成。该机制包含节点筛选策略和去冗余生... 现有代码注释生成方法的复制机制未考虑源代码复杂多变的语法结构,导致存在准确率和鲁棒性不高等问题。通过改进指针网络使其支持结构化数据输入,提出一种语法辅助复制机制,以用于代码注释自动生成。该机制包含节点筛选策略和去冗余生成策略2个部分。节点筛选策略基于语法信息引入掩盖变量以过滤无效节点,从而降低指针网络对复杂语法的学习成本。去冗余生成策略基于时间窗口对节点概率进行动态调整,可解决代码自动注释中关键信息缺失的问题。实验结果表明,在WikiSQL数据集上,相比基准方法,该机制的BLEU、ROUGE-2和ROUGE-L指标值分别提升14.5%、10.3%和5.5%,在ATIS数据集上,上述指标值分别提升2.8%、6.6%和2.5%,验证了该机制的有效性以及引入语法信息的必要性。 展开更多

关键词 代码注释生成 指针网络 自然语言生成 结构信息 复制机制

在线阅读 下载PDF 职称材料

指针生成网络和覆盖损失优化的Transformer在生成式文本摘要领域的应用 被引量：4

17

作者 李想 王卫兵 尚学达 《计算机应用》 CSCD 北大核心 2021年第6期1647-1651,共5页

针对生成式文本摘要应用场景,提出了以Transformer为基础的摘要模型,并在Transformer模型中加入了指针生成(Pointer Generator)网络和覆盖损失(Coverage Loss)进行优化。首先,提出了基于Transformer模型作为基础结构的方法,利用其注意... 针对生成式文本摘要应用场景,提出了以Transformer为基础的摘要模型,并在Transformer模型中加入了指针生成(Pointer Generator)网络和覆盖损失(Coverage Loss)进行优化。首先,提出了基于Transformer模型作为基础结构的方法,利用其注意力机制更好地捕捉上下文的语意信息。然后,在模型的损失函数中引入Coverage Loss来惩罚不断出现的重复的词的分布和覆盖范围,从而解决Transformer模型中的注意力机制在生成式任务中出现不断生成同一个词的问题。最后,在模型中加入了Pointer Generator网络,从而允许模型从源文本中复制词用作生成词来解决词表无法覆盖(OOV)的问题。探索了改进后的模型是否减少了不准确的表达以及重复出现相同词的现象是否得以解决。该模型相较于原始的Transformer模型在ROUGE-1评测函数上得分提升了1.98个百分点、ROUGE-2评测函数上得分提升0.95个百分点,在ROUGE-L评测函数上得分提升了2.27个百分点,并提升了摘要结果的可读性及准确性。实验结果表明,Transformer在加入Coverage Loss和Pointer Generator网络后可应用于生成式文本摘要领域。 展开更多

关键词 生成式文本摘要 注意力机制 TRANSFORMER 覆盖损失 指针生成网络

在线阅读 下载PDF 职称材料

融合流注意力机制的中文摘要生成方法 被引量：2

18

作者 崔少国 王奥迪 杜兴 《小型微型计算机系统》 CSCD 北大核心 2023年第12期2685-2691,共7页

针对现有文本摘要生成方法对源文全局语义信息提取不充分问题,提出了一种融合流注意力机制的并行编码器摘要生成算法模型.首先使用单颗粒的分词方法对源文进行分词;然后在编码阶段引入多头流注意力机制,从而更全面地提取源文的全局语义... 针对现有文本摘要生成方法对源文全局语义信息提取不充分问题,提出了一种融合流注意力机制的并行编码器摘要生成算法模型.首先使用单颗粒的分词方法对源文进行分词;然后在编码阶段引入多头流注意力机制,从而更全面地提取源文的全局语义信息;其次运用并行编码器训练模型,使得输入序列中语义信息获得更大权重;最后将编码得到的全局语义信息送入到融合指针的解码器中,通过指针复制源文词汇,减少生成摘要中未登录词的出现,从而使得解码过程中生成的摘要更加全面准确地匹配源文语义.模型在CLTS和NLPCC两个数据集上进行实验,使用ROUGE-1、ROUGE-2和ROUGE-L作为评价指标.实验结果显示,与基准模型相比在CLTS数据集上分别有2.62%、1.44%和0.87%的提升,在NLPCC数据集上分别有2.82%、1.84%和1.64%的提升,表明所提算法模型在中文摘要生成任务上更加有效. 展开更多

关键词 中文文本 摘要生成 流注意力机制 并行编码器 指针网络

在线阅读 下载PDF 职称材料

中文新闻文本多文档摘要生成 被引量：2

19

作者 李宝安 佘鑫鹏 +2 位作者 常振宁 吕学强 游新冬 《计算机工程与设计》 北大核心 2023年第9期2867-2873,共7页

针对自动文本摘要任务中多文档生成式摘要模型抽取文本特征不充分、无法捕获跨文档关系和生成内容重复的问题,提出一种多文档生成式摘要模型Transformer-PGN。利用融合段落注意力机制的Transformer结构对文本进行特征抽取,同时捕获跨文... 针对自动文本摘要任务中多文档生成式摘要模型抽取文本特征不充分、无法捕获跨文档关系和生成内容重复的问题,提出一种多文档生成式摘要模型Transformer-PGN。利用融合段落注意力机制的Transformer结构对文本进行特征抽取,同时捕获跨文档关系;通过指针生成网络逐词生成摘要;结合覆盖率机制避免生成重复单词,形成最终的摘要。实验结果表明,与指针生成网络等模型相比,该模型生成的摘要信息更丰富、冗余度更低,Rouge-1、Rouge-2和Rouge-L分别提升了2.1%、2.4%和2.3%。 展开更多

关键词 中文新闻 多文档 指针生成网络 文本摘要 深度学习 注意力机制 覆盖率机制

在线阅读 下载PDF 职称材料

融合关键信息的科技文献创新点生成方法 被引量：1

20

作者 李宝安 刘翔 +2 位作者 王宗辉 吕学强 游新冬 《计算机工程与设计》 北大核心 2023年第4期1267-1273,共7页

相较传统的阅读方式,利用摘要生成等技术生成文献的创新点存在正确性低、事实准确性差、与原文的关键信息有偏差等问题。据此,提出一种融合关键信息的科技文献创新点生成方法,在该领域构建一个中文长文本-生成创新点语料库,提出一个领... 相较传统的阅读方式,利用摘要生成等技术生成文献的创新点存在正确性低、事实准确性差、与原文的关键信息有偏差等问题。据此,提出一种融合关键信息的科技文献创新点生成方法,在该领域构建一个中文长文本-生成创新点语料库,提出一个领域知识抽取方法,用实体知识指导原文内容的选择,利用指针生成网络生成最终的创新点。实验结果表明,该方法在Rouge分数上均优于主流方法,生成的创新点具有更好的正确性和事实准确性。 展开更多

关键词 创新点生成 摘要生成 知识抽取 强化学习 指针网络 事实准确性 语料库构建

在线阅读 下载PDF 职称材料