摘要
生成是一项根据给定文档和查询,生成与查询相关摘要的任务。该文将查询式摘要生成任务转换为阅读理解任务,将文档与查询进行交互,建立了基于交叉多头注意力的Transformer架构的多源指针生成式摘要新模型。该模型通过BERT预训练模型,建立文档、查询和摘要的嵌入表示,再在Transformer架构中,通过交叉的多头注意力机制,建立查询与文档的交互深层语义表示。在此基础上,使用多源指针生成网络,使生成的摘要与文档和查询内容具有语义一致性和表达连贯性。最后,在查询式文本摘要生成数据集Debatepedia和Querysum-data上,与已有方法进行对比实验,实验结果验证了该文摘要生成模型CMAT-PG的有效性。
s are established by BERT.Then,in the transformer architecture,the interactive deep semantic representation of query and document is constructed by the crossing multi-head attention mechanism.Then,the multi-source pointer-generator network is used to generate the summarization.The experimental results show that the proposed model is effective compared with the existing methods on the Debatepedia and querysum-data.
作者
何东欢
李旸
王素格
HE Donghuan;LI Yang;WANG Suge(School of Computer&Information Technology,Shanxi University,Taiyuan,Shanxi 030006,China;School of Finance,Shanxi University of Finance and Economics,Taiyuan,Shanxi 030006,China;Key Laboratory of Computational Intelligence and Chinese Information Processing of Ministry ofEducation,Shanxi University,Taiyuan,Shanxi 030006,China)
出处
《中文信息学报》
北大核心
2025年第7期138-147,共10页
Journal of Chinese Information Processing
基金
国家自然科学基金(62376143,62076158,62106130)
山西省自然科学基金(20210302124084)。
关键词
查询式文本摘要生成
机器阅读理解
交叉多头注意力机制
多源指针生成网络
query focused summarization generation
machine reading comprehension
cross multi-head attention mechanism
multi-source pointer-generator network
