期刊文献+
共找到6篇文章
< 1 >
每页显示 20 50 100
基于文本语义的注意力指针网络文本摘要生成模型
1
作者 谢文博 张晓滨 《计算机与数字工程》 2025年第1期189-195,共7页
论文旨在针对文本摘要生成任务中存在的语义信息编码不充分、生成摘要结果不通顺问题,提出一种基于文本语义的注意力指针网络文本摘要模型。该模型采用改进的序列到序列(Seq2Seq)架构,利用双编码器+双注意力机制对源文档编码以获取文本... 论文旨在针对文本摘要生成任务中存在的语义信息编码不充分、生成摘要结果不通顺问题,提出一种基于文本语义的注意力指针网络文本摘要模型。该模型采用改进的序列到序列(Seq2Seq)架构,利用双编码器+双注意力机制对源文档编码以获取文本的不同特征向量:应用Child-Sum Tree-LSTMs+SelfAttention获取文本的语义特征向量,BiLSTM+SoftAttention获取文本的位置时序特征向量,之后构建门控机制与指针网络融合取舍不同编码器获取到的特征向量,利用覆盖机制解决生成重复问题,最后使用集束搜索选取最终生成词,从而产生更为准确和连贯的摘要。最终实验表明:在中文短文本摘要数据集LCSTS与英文数据集CNN/Daily Mail上,论文模型与对照实验组对比,在ROUGE评分标准下取得了更高的分数,表明该模型能有效地提升文本摘要生成效果。 展开更多
关键词 文本摘要生成 Child-Sum tree-lstms Seq2Seq 指针网络 注意力机制
在线阅读 下载PDF
结合自注意力机制和Tree-LSTM的情感分析模型 被引量:22
2
作者 石磊 张鑫倩 +1 位作者 陶永才 卫琳 《小型微型计算机系统》 CSCD 北大核心 2019年第7期1486-1490,共5页
情感分析随着人工智能的发展而逐渐受到重视,微博情感分析旨在研究用户对于社会热点事件的情感倾向,研究表明深度学习在情感分析上具有可行性.针对传统循环神经网络模型存在信息记忆丢失、忽略上下文非连续词之间的相关性和梯度弥散的问... 情感分析随着人工智能的发展而逐渐受到重视,微博情感分析旨在研究用户对于社会热点事件的情感倾向,研究表明深度学习在情感分析上具有可行性.针对传统循环神经网络模型存在信息记忆丢失、忽略上下文非连续词之间的相关性和梯度弥散的问题,为此本文结合自注意机制和Tree-LSTM模型,并且在Tree-LSTM模型的输出端引入了Maxout神经元,基于以上两种改进基础上构建了SAtt-TLSTM-M模型.实验使用COAE2014评测数据集进行情感分析,实验结果表明:本文提出的模型相比于传统的SVM、MNB和LSTM模型准确率分别提高了16.18%、15.34和12.05%,其中引入了Maxout神经元的RMNN模型相对于LSTM模型准确率提高了4.10%,引入自注意力机制之后的Self-Attention+Tree-LSTM模型相比于Tree-LSTM模型准确率提高了1.85%,并在召回率和F值两项指标上均优于其他对比模型.由此证明,本文提出的SAtt-TLSTM-M模型可用于提高情感分析的准确率,具有一定的研究价值. 展开更多
关键词 微博情感分析 自注意力机制 tree-lstm模型 Maxout神经元
在线阅读 下载PDF
基于多头注意力机制Tree-LSTM的句子语义相似度计算 被引量:20
3
作者 胡艳霞 王成 +2 位作者 李弼程 李海林 吴以茵 《中文信息学报》 CSCD 北大核心 2020年第3期23-33,共11页
针对现有句子语义相似度计算由于缺乏语义结构信息导致精度低的问题,该文在依存关系树的基础上,提出了一种基于多头注意力机制Tree-LSTM(multi-head attention Tree-LSTM,MA-Tree-LSTM)的句子语义相似度计算方法。首先,MA-Tree-LSTM将... 针对现有句子语义相似度计算由于缺乏语义结构信息导致精度低的问题,该文在依存关系树的基础上,提出了一种基于多头注意力机制Tree-LSTM(multi-head attention Tree-LSTM,MA-Tree-LSTM)的句子语义相似度计算方法。首先,MA-Tree-LSTM将外部具有指导意义的特征作为输入,再将输入结合多头注意力机制作用在Tree-LSTM树节点的所有孩子节点上,为每个孩子节点赋予不同的权重值,从而实现多头注意力机制和Tree-LSTM的融合;其次,将三层的MA-Tree-LSTM应用于句子语义相似度计算并实现句子对的相互指导,从而得到句子对语义特征的多层表示;最后联合多层的语义特征建立句子对语义相似度计算模型,从而实现句子对间相关的语义结构特征的充分利用。该文提出的方法鲁棒性强,可解释性强,对句子单词的顺序不敏感,不需要特征工程。在SICK和STS数据集上的实验结果表明,基于MA-Tree-LSTM的句子语义相似度计算的精度优于非注意力机制的Tree-LSTM方法以及融合了多头注意力机制的BiLSTM方法。 展开更多
关键词 句子语义相似度计算 多头注意力机制 tree-lstm 语义依存树
在线阅读 下载PDF
一种基于Tree-LSTM的句子相似度计算方法 被引量:4
4
作者 杨萌 李培峰 朱巧明 《北京大学学报(自然科学版)》 EI CAS CSCD 北大核心 2018年第3期481-486,共6页
在浅层句法树和依存关系树的基础上,提出两种结构化特征:基于短语的浅层句法树NPST和基于短语的依存树NPDT,并将它们与Tree-LSTM模型相结合,进行句子相似度计算。实验表明,使用结构化特征和Tree-LSTM会带来性能的提升。
关键词 句子相似度计算 tree-lstm 结构化特征
在线阅读 下载PDF
融合注意力机制和Child-Sum Tree-LSTM的二进制代码相似性检测 被引量:1
5
作者 李涛 王金双 《网络安全与数据治理》 2023年第11期8-14,34,共8页
抽象语法树是一种代码的树型表示,它保留了代码中定义良好的语句组件、语句的显式顺序和执行逻辑。包含丰富语义信息的抽象语法树可以在二进制分析时通过反编译生成,并且已经作为代码特征应用于二进制代码相似度检测。抽象语法树中不同... 抽象语法树是一种代码的树型表示,它保留了代码中定义良好的语句组件、语句的显式顺序和执行逻辑。包含丰富语义信息的抽象语法树可以在二进制分析时通过反编译生成,并且已经作为代码特征应用于二进制代码相似度检测。抽象语法树中不同类别的节点承载着不同的语义信息,对整棵树的语义具有不同的贡献程度。然而现有的二进制代码相似度检测方法所用神经网络无法对抽象语法树节点进行重要性区分,影响了模型的训练效果。针对该问题,提出了一种融合注意力机制和Child-Sum Tree-LSTM神经网络的跨指令集、跨代码混淆二进制代码相似性检测方法。首先使用二进制分析工具IDA Pro对二进制代码反编译提取架构无关的抽象语法树特征,并利用随机采样构造训练样本对。然后使用抽象语法树训练样本对训练融合注意力机制和Child-Sum Tree-LSTM的神经网络模型。在公开数据集BINKIT上的实验表明,所提方法的AUC和Accuracy指标分别为94.1%、66.2%,优于Child-Sum Tree-LSTM算法。 展开更多
关键词 二进制代码 相似性检测 注意力机制 Child-Sum tree-lstm
在线阅读 下载PDF
基于深度学习的中文零代词识别 被引量:1
6
作者 王立凯 曲维光 +3 位作者 魏庭新 周俊生 顾彦慧 李斌 《南京师范大学学报(工程技术版)》 CAS 2021年第4期19-26,共8页
针对中文零代词识别任务,提出了一种基于深度神经网络的中文零代词识别模型.首先,通过注意力机制利用零代词的上下文来帮助表示缺省的语义信息.然后,利用Tree-LSTM挖掘零代词上下文的句法结构信息.最后,利用语义信息和句法结构信息的融... 针对中文零代词识别任务,提出了一种基于深度神经网络的中文零代词识别模型.首先,通过注意力机制利用零代词的上下文来帮助表示缺省的语义信息.然后,利用Tree-LSTM挖掘零代词上下文的句法结构信息.最后,利用语义信息和句法结构信息的融合特征识别零代词.实验结果表明,相对于以往的零代词识别方法,该方法能够有效提升识别效果,在中文OntoNotes5.0数据集上的F1值达到63.7%. 展开更多
关键词 深度学习 中文零指代 零代词识别 tree-lstm 注意力机制
在线阅读 下载PDF
上一页 1 下一页 到第
使用帮助 返回顶部