针对目前方法大多未能充分利用跨度语义信息和局部上下文隐含信息等问题,提出基于跨度和多层次特征融合的实体关系联合抽取模型。该模型首先将文本输入到预训练语言模型(Bidirectional Encoder Representations from Transformer,BERT)...针对目前方法大多未能充分利用跨度语义信息和局部上下文隐含信息等问题,提出基于跨度和多层次特征融合的实体关系联合抽取模型。该模型首先将文本输入到预训练语言模型(Bidirectional Encoder Representations from Transformer,BERT)转换为词向量后,将其与通过图卷积获得的句法依赖信息进行融合,形成更丰富的文本特征;然后通过多头注意力层对文本特征进行加权处理,以此抑制噪声特征的干扰,并促进特征之间的交互,随后根据跨度将文本信息分割成跨度序列进行实体识别;最后使用双向门控循环单元提取局部上下文隐含信息,将与实体类型信息融合到候选实体跨度对并使用sigmoid函数进行关系分类。实验表明,该模型在SciERC数据集和CoNLL04数据集上取得良好的提升效果。展开更多
针对风电装备领域中实体的高度嵌套性和长文本的特性,提出一种基于差分边界增强的嵌套命名实体识别模型(DBE-NER)。首先,通过语义编码器模块获取融合实体头尾词、实体类型和相对距离的特征表示,从而提升模型对嵌套语义特征的捕捉能力;其...针对风电装备领域中实体的高度嵌套性和长文本的特性,提出一种基于差分边界增强的嵌套命名实体识别模型(DBE-NER)。首先,通过语义编码器模块获取融合实体头尾词、实体类型和相对距离的特征表示,从而提升模型对嵌套语义特征的捕捉能力;其次,设计一种高效的差分语义编码模块解决嵌套实体边界的模糊问题;再次,使用分组空洞注意力网络(GDAN)提高模型在长文本实体、嵌套实体和嵌套边界的识别效果;最后,将特征分数矩阵输入跨度解码器中以得到实体位置和类别。实验结果表明,与DiFiNet(Differentiation and Filtration Network)和CNN-NER(Convolutional Neural Network for Named Entity Recognition)模型相比,DBE-NER的F1分数在人工标注的某大型风电能源企业故障数据集WPEF上分别提升了0.92%和1.07%,并且在多种公开数据集上的F1分数均有所提高。展开更多
文摘针对目前方法大多未能充分利用跨度语义信息和局部上下文隐含信息等问题,提出基于跨度和多层次特征融合的实体关系联合抽取模型。该模型首先将文本输入到预训练语言模型(Bidirectional Encoder Representations from Transformer,BERT)转换为词向量后,将其与通过图卷积获得的句法依赖信息进行融合,形成更丰富的文本特征;然后通过多头注意力层对文本特征进行加权处理,以此抑制噪声特征的干扰,并促进特征之间的交互,随后根据跨度将文本信息分割成跨度序列进行实体识别;最后使用双向门控循环单元提取局部上下文隐含信息,将与实体类型信息融合到候选实体跨度对并使用sigmoid函数进行关系分类。实验表明,该模型在SciERC数据集和CoNLL04数据集上取得良好的提升效果。
文摘针对风电装备领域中实体的高度嵌套性和长文本的特性,提出一种基于差分边界增强的嵌套命名实体识别模型(DBE-NER)。首先,通过语义编码器模块获取融合实体头尾词、实体类型和相对距离的特征表示,从而提升模型对嵌套语义特征的捕捉能力;其次,设计一种高效的差分语义编码模块解决嵌套实体边界的模糊问题;再次,使用分组空洞注意力网络(GDAN)提高模型在长文本实体、嵌套实体和嵌套边界的识别效果;最后,将特征分数矩阵输入跨度解码器中以得到实体位置和类别。实验结果表明,与DiFiNet(Differentiation and Filtration Network)和CNN-NER(Convolutional Neural Network for Named Entity Recognition)模型相比,DBE-NER的F1分数在人工标注的某大型风电能源企业故障数据集WPEF上分别提升了0.92%和1.07%,并且在多种公开数据集上的F1分数均有所提高。
