中文命名实体识别(NER)任务旨在抽取非结构化文本中包含的实体并给它们分配预定义的实体类别。针对大多数中文NER方法在上下文信息缺乏时的语义学习不足问题,提出一种层次融合多元知识的NER框架——HTLR(Chinese NER method based on Hi...中文命名实体识别(NER)任务旨在抽取非结构化文本中包含的实体并给它们分配预定义的实体类别。针对大多数中文NER方法在上下文信息缺乏时的语义学习不足问题,提出一种层次融合多元知识的NER框架——HTLR(Chinese NER method based on Hierarchical Transformer fusing Lexicon and Radical),以通过分层次融合的多元知识来帮助模型学习更丰富、全面的上下文信息和语义信息。首先,通过发布的中文词汇表和词汇向量表识别语料中包含的潜在词汇并把它们向量化,同时通过优化后的位置编码建模词汇和相关字符的语义关系,以学习中文的词汇知识;其次,通过汉典网发布的基于汉字字形的编码将语料转换为相应的编码序列以代表字形信息,并提出RFECNN(Radical Feature Extraction-Convolutional Neural Network)模型来提取字形知识;最后,提出Hierarchical Transformer模型,其中由低层模块分别学习字符和词汇以及字符和字形的语义关系,并由高层模块进一步融合字符、词汇、字形等多元知识,从而帮助模型学习语义更丰富的字符表征。在Weibo、Resume、MSRA和OntoNotes4.0公开数据集进行了实验,与主流方法NFLAT(Non-Flat-LAttice Transformer for Chinese named entity recognition)的对比结果表明,所提方法的F1值在4个数据集上分别提升了9.43、0.75、1.76和6.45个百分点,达到最优水平。可见,多元语义知识、层次化融合、RFE-CNN结构和Hierarchical Transformer结构对学习丰富的语义知识及提高模型性能是有效的。展开更多
针对传统基于阅读理解框架的命名实体识别(NER)方法存在的单条样本实体数量稀释以及在预测实体头尾时缺乏对实体完整位置信息的利用这两方面问题,本文基于阅读理解框架提出一种融合实体头尾关键特征的医学文本命名实体识别模型IKFSE(int...针对传统基于阅读理解框架的命名实体识别(NER)方法存在的单条样本实体数量稀释以及在预测实体头尾时缺乏对实体完整位置信息的利用这两方面问题,本文基于阅读理解框架提出一种融合实体头尾关键特征的医学文本命名实体识别模型IKFSE(integrated key feature of entity start and end).首先,设计一种实体头尾关键特征提取模块,提取出针对医学实体起始位置和结束位置的关键特征,减少冗余信息对模型的影响;其次,设计一种实体头尾特征交叉融合模块,在对实体起始位置和结束位置进行预测时分别引入二者对彼此的影响,从而引入实体完整的位置信息,提高模型的语义表征能力.在cEHRNER和CCKS2017两个公开数据集上将IKFSE与多个主流序列标注模型和阅读理解模型相比,结果表明本文所提方法在中文医学NER任务中有着更好的性能.展开更多
近年来民航飞行事故频发,构建飞行事故调查知识图谱在提升飞行安全方面至关重要,而命名实体识别(NER)是构建知识图谱的关键一环。针对飞行事故实体类型多和文本长等难点,提出一种融合动态窗口与全局注意力的飞行事故NER模型DWGAM(Dynami...近年来民航飞行事故频发,构建飞行事故调查知识图谱在提升飞行安全方面至关重要,而命名实体识别(NER)是构建知识图谱的关键一环。针对飞行事故实体类型多和文本长等难点,提出一种融合动态窗口与全局注意力的飞行事故NER模型DWGAM(Dynamic Window Global Attention Modeling)。首先,使用BERT(Bidirectional Encoder Representations from Transformers)预训练语言模型获取序列的向量表示,结合双向长短期记忆(BiLSTM)网络进一步提取文本特征;其次,通过滑动动态窗口捕捉不同实体的上下文局部信息,并通过多头注意力机制捕捉实体的全局信息;最后,融合这2种信息以共同捕捉文本实体。在自建的飞行事故调查数据集上的实验结果表明,DWGAM的F1值达到93.39%,验证了DWGAM能够有效识别出飞行事故实体。展开更多
文摘现有的基于双向长短时记忆(BiLSTM)网络的命名实体识别(NER)模型难以全面理解文本的整体语义以及捕捉复杂的实体关系。因此,提出一种基于全域信息融合和多维关系感知的NER模型。首先,通过BERT(Bidirectional Encoder Representations from Transformers)获取输入序列的向量表示,并结合BiLSTM进一步学习输入序列的上下文信息。其次,提出由梯度稳定层和特征融合模块组成的全域信息融合机制:前者使模型保持稳定的梯度传播并更新优化输入序列的表示,后者则融合BiLSTM的前后向表示获取更全面的特征表示。接着,构建多维关系感知结构学习不同子空间单词的关联性,以捕获文档中复杂的实体关系。此外,使用自适应焦点损失函数动态调整不同类别实体的权重,提高模型对少数类实体的识别性能。最后,在7个公开数据集上将所提模型和11个基线模型进行对比,实验结果表明所提模型的F1值均优于对比模型,可见该模型的综合性较优。
文摘中文命名实体识别(NER)任务旨在抽取非结构化文本中包含的实体并给它们分配预定义的实体类别。针对大多数中文NER方法在上下文信息缺乏时的语义学习不足问题,提出一种层次融合多元知识的NER框架——HTLR(Chinese NER method based on Hierarchical Transformer fusing Lexicon and Radical),以通过分层次融合的多元知识来帮助模型学习更丰富、全面的上下文信息和语义信息。首先,通过发布的中文词汇表和词汇向量表识别语料中包含的潜在词汇并把它们向量化,同时通过优化后的位置编码建模词汇和相关字符的语义关系,以学习中文的词汇知识;其次,通过汉典网发布的基于汉字字形的编码将语料转换为相应的编码序列以代表字形信息,并提出RFECNN(Radical Feature Extraction-Convolutional Neural Network)模型来提取字形知识;最后,提出Hierarchical Transformer模型,其中由低层模块分别学习字符和词汇以及字符和字形的语义关系,并由高层模块进一步融合字符、词汇、字形等多元知识,从而帮助模型学习语义更丰富的字符表征。在Weibo、Resume、MSRA和OntoNotes4.0公开数据集进行了实验,与主流方法NFLAT(Non-Flat-LAttice Transformer for Chinese named entity recognition)的对比结果表明,所提方法的F1值在4个数据集上分别提升了9.43、0.75、1.76和6.45个百分点,达到最优水平。可见,多元语义知识、层次化融合、RFE-CNN结构和Hierarchical Transformer结构对学习丰富的语义知识及提高模型性能是有效的。
文摘针对传统基于阅读理解框架的命名实体识别(NER)方法存在的单条样本实体数量稀释以及在预测实体头尾时缺乏对实体完整位置信息的利用这两方面问题,本文基于阅读理解框架提出一种融合实体头尾关键特征的医学文本命名实体识别模型IKFSE(integrated key feature of entity start and end).首先,设计一种实体头尾关键特征提取模块,提取出针对医学实体起始位置和结束位置的关键特征,减少冗余信息对模型的影响;其次,设计一种实体头尾特征交叉融合模块,在对实体起始位置和结束位置进行预测时分别引入二者对彼此的影响,从而引入实体完整的位置信息,提高模型的语义表征能力.在cEHRNER和CCKS2017两个公开数据集上将IKFSE与多个主流序列标注模型和阅读理解模型相比,结果表明本文所提方法在中文医学NER任务中有着更好的性能.
文摘近年来民航飞行事故频发,构建飞行事故调查知识图谱在提升飞行安全方面至关重要,而命名实体识别(NER)是构建知识图谱的关键一环。针对飞行事故实体类型多和文本长等难点,提出一种融合动态窗口与全局注意力的飞行事故NER模型DWGAM(Dynamic Window Global Attention Modeling)。首先,使用BERT(Bidirectional Encoder Representations from Transformers)预训练语言模型获取序列的向量表示,结合双向长短期记忆(BiLSTM)网络进一步提取文本特征;其次,通过滑动动态窗口捕捉不同实体的上下文局部信息,并通过多头注意力机制捕捉实体的全局信息;最后,融合这2种信息以共同捕捉文本实体。在自建的飞行事故调查数据集上的实验结果表明,DWGAM的F1值达到93.39%,验证了DWGAM能够有效识别出飞行事故实体。
