Named Entity Recognition(NER)stands as a fundamental task within the field of biomedical text mining,aiming to extract specific types of entities such as genes,proteins,and diseases from complex biomedical texts and c...Named Entity Recognition(NER)stands as a fundamental task within the field of biomedical text mining,aiming to extract specific types of entities such as genes,proteins,and diseases from complex biomedical texts and categorize them into predefined entity types.This process can provide basic support for the automatic construction of knowledge bases.In contrast to general texts,biomedical texts frequently contain numerous nested entities and local dependencies among these entities,presenting significant challenges to prevailing NER models.To address these issues,we propose a novel Chinese nested biomedical NER model based on RoBERTa and Global Pointer(RoBGP).Our model initially utilizes the RoBERTa-wwm-ext-large pretrained language model to dynamically generate word-level initial vectors.It then incorporates a Bidirectional Long Short-Term Memory network for capturing bidirectional semantic information,effectively addressing the issue of long-distance dependencies.Furthermore,the Global Pointer model is employed to comprehensively recognize all nested entities in the text.We conduct extensive experiments on the Chinese medical dataset CMeEE and the results demonstrate the superior performance of RoBGP over several baseline models.This research confirms the effectiveness of RoBGP in Chinese biomedical NER,providing reliable technical support for biomedical information extraction and knowledge base construction.展开更多
电力变压器缺陷文本蕴含大量与设备可靠性密切相关的信息,可为变压器的智能化运维及寿命周期管理提供重要支撑。依托基于Transformer的双向编码器表示(bidirectional encoder representation from transformers,BERT)模型,文章提出一种...电力变压器缺陷文本蕴含大量与设备可靠性密切相关的信息,可为变压器的智能化运维及寿命周期管理提供重要支撑。依托基于Transformer的双向编码器表示(bidirectional encoder representation from transformers,BERT)模型,文章提出一种融合乱序语言模型预训练BERT(pre-training BERT with permuted language model,PERT)与高效全局指针(efficient global pointer,EGP)网络的电力变压器缺陷文本实体识别方法。首先,在大规模中文语料库上利用乱序语言模型进行预训练以形成PERT模型。其次,PERT作为语义编码层,以深入挖掘实体内部的语义依赖关系,并捕捉复杂文本中的语言特征;EGP作为信息解码层,专注于精确定位关键信息并提取实体在缺陷文本中的分布特征,进而准确识别缺陷实体。最后,运用PERT-EGP模型识别缺陷文本中包含的缺陷设备、缺陷部件、缺陷部位、缺陷现象和缺陷程度5类实体。算例结果表明,相较于现有方法,该方法不仅在成分复杂的复合实体和长文本上效果提升显著,而且大幅缩短模型训练时间,具有更好的文本识别性能。展开更多
基于“预训练+微调”范式的实体关系联合抽取方法依赖大规模标注数据,在数据标注难度大、成本高的中文古籍小样本场景下微调效率低,抽取性能不佳;中文古籍中普遍存在实体嵌套和关系重叠的问题,限制了实体关系联合抽取的效果;管道式抽取...基于“预训练+微调”范式的实体关系联合抽取方法依赖大规模标注数据,在数据标注难度大、成本高的中文古籍小样本场景下微调效率低,抽取性能不佳;中文古籍中普遍存在实体嵌套和关系重叠的问题,限制了实体关系联合抽取的效果;管道式抽取方法存在错误传播问题,影响抽取效果。针对以上问题,提出一种基于提示学习和全局指针网络的中文古籍实体关系联合抽取方法。首先,利用区间抽取式阅读理解的提示学习方法对预训练语言模型(PLM)注入领域知识以统一预训练和微调的优化目标,并对输入句子进行编码表示;其次,使用全局指针网络分别对主、客实体边界和不同关系下的主、客实体边界进行预测和联合解码,对齐成实体关系三元组,并构建了PTBG(Prompt Tuned BERT with Global pointer)模型,解决实体嵌套和关系重叠问题,同时避免了管道式解码的错误传播问题;最后,在上述工作基础上分析了不同提示模板对抽取性能的影响。在《史记》数据集上进行实验的结果表明,相较于注入领域知识前后的OneRel模型,PTBG模型所取得的F1值分别提升了1.64和1.97个百分点。可见,PTBG模型能更好地对中文古籍实体关系进行联合抽取,为低资源的小样本深度学习场景提供了新的研究思路与方法。展开更多
中文医疗文本的实体识别是自然语言处理领域的重点研究方向,文本的内在复杂性,包括术语的歧义性、实体的层级性以及对上下文信息的高度依赖,均有可能对实体识别任务的结果产生显著影响。为此,提出一种基于RBIEGP模型的中文实体识别方法...中文医疗文本的实体识别是自然语言处理领域的重点研究方向,文本的内在复杂性,包括术语的歧义性、实体的层级性以及对上下文信息的高度依赖,均有可能对实体识别任务的结果产生显著影响。为此,提出一种基于RBIEGP模型的中文实体识别方法。该方法首先利用RoBERTa-wwm-ext预训练模型对输入的中文医疗文本进行编码处理,以生成包含丰富语义信息的词向量序列;然后,将这些词向量序列送入BiGRU网络和集成了注意力机制的迭代扩张卷积神经网络,以捕获输入文本的上下文信息以及扩展感受野;最后,将这些融合了语法语义特征、上下文信息以及扩展感受野的特征一起输入到全局指针网络(Efficient Global Pointer,EGP),以进行实体类别的判定,并输出具有高准确度的实体类别序列。实验结果表明,RBIEGP模型在CMeEE/Yidu-S4k数据集上的F 1分数分别达到了70.47%和83.02%,相较于一些现有的主流模型,分别提升了2.72百分点和1.99百分点。展开更多
基金supported by the Outstanding Youth Team Project of Central Universities(QNTD202308)the Ant Group through CCF-Ant Research Fund(CCF-AFSG 769498 RF20220214).
文摘Named Entity Recognition(NER)stands as a fundamental task within the field of biomedical text mining,aiming to extract specific types of entities such as genes,proteins,and diseases from complex biomedical texts and categorize them into predefined entity types.This process can provide basic support for the automatic construction of knowledge bases.In contrast to general texts,biomedical texts frequently contain numerous nested entities and local dependencies among these entities,presenting significant challenges to prevailing NER models.To address these issues,we propose a novel Chinese nested biomedical NER model based on RoBERTa and Global Pointer(RoBGP).Our model initially utilizes the RoBERTa-wwm-ext-large pretrained language model to dynamically generate word-level initial vectors.It then incorporates a Bidirectional Long Short-Term Memory network for capturing bidirectional semantic information,effectively addressing the issue of long-distance dependencies.Furthermore,the Global Pointer model is employed to comprehensively recognize all nested entities in the text.We conduct extensive experiments on the Chinese medical dataset CMeEE and the results demonstrate the superior performance of RoBGP over several baseline models.This research confirms the effectiveness of RoBGP in Chinese biomedical NER,providing reliable technical support for biomedical information extraction and knowledge base construction.
文摘电力变压器缺陷文本蕴含大量与设备可靠性密切相关的信息,可为变压器的智能化运维及寿命周期管理提供重要支撑。依托基于Transformer的双向编码器表示(bidirectional encoder representation from transformers,BERT)模型,文章提出一种融合乱序语言模型预训练BERT(pre-training BERT with permuted language model,PERT)与高效全局指针(efficient global pointer,EGP)网络的电力变压器缺陷文本实体识别方法。首先,在大规模中文语料库上利用乱序语言模型进行预训练以形成PERT模型。其次,PERT作为语义编码层,以深入挖掘实体内部的语义依赖关系,并捕捉复杂文本中的语言特征;EGP作为信息解码层,专注于精确定位关键信息并提取实体在缺陷文本中的分布特征,进而准确识别缺陷实体。最后,运用PERT-EGP模型识别缺陷文本中包含的缺陷设备、缺陷部件、缺陷部位、缺陷现象和缺陷程度5类实体。算例结果表明,相较于现有方法,该方法不仅在成分复杂的复合实体和长文本上效果提升显著,而且大幅缩短模型训练时间,具有更好的文本识别性能。
文摘基于“预训练+微调”范式的实体关系联合抽取方法依赖大规模标注数据,在数据标注难度大、成本高的中文古籍小样本场景下微调效率低,抽取性能不佳;中文古籍中普遍存在实体嵌套和关系重叠的问题,限制了实体关系联合抽取的效果;管道式抽取方法存在错误传播问题,影响抽取效果。针对以上问题,提出一种基于提示学习和全局指针网络的中文古籍实体关系联合抽取方法。首先,利用区间抽取式阅读理解的提示学习方法对预训练语言模型(PLM)注入领域知识以统一预训练和微调的优化目标,并对输入句子进行编码表示;其次,使用全局指针网络分别对主、客实体边界和不同关系下的主、客实体边界进行预测和联合解码,对齐成实体关系三元组,并构建了PTBG(Prompt Tuned BERT with Global pointer)模型,解决实体嵌套和关系重叠问题,同时避免了管道式解码的错误传播问题;最后,在上述工作基础上分析了不同提示模板对抽取性能的影响。在《史记》数据集上进行实验的结果表明,相较于注入领域知识前后的OneRel模型,PTBG模型所取得的F1值分别提升了1.64和1.97个百分点。可见,PTBG模型能更好地对中文古籍实体关系进行联合抽取,为低资源的小样本深度学习场景提供了新的研究思路与方法。
文摘中文医疗文本的实体识别是自然语言处理领域的重点研究方向,文本的内在复杂性,包括术语的歧义性、实体的层级性以及对上下文信息的高度依赖,均有可能对实体识别任务的结果产生显著影响。为此,提出一种基于RBIEGP模型的中文实体识别方法。该方法首先利用RoBERTa-wwm-ext预训练模型对输入的中文医疗文本进行编码处理,以生成包含丰富语义信息的词向量序列;然后,将这些词向量序列送入BiGRU网络和集成了注意力机制的迭代扩张卷积神经网络,以捕获输入文本的上下文信息以及扩展感受野;最后,将这些融合了语法语义特征、上下文信息以及扩展感受野的特征一起输入到全局指针网络(Efficient Global Pointer,EGP),以进行实体类别的判定,并输出具有高准确度的实体类别序列。实验结果表明,RBIEGP模型在CMeEE/Yidu-S4k数据集上的F 1分数分别达到了70.47%和83.02%,相较于一些现有的主流模型,分别提升了2.72百分点和1.99百分点。
