随着农业领域人工智能的研究不断深入,农业文本中命名实体识别是其他任务开展的基础之一。鉴于农业领域缺乏公开语料库,本文构建了自己的农业文本的注释语料库。针对目前存在的文本语义表达不足、缺乏语境特征、词向量多样性表达困难等...随着农业领域人工智能的研究不断深入,农业文本中命名实体识别是其他任务开展的基础之一。鉴于农业领域缺乏公开语料库,本文构建了自己的农业文本的注释语料库。针对目前存在的文本语义表达不足、缺乏语境特征、词向量多样性表达困难等问题,本文提出了基于XLNet(Generalized Autoregressive Pretraining for Language Understanding,XLNet)的农业命名实体识别模型XLNet-IDCNN-CRF。嵌入层XLNet对于输入文本进行向量化表示,丰富文本的语义信息,缓解一词多义问题,通过编码层迭代膨胀卷积神经网络(Iterated Dilated Convolutional Neural Network,IDCNN)并行计算减少训练时间,获取文本特征信息,结合起来输入到输出层条件随机场模型(Conditional Random Field,CRF)识别标签信息,输出最优序列。本文在自建语料库上准确率达到95.58%,召回率92.36%,F1值93.91%,对比优于其他模型。实验结果表明,XLNet-IDCNNCRF模型能够较好地完成农业命名实体识别任务。展开更多
语言模型的建立对挖掘句子内部语义信息有着直接的影响,为了提高中文命名实体识别率,字的语义表示是关键所在。针对传统的中文命名实体识别算法没有充分挖掘到句子内部的隐藏信息问题,该文利用LSTM提取经过大规模语料预训练生成的字向...语言模型的建立对挖掘句子内部语义信息有着直接的影响,为了提高中文命名实体识别率,字的语义表示是关键所在。针对传统的中文命名实体识别算法没有充分挖掘到句子内部的隐藏信息问题,该文利用LSTM提取经过大规模语料预训练生成的字向量特征,同时将词向量预测矩阵传入到字向量特征提取阶段,通过矩阵运算融合为词向量特征,并进一步利用CNN提取词语之间的空间信息,将其与得到的词向量特征整合到一起输入语言模型XLnet(Generalized autoregressive pretraining for language understanding)中,然后经过BiGRU-CRF输出最优标签序列,提出了CAW-XLnet-BiGRU-CRF网络框架。并与其他的语言模型作了对比分析,实验结果表明,该框架解决了挖掘内部隐藏信息不充分问题,在《人民日报》1998年1月份数据集上的F1值达到了95.73%,能够较好地应用于中文命名实体识别任务。展开更多
命名实体识别是自然语言处理的核心任务。在基于深度学习的中文命名实体识别方法中,静态字向量无法表征字的多义性。针对该问题,提出了基于XLnet嵌入的中文命名实体识别方法。该方法首先通过XLnet(Generalized Autoregressive Pretraini...命名实体识别是自然语言处理的核心任务。在基于深度学习的中文命名实体识别方法中,静态字向量无法表征字的多义性。针对该问题,提出了基于XLnet嵌入的中文命名实体识别方法。该方法首先通过XLnet(Generalized Autoregressive Pretraining for Language Understanding,XLnet)模型获取字级别的上下文表示。其次,利用BiLSTM-CRF模型获取文本依赖信息和标签信息。实验结果表明,该方法在人民日报、MSRA、Boson等3种数据集上分别达到91.9%、89.8%、74%的F1值,均高于其他主流的中文命名实体识别方法。展开更多
[目的/意义]基于深度学习的中共党史文献命名实体识别,有助于探索与挖掘党史资源的价值,对于构建中共党史领域专业术语库、知识图谱、知识问答系统等应用发挥着基础性作用,为进一步的智慧化的中共党史数字人文研究提供基础支撑。[方法/...[目的/意义]基于深度学习的中共党史文献命名实体识别,有助于探索与挖掘党史资源的价值,对于构建中共党史领域专业术语库、知识图谱、知识问答系统等应用发挥着基础性作用,为进一步的智慧化的中共党史数字人文研究提供基础支撑。[方法/过程]本研究采用基于Trie树的字符串匹配算法完成实验语料的批量标注任务,利用中文XLNet(Generalized Autoregressive Pretraining for Language Understanding,XLNet)预训练模型嵌入主流BiLSTM-CRF模型中,构建基于XLNet-BiLSTM-CRF的中共党史文献命名实体识别模型。[结果/结论]该模型在命名实体识别中表现优异,其调和平均数F值为0.9535,高于BiLSTM-CRF、BERT-BiLSTM-CRF、BERT-wwmext-BiLSTM-CRF、XLNet-CRF等深度学习模型。研究表明本文提出的方法对于中共党史非结构化文本挖掘工作具有可行性和有效性。展开更多
文摘随着农业领域人工智能的研究不断深入,农业文本中命名实体识别是其他任务开展的基础之一。鉴于农业领域缺乏公开语料库,本文构建了自己的农业文本的注释语料库。针对目前存在的文本语义表达不足、缺乏语境特征、词向量多样性表达困难等问题,本文提出了基于XLNet(Generalized Autoregressive Pretraining for Language Understanding,XLNet)的农业命名实体识别模型XLNet-IDCNN-CRF。嵌入层XLNet对于输入文本进行向量化表示,丰富文本的语义信息,缓解一词多义问题,通过编码层迭代膨胀卷积神经网络(Iterated Dilated Convolutional Neural Network,IDCNN)并行计算减少训练时间,获取文本特征信息,结合起来输入到输出层条件随机场模型(Conditional Random Field,CRF)识别标签信息,输出最优序列。本文在自建语料库上准确率达到95.58%,召回率92.36%,F1值93.91%,对比优于其他模型。实验结果表明,XLNet-IDCNNCRF模型能够较好地完成农业命名实体识别任务。
文摘语言模型的建立对挖掘句子内部语义信息有着直接的影响,为了提高中文命名实体识别率,字的语义表示是关键所在。针对传统的中文命名实体识别算法没有充分挖掘到句子内部的隐藏信息问题,该文利用LSTM提取经过大规模语料预训练生成的字向量特征,同时将词向量预测矩阵传入到字向量特征提取阶段,通过矩阵运算融合为词向量特征,并进一步利用CNN提取词语之间的空间信息,将其与得到的词向量特征整合到一起输入语言模型XLnet(Generalized autoregressive pretraining for language understanding)中,然后经过BiGRU-CRF输出最优标签序列,提出了CAW-XLnet-BiGRU-CRF网络框架。并与其他的语言模型作了对比分析,实验结果表明,该框架解决了挖掘内部隐藏信息不充分问题,在《人民日报》1998年1月份数据集上的F1值达到了95.73%,能够较好地应用于中文命名实体识别任务。
文摘命名实体识别是自然语言处理的核心任务。在基于深度学习的中文命名实体识别方法中,静态字向量无法表征字的多义性。针对该问题,提出了基于XLnet嵌入的中文命名实体识别方法。该方法首先通过XLnet(Generalized Autoregressive Pretraining for Language Understanding,XLnet)模型获取字级别的上下文表示。其次,利用BiLSTM-CRF模型获取文本依赖信息和标签信息。实验结果表明,该方法在人民日报、MSRA、Boson等3种数据集上分别达到91.9%、89.8%、74%的F1值,均高于其他主流的中文命名实体识别方法。
文摘[目的/意义]基于深度学习的中共党史文献命名实体识别,有助于探索与挖掘党史资源的价值,对于构建中共党史领域专业术语库、知识图谱、知识问答系统等应用发挥着基础性作用,为进一步的智慧化的中共党史数字人文研究提供基础支撑。[方法/过程]本研究采用基于Trie树的字符串匹配算法完成实验语料的批量标注任务,利用中文XLNet(Generalized Autoregressive Pretraining for Language Understanding,XLNet)预训练模型嵌入主流BiLSTM-CRF模型中,构建基于XLNet-BiLSTM-CRF的中共党史文献命名实体识别模型。[结果/结论]该模型在命名实体识别中表现优异,其调和平均数F值为0.9535,高于BiLSTM-CRF、BERT-BiLSTM-CRF、BERT-wwmext-BiLSTM-CRF、XLNet-CRF等深度学习模型。研究表明本文提出的方法对于中共党史非结构化文本挖掘工作具有可行性和有效性。
