网络欺凌检测是网络空间信息内容安全的重要研究内容,也关乎青少年在线安全.针对目前网络欺凌检测方案存在的训练样本少、难以处理多义词、分类性能不太理想等问题,提出一种ELMo-TextCNN检测模型.该模型首先采用迁移学习思想,利用预训练...网络欺凌检测是网络空间信息内容安全的重要研究内容,也关乎青少年在线安全.针对目前网络欺凌检测方案存在的训练样本少、难以处理多义词、分类性能不太理想等问题,提出一种ELMo-TextCNN检测模型.该模型首先采用迁移学习思想,利用预训练的ELMo(embeddings from language models)生成动态词向量,不仅解决了网络欺凌样本规模小的问题,而且由于ELMo采用了双向长短期记忆(bi-directional long short-term memory,BiLSTM)网络结构,会根据上下文推断每个词对应的词向量,能够根据语境理解多义词.该模型再通过擅长处理短文本数据的TextCNN(text convolutional neural network)提取文本特征,最后经过全连接层输出分类结果.实验结果证明,提出的ELMo-TextCNN检测方法能够处理一词多义,并获得更好的分类检测效果.展开更多
组织机构名识别是命名实体识别的核心任务之一,也是最困难的任务。近年来,预训练模型在中文自然语言处理领域得到广泛应用,预训练的词嵌入模型在中文命名实体识别上取得了非常好的效果,但是在组织机构名识别上还有很大的提升空间。针对...组织机构名识别是命名实体识别的核心任务之一,也是最困难的任务。近年来,预训练模型在中文自然语言处理领域得到广泛应用,预训练的词嵌入模型在中文命名实体识别上取得了非常好的效果,但是在组织机构名识别上还有很大的提升空间。针对这一问题,改进ELMO(embedding from language models)预训练模型,结合双向LSTM神经网络模型和条件随机场模型,去识别组织机构名。对于ELMO的改进,主要通过筛选高频机构词,然后将高频机构词加入中文字典,通过ELMO模型训练生成机构词向量和普通字向量。字向量不用考虑未登录词的问题,机构词向量引入了先验知识,结合起来可以使得生成的字词向量能够更好地表征组织机构名。实验结果表明,预训练模型的数据集相对较小时,该方法比字向量嵌入的方法有更好的效果,F1值提高了1.3%。展开更多
目前,事件检测的难点在于一词多义和多事件句的检测.为了解决这些问题,提出了一个新的基于语言模型的带注意力机制的循环卷积神经网络模型(recurrent and convolutional neural network with attention based on language models,LM-ARC...目前,事件检测的难点在于一词多义和多事件句的检测.为了解决这些问题,提出了一个新的基于语言模型的带注意力机制的循环卷积神经网络模型(recurrent and convolutional neural network with attention based on language models,LM-ARCNN).该模型利用语言模型计算输入句子的词向量,将句子的词向量输入长短期记忆网络获取句子级别的特征,并使用注意力机制捕获句子级别特征中与触发词相关性高的特征,最后将这两部分的特征输入到包含多个最大值池化层的卷积神经网络,提取更多上下文有效组块.在ACE2005英文语料库上进行实验,结果表明,该模型的 F 1 值为74.4%,比现有最优的文本嵌入增强模型(DEEB)高0.4%.展开更多
文摘网络欺凌检测是网络空间信息内容安全的重要研究内容,也关乎青少年在线安全.针对目前网络欺凌检测方案存在的训练样本少、难以处理多义词、分类性能不太理想等问题,提出一种ELMo-TextCNN检测模型.该模型首先采用迁移学习思想,利用预训练的ELMo(embeddings from language models)生成动态词向量,不仅解决了网络欺凌样本规模小的问题,而且由于ELMo采用了双向长短期记忆(bi-directional long short-term memory,BiLSTM)网络结构,会根据上下文推断每个词对应的词向量,能够根据语境理解多义词.该模型再通过擅长处理短文本数据的TextCNN(text convolutional neural network)提取文本特征,最后经过全连接层输出分类结果.实验结果证明,提出的ELMo-TextCNN检测方法能够处理一词多义,并获得更好的分类检测效果.
文摘组织机构名识别是命名实体识别的核心任务之一,也是最困难的任务。近年来,预训练模型在中文自然语言处理领域得到广泛应用,预训练的词嵌入模型在中文命名实体识别上取得了非常好的效果,但是在组织机构名识别上还有很大的提升空间。针对这一问题,改进ELMO(embedding from language models)预训练模型,结合双向LSTM神经网络模型和条件随机场模型,去识别组织机构名。对于ELMO的改进,主要通过筛选高频机构词,然后将高频机构词加入中文字典,通过ELMO模型训练生成机构词向量和普通字向量。字向量不用考虑未登录词的问题,机构词向量引入了先验知识,结合起来可以使得生成的字词向量能够更好地表征组织机构名。实验结果表明,预训练模型的数据集相对较小时,该方法比字向量嵌入的方法有更好的效果,F1值提高了1.3%。
文摘目前,事件检测的难点在于一词多义和多事件句的检测.为了解决这些问题,提出了一个新的基于语言模型的带注意力机制的循环卷积神经网络模型(recurrent and convolutional neural network with attention based on language models,LM-ARCNN).该模型利用语言模型计算输入句子的词向量,将句子的词向量输入长短期记忆网络获取句子级别的特征,并使用注意力机制捕获句子级别特征中与触发词相关性高的特征,最后将这两部分的特征输入到包含多个最大值池化层的卷积神经网络,提取更多上下文有效组块.在ACE2005英文语料库上进行实验,结果表明,该模型的 F 1 值为74.4%,比现有最优的文本嵌入增强模型(DEEB)高0.4%.
