在当前的互联网营销环境中,多数模型尚未深入分析用户特征及用户行为的复杂性。对此,文章提出一种基于文本卷积神经网络(TextCNN)与多头注意力机制增强的xDeepFM(eXtreme Deep Factorization Machine)模型,即xDTCMAFM。首先,利用TextCN...在当前的互联网营销环境中,多数模型尚未深入分析用户特征及用户行为的复杂性。对此,文章提出一种基于文本卷积神经网络(TextCNN)与多头注意力机制增强的xDeepFM(eXtreme Deep Factorization Machine)模型,即xDTCMAFM。首先,利用TextCNN高效地从文本数据中提取关键特征;其次,通过多头注意力机制进行不同子空间的特征提取;最后,使用xDeepFM模型实现深度显隐特征的交叉融合。实验表明,在两个互联网营销活动数据集上,该模型的AUC值分别达到了69.09%和72.98%,表现出了较好的性能,与xDeepFM等流行模型及融合注意力机制的改进模型相比均有一定提升。展开更多
网络欺凌检测是网络空间信息内容安全的重要研究内容,也关乎青少年在线安全.针对目前网络欺凌检测方案存在的训练样本少、难以处理多义词、分类性能不太理想等问题,提出一种ELMo-TextCNN检测模型.该模型首先采用迁移学习思想,利用预训练...网络欺凌检测是网络空间信息内容安全的重要研究内容,也关乎青少年在线安全.针对目前网络欺凌检测方案存在的训练样本少、难以处理多义词、分类性能不太理想等问题,提出一种ELMo-TextCNN检测模型.该模型首先采用迁移学习思想,利用预训练的ELMo(embeddings from language models)生成动态词向量,不仅解决了网络欺凌样本规模小的问题,而且由于ELMo采用了双向长短期记忆(bi-directional long short-term memory,BiLSTM)网络结构,会根据上下文推断每个词对应的词向量,能够根据语境理解多义词.该模型再通过擅长处理短文本数据的TextCNN(text convolutional neural network)提取文本特征,最后经过全连接层输出分类结果.实验结果证明,提出的ELMo-TextCNN检测方法能够处理一词多义,并获得更好的分类检测效果.展开更多
文摘在当前的互联网营销环境中,多数模型尚未深入分析用户特征及用户行为的复杂性。对此,文章提出一种基于文本卷积神经网络(TextCNN)与多头注意力机制增强的xDeepFM(eXtreme Deep Factorization Machine)模型,即xDTCMAFM。首先,利用TextCNN高效地从文本数据中提取关键特征;其次,通过多头注意力机制进行不同子空间的特征提取;最后,使用xDeepFM模型实现深度显隐特征的交叉融合。实验表明,在两个互联网营销活动数据集上,该模型的AUC值分别达到了69.09%和72.98%,表现出了较好的性能,与xDeepFM等流行模型及融合注意力机制的改进模型相比均有一定提升。
文摘网络欺凌检测是网络空间信息内容安全的重要研究内容,也关乎青少年在线安全.针对目前网络欺凌检测方案存在的训练样本少、难以处理多义词、分类性能不太理想等问题,提出一种ELMo-TextCNN检测模型.该模型首先采用迁移学习思想,利用预训练的ELMo(embeddings from language models)生成动态词向量,不仅解决了网络欺凌样本规模小的问题,而且由于ELMo采用了双向长短期记忆(bi-directional long short-term memory,BiLSTM)网络结构,会根据上下文推断每个词对应的词向量,能够根据语境理解多义词.该模型再通过擅长处理短文本数据的TextCNN(text convolutional neural network)提取文本特征,最后经过全连接层输出分类结果.实验结果证明,提出的ELMo-TextCNN检测方法能够处理一词多义,并获得更好的分类检测效果.
