针对短文本自动评分中存在的特征稀疏、一词多义及上下文关联信息少等问题,提出一种基于BERT-BiLSTM(bidirectional encoder representations from transformers-bidirectional long short-term memory)的短文本自动评分模型.使用BERT(b...针对短文本自动评分中存在的特征稀疏、一词多义及上下文关联信息少等问题,提出一种基于BERT-BiLSTM(bidirectional encoder representations from transformers-bidirectional long short-term memory)的短文本自动评分模型.使用BERT(bidirectional encoder representations from transformers)语言模型预训练大规模语料库习得通用语言的语义特征,通过预训练好的BERT语言模型预微调下游具体任务的短文本数据集习得短文本的语义特征和关键词特定含义,再通过BiLSTM(bidirectional long short-term memory)捕获深层次上下文关联信息,最后将获得的特征向量输入Softmax回归模型进行自动评分.实验结果表明,对比CNN(convolutional neural networks)、CharCNN(character-level CNN)、LSTM(long short-term memory)和BERT等基准模型,基于BERT-BiLSTM的短文本自动评分模型所获的二次加权kappa系数平均值最优.展开更多
针对传统基于规则的简历实体提取方法效率低、迁移能力差的问题,提出了一种基于Transformer双向编码器表示(bidirectional encoder representations from Transformers,BERT)的深度学习模型,用于识别相关命名实体。模型通过BERT对简历...针对传统基于规则的简历实体提取方法效率低、迁移能力差的问题,提出了一种基于Transformer双向编码器表示(bidirectional encoder representations from Transformers,BERT)的深度学习模型,用于识别相关命名实体。模型通过BERT对简历信息进行字符级别编码,得到基于上下文信息的字向量,通过双向长短时记忆(bidirectional long short term memory,BiLSTM)网络对生成的字向量进行特征提取,将所有可能的标签序列打分输出给条件随机场(condition random field,CRF),最终通过CRF进行解码生成实体标签序列。实验结果表明,BERT-BiLSTM-CRF模型对简历实体识别的效果优于其他传统模型,取得了最高的F1值为94.82%。展开更多
为保证生产过程的安全稳定运行,避免因故障导致损失,及时检测出异常工况并对异常工况进行准确诊断十分重要。针对化工过程的复杂性,提出一种并行长短时记忆网络和卷积神经网络(Parallel Long and Short-Term Memory Network and Convolu...为保证生产过程的安全稳定运行,避免因故障导致损失,及时检测出异常工况并对异常工况进行准确诊断十分重要。针对化工过程的复杂性,提出一种并行长短时记忆网络和卷积神经网络(Parallel Long and Short-Term Memory Network and Convolutional Neural Network,PLSTM-CNN)模型进行化工生产过程故障检测。该模型有效结合LSTM对时间序列数据全局特征提取能力和CNN模型善于提取局部特征的能力,减少了特征信息的丢失,实现了较高的故障检测率。采用一维稠密卷积神经网络作为CNN的主体,结合LSTM网络对序列信息变化敏感的特点,在构建更深层网络的同时避免模型过拟合。采用最大互信息(Maximum Mutual Information Coefficient,MMIC)数据预处理方法,提高了数据的局部相关性以及从不同初始条件下PLSTM-CNN模型检测故障的效率。以TE(Tennessee Eastman)过程为研究对象,PLSTM-CNN模型在故障平均检测率和漏报率等指标上明显优于传统循环神经网络。展开更多
文摘针对短文本自动评分中存在的特征稀疏、一词多义及上下文关联信息少等问题,提出一种基于BERT-BiLSTM(bidirectional encoder representations from transformers-bidirectional long short-term memory)的短文本自动评分模型.使用BERT(bidirectional encoder representations from transformers)语言模型预训练大规模语料库习得通用语言的语义特征,通过预训练好的BERT语言模型预微调下游具体任务的短文本数据集习得短文本的语义特征和关键词特定含义,再通过BiLSTM(bidirectional long short-term memory)捕获深层次上下文关联信息,最后将获得的特征向量输入Softmax回归模型进行自动评分.实验结果表明,对比CNN(convolutional neural networks)、CharCNN(character-level CNN)、LSTM(long short-term memory)和BERT等基准模型,基于BERT-BiLSTM的短文本自动评分模型所获的二次加权kappa系数平均值最优.
文摘针对传统基于规则的简历实体提取方法效率低、迁移能力差的问题,提出了一种基于Transformer双向编码器表示(bidirectional encoder representations from Transformers,BERT)的深度学习模型,用于识别相关命名实体。模型通过BERT对简历信息进行字符级别编码,得到基于上下文信息的字向量,通过双向长短时记忆(bidirectional long short term memory,BiLSTM)网络对生成的字向量进行特征提取,将所有可能的标签序列打分输出给条件随机场(condition random field,CRF),最终通过CRF进行解码生成实体标签序列。实验结果表明,BERT-BiLSTM-CRF模型对简历实体识别的效果优于其他传统模型,取得了最高的F1值为94.82%。
文摘为保证生产过程的安全稳定运行,避免因故障导致损失,及时检测出异常工况并对异常工况进行准确诊断十分重要。针对化工过程的复杂性,提出一种并行长短时记忆网络和卷积神经网络(Parallel Long and Short-Term Memory Network and Convolutional Neural Network,PLSTM-CNN)模型进行化工生产过程故障检测。该模型有效结合LSTM对时间序列数据全局特征提取能力和CNN模型善于提取局部特征的能力,减少了特征信息的丢失,实现了较高的故障检测率。采用一维稠密卷积神经网络作为CNN的主体,结合LSTM网络对序列信息变化敏感的特点,在构建更深层网络的同时避免模型过拟合。采用最大互信息(Maximum Mutual Information Coefficient,MMIC)数据预处理方法,提高了数据的局部相关性以及从不同初始条件下PLSTM-CNN模型检测故障的效率。以TE(Tennessee Eastman)过程为研究对象,PLSTM-CNN模型在故障平均检测率和漏报率等指标上明显优于传统循环神经网络。
