期刊文献+
共找到14篇文章
< 1 >
每页显示 20 50 100
基于注意力机制的ALBERT-BiLSTM-CNN评论情感分类 被引量:1
1
作者 陶贻勇 别春洋 《现代计算机》 2024年第5期44-49,共6页
在自然语言处理领域中,针对静态词向量Word2Vec表示方法无法精准捕捉句子和文本结构的语义信息的问题,提出了一种基于ALBERT-CNN-BiLSTM-Attention的评论情感分析模型,该模型不仅有效解决了传统模型参数量多,计算和存储效率较低的问题,... 在自然语言处理领域中,针对静态词向量Word2Vec表示方法无法精准捕捉句子和文本结构的语义信息的问题,提出了一种基于ALBERT-CNN-BiLSTM-Attention的评论情感分析模型,该模型不仅有效解决了传统模型参数量多,计算和存储效率较低的问题,还显著提升了情感分类的准确率。该方法首先利用ALBERT模型获取评论文本动态特征,并引入注意机制模块对BiLSTM的输出结果进行文本关键词权重获取,然后利用CNN获取文本局部特征,最后通过softmax层对评论内容进行情感分类。实验结果表明,该研究提出的模型相较于传统方法和其他ALBERT的模型在准确率和召回率上都有显著的提升,准确率达到88.43%,召回率达到88.17%,F1值达到88.30%。 展开更多
关键词 情感分类 ALBERT BiLSTM 注意力机制
在线阅读 下载PDF
基于ALBERT-BiLSTM模型的微博谣言识别方法研究 被引量:3
2
作者 孙尉超 陈涛 《计算机时代》 2020年第8期21-26,共6页
随着互联网的高速发展,网络上的信息剧增,如何识别网络谣言也成为当下研究热点之一。针对谣言初期的传播具有一定隐蔽性的特征,结合预训练语言模型ALBERT和双向长短期记忆网络设计了ALBERT-BiLSTM谣言识别模型,通过挖掘谣言内容的深层... 随着互联网的高速发展,网络上的信息剧增,如何识别网络谣言也成为当下研究热点之一。针对谣言初期的传播具有一定隐蔽性的特征,结合预训练语言模型ALBERT和双向长短期记忆网络设计了ALBERT-BiLSTM谣言识别模型,通过挖掘谣言内容的深层文本特征进行识别,使之在谣言初期也能应用。五折交叉验证实验结果表明,ALBERTBiLSTM模型在实验组中达到了最高的准确率98.095%、召回率98.014%和F1值98.098%,能够较好地识别微博谣言,对维护网络信息安全具有重要意义。 展开更多
关键词 谣言识别 预训练语言模型 ALBERT 双向长短期记忆网络 albert-bilstm
在线阅读 下载PDF
基于ALBERT-BiLSTM-CRF的煤矿事故案例文本命名实体识别方法 被引量:5
3
作者 王向前 李敏敏 孟祥瑞 《阜阳师范大学学报(自然科学版)》 2022年第3期56-64,共9页
为了实现对煤矿事故案例文本中实体的识别,利用ALBERT模型与语言模型条件随机场算法(CRF)和双向长短时记忆网(BiLSTM)相结合。以煤矿安全网获取的239份煤矿事故案例文本作为实验数据,自构建246个煤矿领域词典,对文本数据进行预处理。利... 为了实现对煤矿事故案例文本中实体的识别,利用ALBERT模型与语言模型条件随机场算法(CRF)和双向长短时记忆网(BiLSTM)相结合。以煤矿安全网获取的239份煤矿事故案例文本作为实验数据,自构建246个煤矿领域词典,对文本数据进行预处理。利用ALBERT模型获取动态词向量,后接BiLSTM网络层对其进行深层次的特征训练,CRF层则考虑了输出标签之间的关联关系,提高命名实体的准确性,完成文本信息的实体识别。在模型进行15次迭代训练以后,得到精准率94.57%,召回率91.48%,二者的调和平均值f1值91.02%,通过BiLSTM-CRF、BERT-BiLSTM-CRF、BiLSTM-CNN-CRF三组模型进行实验对比,ALBERT-BiLSTM-CRF模型的精准率、召回率以及f1值均有提高。 展开更多
关键词 ALBERT BiLSTM CRF 命名实体识别 煤矿事故
在线阅读 下载PDF
基于ALBERT-BiLSTM-Att的微博评论情感分析研究 被引量:5
4
作者 支世尧 吴贞如 +2 位作者 陈涛 李盛达 彭栋 《计算机时代》 2022年第2期19-22,共4页
针对传统语言模型无法直接提取句子的双向语义特征,导致情感分类准确率较低的情况,提出一种结合预训练语言模型ALBERT、BiLSTM以及Attention机制的微博评论情感分析模型ALBERT-BiLSTM-Att。在公开数据集weibo_senti_100k上,经过五折交... 针对传统语言模型无法直接提取句子的双向语义特征,导致情感分类准确率较低的情况,提出一种结合预训练语言模型ALBERT、BiLSTM以及Attention机制的微博评论情感分析模型ALBERT-BiLSTM-Att。在公开数据集weibo_senti_100k上,经过五折交叉验证实验,ALBERT-BiLSTM-Att模型的准确率达到93.30%。 展开更多
关键词 情感分析 微博评论 ALBERT BiLSTM ATTENTION
在线阅读 下载PDF
基于混合深度学习算法的工程规范知识抽取
5
作者 邓旭方 成飞 +3 位作者 吕沅庚 邓伦 刘乐平 封婧仪 《水利水电技术(中英文)》 北大核心 2025年第S1期76-84,共9页
工程规范是工程建设过程中常用的重要标准文件之一。面对这些非结构化工程规范文本,高效、准确地从中抽取相关知识,并将这些知识以可视化形式呈现,对于提高知识的利用效率、提升管理人员对工程规范文本的理解效率有着重要的作用。针对... 工程规范是工程建设过程中常用的重要标准文件之一。面对这些非结构化工程规范文本,高效、准确地从中抽取相关知识,并将这些知识以可视化形式呈现,对于提高知识的利用效率、提升管理人员对工程规范文本的理解效率有着重要的作用。针对典型的工程规范文本,提出一种基于深度学习的工程规范知识抽取方法,融合ALBERT(A Lite Bidirectional Encoder Representation from Transformers)、BiLSTM(Bi-directional Long Shot-Term Memory)和CRF(Conditional Random Fields),建立工程规范实体识别模型,增强文本语义特征,获得工程规范中的实体;融合Attention机制和BiLSTM提取工程规范中的关系,根据所提取出的知识构建工程规范知识图谱。以《给水排水管道工程施工及验收规范》为典型实例对该方法进行了验证,结果表明,工程规范实体识别的F1值为78.18%,优于传统模型;关系抽取的F1值为98.35%。利用所抽取知识建立了工程规范知识图谱,通过基于知识图谱的全局信息展示、特定信息检索,提升工程规范的利用效率,辅助工程现场施工。 展开更多
关键词 工程规范 知识抽取 ALBERT预训练模型 BiLSTM CRF 注意力机制
在线阅读 下载PDF
矿山知识图谱构建的实体关系抽取方法研究
6
作者 杨森森 李海涛 +1 位作者 杜伟升 薛珊珊 《煤炭技术》 CAS 2024年第11期259-263,共5页
知识图谱描述实体及其关系,对煤矿管理、安全监控等提供支撑。构建煤矿知识图谱面临数据多样性和语义关系挑战。提出一种基于ALBERT-BiLSTM-Att-CRF的方法,通过特征提取、上下文捕捉、注意力机制和CRF层优化实体关系抽取,展示较高的准... 知识图谱描述实体及其关系,对煤矿管理、安全监控等提供支撑。构建煤矿知识图谱面临数据多样性和语义关系挑战。提出一种基于ALBERT-BiLSTM-Att-CRF的方法,通过特征提取、上下文捕捉、注意力机制和CRF层优化实体关系抽取,展示较高的准确率和F1值,为煤矿智能化提供技术支撑。 展开更多
关键词 矿山 知识图谱 实体关系抽取 albert-bilstm-Att-CRF模型
原文传递
基于混合深度学习的藏医古籍命名实体识别研究 被引量:11
7
作者 刘佳 边俊伊 《现代情报》 CSSCI 2023年第11期37-46,共10页
[目的/意义]针对藏医古籍知识组织与开发不足的问题,利用混合深度学习方法构建面向藏医古籍的命名实体识别模型,为藏医古籍知识的深度开发与利用提供方法支持。[方法/过程]根据藏医古籍知识特点,构建ALBERT-BiLSTM-CRF模型。以《四部医... [目的/意义]针对藏医古籍知识组织与开发不足的问题,利用混合深度学习方法构建面向藏医古籍的命名实体识别模型,为藏医古籍知识的深度开发与利用提供方法支持。[方法/过程]根据藏医古籍知识特点,构建ALBERT-BiLSTM-CRF模型。以《四部医典》为数据集,在人工标注与文本预处理的基础上,进行命名实体识别实验,并将实验结果与其他3种常见模型进行对比分析。[结果/结论]ALBERT-BiLSTM-CRF模型对藏医古籍实体识别效果最好,F1-score达到96.28%,与其他方法相比提升约7个百分点。 展开更多
关键词 混合深度学习 命名实体识别 ALBERT 双向长短期记忆网络 条件随机场 藏医古籍 知识组织 《四部医典》
在线阅读 下载PDF
基于多模型融合的微博文本情感分析模型 被引量:3
8
作者 徐洪学 汪安祺 +3 位作者 车伟伟 杜英魁 孙万有 王阳阳 《沈阳大学学报(自然科学版)》 CAS 2022年第2期112-118,133,共8页
针对传统微博文本情感分析方法不能充分提取文本特征的缺陷,提出一种将ALBERT与基于注意力机制的双向长短时记忆网络相融合的ALBERT-BiLSTM-ATT微博文本情感分析模型。模型首先使用ALBERT预训练生成文本特征表示,然后将其输入基于注意... 针对传统微博文本情感分析方法不能充分提取文本特征的缺陷,提出一种将ALBERT与基于注意力机制的双向长短时记忆网络相融合的ALBERT-BiLSTM-ATT微博文本情感分析模型。模型首先使用ALBERT预训练生成文本特征表示,然后将其输入基于注意力机制的双向长短时记忆网络模型BiLSTM-ATT中,并对微博文本特征进行训练,最后经过SoftMax函数层实现微博文本情感分析。在已公开发布的微博文本数据集“微博2018”上,与其他7种微博情感分析模型进行情感分析对比实验,对比实验结果表明ALBERT-BiLSTM-ATT模型在对比实验中的精确率、召回率和F1值皆更高。 展开更多
关键词 微博 人工智能 情感分析 ALBERT 注意力机制 BiLSTM
在线阅读 下载PDF
基于Albert模型的民族医药知识图谱构建 被引量:1
9
作者 李晴 唐东昕 贺松 《计算机时代》 2022年第9期6-11,共6页
民族医药方剂记载杂乱且电子化信息非常匮乏,为了能够抢救性地挖掘和保护民族医药理论,清晰地展现其内在关联和诊治特点,文章详细阐述了民族医药知识图谱的构建过程和具体方法。有效处理民族医药数据集,根据模型运行的图像效果来调整模... 民族医药方剂记载杂乱且电子化信息非常匮乏,为了能够抢救性地挖掘和保护民族医药理论,清晰地展现其内在关联和诊治特点,文章详细阐述了民族医药知识图谱的构建过程和具体方法。有效处理民族医药数据集,根据模型运行的图像效果来调整模型的参数,基于Albert-BiLSTM-CRF模型进行命名实体识别,其结果的准确率达到最高,精确率为99.06%,召回率为79.35%,F1值为88.11%,抽取的实体存储在Neo4j图数据库,并自定义节点之间的关系,实现民族医药知识图谱可视化。 展开更多
关键词 albert-bilstm-CRF 知识图谱 实体识别 Neo4j图数据库 民族医药
在线阅读 下载PDF
混合神经网络的中文地名识别方法 被引量:6
10
作者 朱鹏 石丽红 +2 位作者 焦明连 刘晓东 孙浩 《测绘科学》 CSCD 北大核心 2021年第11期159-165,共7页
针对互联网媒体数据中地名信息表达不规范、实体边界不清晰、地名简化表达问题,该文提出了一种混合神经网络的中文地名识别方法。通过ALBERT层学习字级别特征表达与BiLSTM层提取文本上下文语义特征,由CRF层获得全局最优标记序列,更有效... 针对互联网媒体数据中地名信息表达不规范、实体边界不清晰、地名简化表达问题,该文提出了一种混合神经网络的中文地名识别方法。通过ALBERT层学习字级别特征表达与BiLSTM层提取文本上下文语义特征,由CRF层获得全局最优标记序列,更有效地识别并提取中文地名。数据测试表明:相较于BiLSTM的地名识别模型,本文模型精确率提高12.89%,F1值提高10.83%;相较于BiLSTM-CRF的地名识别模型,本文模型精确率提高3.56%,F1值提高2.1%;相较于ALBERT-CRF的地名识别模型,本文模型精确率提高1.22%,F1值提高0.72%。 展开更多
关键词 地名识别 ALBERT BiLSTM 中文地名
原文传递
基于ALBERT的网络威胁情报命名实体识别 被引量:2
11
作者 周景贤 王曾琪 《陕西科技大学学报》 北大核心 2023年第1期187-195,共9页
网络威胁情报实体识别是网络威胁情报分析的关键,针对传统词嵌入无法表征一词多义而难以有效识别网络威胁情报实体关键信息,同时面临指数级增长的威胁情报,识别模型的效率亟待提高等问题,提出一种基于ALBERT的网络威胁情报命名实体识别... 网络威胁情报实体识别是网络威胁情报分析的关键,针对传统词嵌入无法表征一词多义而难以有效识别网络威胁情报实体关键信息,同时面临指数级增长的威胁情报,识别模型的效率亟待提高等问题,提出一种基于ALBERT的网络威胁情报命名实体识别模型.该模型首先使用ALBERT提取威胁情报动态特征词向量,然后将特征词向量输入到双向长短期记忆网络(BiLSTM)层得到句子中每个词对应的标签,最后在条件随机场(CRF)层修正并以最大概率输出序列标签.识别模型对比实验结果显示,提出模型的F1值为92.21%,明显优于其他模型.在识别准确率相同的情况下,提出模型的时间和资源成本也较低,适用于网络威胁情报领域海量高效的实体识别任务. 展开更多
关键词 网络威胁情报 命名实体识别 BERT ALBERT 双向长短期记忆网络 条件随机场
在线阅读 下载PDF
基于ALBERT+BiLSTM+CRF的事件抽取模型 被引量:4
12
作者 韩娜 张昊洋 《黑龙江科技大学学报》 2022年第3期412-416,共5页
针对现有事件抽取模型事件数据集规模较小、存在开销与性能不平衡问题,采用ALBERT预训练语言模型生成词向量,将其输入BiLSTM+CRF模型完成句子级事件的特征向量提取,抽取出事件触发词、论元和角色等中文事件要素,在大规模中文事件数据集D... 针对现有事件抽取模型事件数据集规模较小、存在开销与性能不平衡问题,采用ALBERT预训练语言模型生成词向量,将其输入BiLSTM+CRF模型完成句子级事件的特征向量提取,抽取出事件触发词、论元和角色等中文事件要素,在大规模中文事件数据集DuEE上进行验证。结果表明,该模型与其他同类型模型相比,准确率和F_(1)值均有所提升,在大规模事件数据集上的准确率、召回率和F_(1)值分别为95.4%、77.8%和85.7%。 展开更多
关键词 事件抽取 ALBERT BiLSTM CRF
在线阅读 下载PDF
基于ALBERT的中文医疗病历命名实体识别 被引量:7
13
作者 陈杰 奚雪峰 +2 位作者 皮洲 盛胜利 崔志明 《南京师范大学学报(工程技术版)》 CAS 2021年第1期36-43,共8页
医疗病历命名实体识别的主要任务是将临床电子病历中的非结构化文本转化为结构化数据,进而为面向医疗领域任务开展的数据挖掘提供基础支撑.提出一种基于ALBERT模型融合学习的中文医疗病历命名实体识别模型.首先,采用人工标注方式扩展样... 医疗病历命名实体识别的主要任务是将临床电子病历中的非结构化文本转化为结构化数据,进而为面向医疗领域任务开展的数据挖掘提供基础支撑.提出一种基于ALBERT模型融合学习的中文医疗病历命名实体识别模型.首先,采用人工标注方式扩展样本数据集,结合ALBERT模型对数据集进行微调;其次,采用双向长短记忆网络(BiLSTM)提取文本的全局特征;最后,基于条件随机场模型(CRF)命名实体的序列标记.在标准数据集上的实验结果表明,该方法进一步提高了医疗文本命名识别精度,减少了时间开销. 展开更多
关键词 ALBERT 命名实体识别 电子医疗病历 双向长短记忆网络 条件随机场
在线阅读 下载PDF
文本表示及其特征生成对法律判决书中多类型实体识别的影响分析 被引量:5
14
作者 王昊 林克柔 +1 位作者 孟镇 李心蕾 《数据分析与知识发现》 CSSCI CSCD 北大核心 2021年第7期10-25,共16页
【目的】探索法律判决书中不同模型的实体识别效果,为法律知识库的构建奠定基础。【方法】提取刑事判决书中的庭审过程和法院意见构造数据集,比较人工构造特征的CRFs模型和加入预训练词向量做文本表示的自动生成特征的IDCNN-CRFs模型与B... 【目的】探索法律判决书中不同模型的实体识别效果,为法律知识库的构建奠定基础。【方法】提取刑事判决书中的庭审过程和法院意见构造数据集,比较人工构造特征的CRFs模型和加入预训练词向量做文本表示的自动生成特征的IDCNN-CRFs模型与BiLSTM-CRFs模型的实体识别效果,并在少量其他类型法律判决书文本上比较模型的迁移能力。【结果】ALBERT-BiLSTM-CRFs模型实体识别效果最好,F1微平均值达95.28%;IDCNN-CRFs模型的识别效果低于前者,但训练时间是前者的1/6,两个模型均具有较好的迁移能力。【局限】识别的实体多为通用实体,后续考虑标注更多领域特有实体,增强研究对实际应用的参考价值。【结论】法律判决书的实体识别中,ALBERT-BiLSTM-CRFs和IDCNN-CRFs模型比CRFs模型效果更好,且迁移能力更强。 展开更多
关键词 法律判决书 特征生成 条件随机场 IDCNN-CRFs albert-bilstm-CRFs
原文传递
上一页 1 下一页 到第
使用帮助 返回顶部