期刊文献+
共找到36篇文章
< 1 2 >
每页显示 20 50 100
基于改进ALBERT-LDA模型的民航应急管理现状研究
1
作者 程明 李浦京 陈利人 《安全与环境学报》 北大核心 2025年第9期3626-3635,共10页
为提升民航应急管理能力,研究基于《中国民用航空应急管理规定》问卷数据,运用轻量级双向编码器表征模型(A Lite Bidirectional Encoder Representations from Transformers,ALBERT)和潜在狄利克雷分配模型(Latent Dirichlet Allocation... 为提升民航应急管理能力,研究基于《中国民用航空应急管理规定》问卷数据,运用轻量级双向编码器表征模型(A Lite Bidirectional Encoder Representations from Transformers,ALBERT)和潜在狄利克雷分配模型(Latent Dirichlet Allocation,LDA)进行文档类别划分,结合K-means和均匀流形逼近与投影方法(Uniform Manifold Approximation and Projection,UMAP)进行文档聚类及可视化,根据复杂网络理论构建关键词共现网络,分析网络特性和节点联系,应用逼近理想解排序法(Technique for Order Preference by Similarity to an Ideal Solution,TOPSIS)获得节点重要性排序。研究结果显示:网络的平均聚类系数为0.71~0.965,覆盖了不同部门、岗位和环境,代表了民航应急管理的普遍情况;在人员兼职、空管单位、支线机场等应急体系建设存在不足的情况下,建议民航系统通过增设专职应急管理机构、优化资源配置、加强培训支持等方式提升应急管理能力。研究结果可为民航应急体系建设提供数据支持。 展开更多
关键词 公共安全 应急管理 复杂网络 albert-LDA模型 TOPSIS模型
原文传递
ALBERT预训练模型在医疗文书命名实体识别中的应用研究
2
作者 庞秋奔 李银 《信息与电脑》 2024年第6期152-156,共5页
中文电子病历命名实体识别主要是研究电子病历病程记录文书数据集,文章提出对医疗手术麻醉文书数据集进行命名实体识别的研究。利用轻量级来自Transformer的双向编码器表示(A Lite Bidirectional Encoder Representation from Transform... 中文电子病历命名实体识别主要是研究电子病历病程记录文书数据集,文章提出对医疗手术麻醉文书数据集进行命名实体识别的研究。利用轻量级来自Transformer的双向编码器表示(A Lite Bidirectional Encoder Representation from Transformers,ALBERT)预训练模型微调数据集和Tranfomers中的trainer训练器训练模型的方法,实现在医疗手术麻醉文书上识别手术麻醉事件命名实体与获取复杂麻醉医疗质量控制指标值。文章为医疗手术麻醉文书命名实体识别提供了可借鉴的思路,并且为计算复杂麻醉医疗质量控制指标值提供了一种新的解决方案。 展开更多
关键词 命名实体识别 轻量级来自Transformer的双向编码器表示(albert)模型 TRANSFORMERS 麻醉医疗质量控制指标 医疗手术麻醉文书
在线阅读 下载PDF
基于ALBERT-LDA模型的康复训练方案推荐系统研究
3
作者 祝晓状 徐钱钱 高诺 《生物医学工程研究》 2024年第6期445-455,共11页
为解决传统康复训练方案因忽略了身体评价中上下文语义信息与潜在语义,导致语义表达不准确、训练方案推荐精确率较低的问题,本研究提出一种融合ALBERT和潜在狄利克雷分布(latent Dirichlet allocation,LDA)的深度学习网络模型(ALBERT-LD... 为解决传统康复训练方案因忽略了身体评价中上下文语义信息与潜在语义,导致语义表达不准确、训练方案推荐精确率较低的问题,本研究提出一种融合ALBERT和潜在狄利克雷分布(latent Dirichlet allocation,LDA)的深度学习网络模型(ALBERT-LDA),并基于该模型构建了肢体运动康复训练方案推荐系统。首先,该系统利用LDA主题模型和ALBERT模型分别获得文档级的主题信息和词级的语义表示;其次,采用TextCNN提取身体评价文本词级的语义特征,并通过分层注意力机制对提取的特征进行重建;最后,利用多重融合策略将重建特征与主题特征融合,推荐训练方案。实验表明,本研究提出的系统不仅能得到更深层次的语义特征,还能更全面地理解上下文语义,可为患者提供更客观、有效的康复训练方案。 展开更多
关键词 康复训练方案推荐 albert模型 LDA主题模型 特征融合
在线阅读 下载PDF
基于ALBERT-UniLM模型的文本自动摘要技术研究 被引量:6
4
作者 孙宝山 谭浩 《计算机工程与应用》 CSCD 北大核心 2022年第15期184-190,共7页
任务中的生成式摘要模型对原文理解不充分且容易生成重复文本等问题,提出将词向量模型ALBERT与统一预训练模型UniLM相结合的算法,构造出一种ALBERT-UniLM摘要生成模型。该模型采用预训练动态词向量ALBERT替代传统的BERT基准模型进行特... 任务中的生成式摘要模型对原文理解不充分且容易生成重复文本等问题,提出将词向量模型ALBERT与统一预训练模型UniLM相结合的算法,构造出一种ALBERT-UniLM摘要生成模型。该模型采用预训练动态词向量ALBERT替代传统的BERT基准模型进行特征提取获得词向量。利用融合指针网络的UniLM语言模型对下游生成任务微调,结合覆盖机制来降低重复词的生成并获取摘要文本。实验以ROUGE评测值作为评价指标,在2018年CCF国际自然语言处理与中文计算会议(NLPC-C2018)单文档中文新闻摘要评价数据集上进行验证。与BERT基准模型相比,ALBERT-UniLM模型的Rouge-1、Rouge-2和Rouge-L指标分别提升了1.57%、1.37%和1.60%。实验结果表明,提出的ALBERT-UniLM模型在文本摘要任务上效果明显优于其他基准模型,能够有效提高文本摘要的生成质量。 展开更多
关键词 自然语言处理 预训练语言模型 albert模型 UniLM模型 生成式摘要
在线阅读 下载PDF
基于ALBERT-CNN的外卖评论情感分析 被引量:3
5
作者 胡胜利 张丽萍 《现代信息科技》 2022年第10期157-160,共4页
为了解决如何获取文本的位置信息和捕获文本中更多情感信息的问题,利用一种结合ALBERT模型和卷积神经网络CNN的外卖评论情感分析模型ALBERT-CNN的方法。首先,ALBERT对文本词向量表示,获得文本动态特征表示;其次,利用卷积神经网络CNN对... 为了解决如何获取文本的位置信息和捕获文本中更多情感信息的问题,利用一种结合ALBERT模型和卷积神经网络CNN的外卖评论情感分析模型ALBERT-CNN的方法。首先,ALBERT对文本词向量表示,获得文本动态特征表示;其次,利用卷积神经网络CNN对特征进行训练,有效获取更丰富的局部信息;最后,对ALBERT和CNN进行融合后提取的特征通过Softmax函数对外卖评论文本进行情感分类,并使用R_Drop对模型进行正则化。实验结果表明,与传统模型相比,使用了R_Drop的ALBERT-CNN模型的精确度P、召回率R和F1值均有提高。 展开更多
关键词 外卖评价 评论文本 情感分析 albert-CNN模型 R_Drop
在线阅读 下载PDF
基于混合深度学习算法的工程规范知识抽取
6
作者 邓旭方 成飞 +3 位作者 吕沅庚 邓伦 刘乐平 封婧仪 《水利水电技术(中英文)》 北大核心 2025年第S1期76-84,共9页
工程规范是工程建设过程中常用的重要标准文件之一。面对这些非结构化工程规范文本,高效、准确地从中抽取相关知识,并将这些知识以可视化形式呈现,对于提高知识的利用效率、提升管理人员对工程规范文本的理解效率有着重要的作用。针对... 工程规范是工程建设过程中常用的重要标准文件之一。面对这些非结构化工程规范文本,高效、准确地从中抽取相关知识,并将这些知识以可视化形式呈现,对于提高知识的利用效率、提升管理人员对工程规范文本的理解效率有着重要的作用。针对典型的工程规范文本,提出一种基于深度学习的工程规范知识抽取方法,融合ALBERT(A Lite Bidirectional Encoder Representation from Transformers)、BiLSTM(Bi-directional Long Shot-Term Memory)和CRF(Conditional Random Fields),建立工程规范实体识别模型,增强文本语义特征,获得工程规范中的实体;融合Attention机制和BiLSTM提取工程规范中的关系,根据所提取出的知识构建工程规范知识图谱。以《给水排水管道工程施工及验收规范》为典型实例对该方法进行了验证,结果表明,工程规范实体识别的F1值为78.18%,优于传统模型;关系抽取的F1值为98.35%。利用所抽取知识建立了工程规范知识图谱,通过基于知识图谱的全局信息展示、特定信息检索,提升工程规范的利用效率,辅助工程现场施工。 展开更多
关键词 工程规范 知识抽取 albert预训练模型 BiLSTM CRF 注意力机制
在线阅读 下载PDF
结合文本分类的业务自动化系统设计与应用
7
作者 赵旻 刘凯 +2 位作者 鄢达铸 李敏航 高建文 《自动化技术与应用》 2025年第7期186-188,共3页
研究自然语言处理(natural language processing,NLP)技术和机器人流程自动化(robot process automation,RPA)技术在业务自动化领域的应用特点,将RPA技术和人工智能(artificial intelligence,AI)技术相结合来优化多种业务场景,包括智能... 研究自然语言处理(natural language processing,NLP)技术和机器人流程自动化(robot process automation,RPA)技术在业务自动化领域的应用特点,将RPA技术和人工智能(artificial intelligence,AI)技术相结合来优化多种业务场景,包括智能业务查询、业务填充、语义理解等自动化业务操作以求提升效率。然后提出智能业务自动化系统的业务框架、全词覆盖方法和ALBERT模型等技术在业务自动化领域的应用,通过相关实验测试所提方法的效果,验证了结合文本分类的业务自动化设计与应用在企业数字化转型中是一种可行的方案。 展开更多
关键词 机器人流程自动化 自然语言处理 文本分类 albert模型 办公业务自动化
在线阅读 下载PDF
基于ALBERT预训练模型的事件抽取技术研究 被引量:3
8
作者 杜洁 骆力明 孙众 《计算机工程与科学》 CSCD 北大核心 2023年第4期711-717,共7页
信息抽取技术用于从非结构化文本数据中提取关注度较高的信息。事件抽取技术是信息抽取研究领域中具有挑战的研究方向。事件抽取的目的是从非结构化文本数据中抽取描述事件的关键元素,并以结构化的方式呈现。事件抽取被看作序列标注任务... 信息抽取技术用于从非结构化文本数据中提取关注度较高的信息。事件抽取技术是信息抽取研究领域中具有挑战的研究方向。事件抽取的目的是从非结构化文本数据中抽取描述事件的关键元素,并以结构化的方式呈现。事件抽取被看作序列标注任务,首先采用ALBERT预训练模型学习特征,其次引入条件随机场CRF模型提高序列标注性能,最后完成事件类型以及事件要素的识别分类。在ACE2005标准语料库上的实验结果表明,与现有模型相比,ALBERT-CRF模型在触发词识别和分类任务上的召回率和F值均有所提高。 展开更多
关键词 事件抽取 序列标注 albert模型 条件随机场模型
在线阅读 下载PDF
基于ALBERT-TextCNN模型的多标签医疗文本分类方法 被引量:18
9
作者 郑承宇 王新 +2 位作者 王婷 邓亚萍 尹甜甜 《山东大学学报(理学版)》 CAS CSCD 北大核心 2022年第4期21-29,共9页
针对现有Word2Vec和Glove等静态词向量表征方法无法解决文本完整语义的问题,结合ALBERT预训练语言模型和TextCNN卷积神经网络,提出一种用于多标签医疗文本分类的深层神经网络模型ALBERT-TextCNN。该模型采用ALBERT预训练语言模型进行动... 针对现有Word2Vec和Glove等静态词向量表征方法无法解决文本完整语义的问题,结合ALBERT预训练语言模型和TextCNN卷积神经网络,提出一种用于多标签医疗文本分类的深层神经网络模型ALBERT-TextCNN。该模型采用ALBERT预训练语言模型进行动态字向量表示,通过其内部多层双向的Transfomer结构获取更高效的文本向量表达,并引入TextCNN卷积神经网络模型构造多标签分类器进行训练,提取不同抽象层次的语义信息特征。在中文健康问句数据集上进行算法性能测试,实验结果表明,该模型分类的整体F1值达到了90.5%,能有效提升医疗文本的多标签分类效果。 展开更多
关键词 albert TextCNN模型 多标签分类 医疗文本
原文传递
融合 Albert 模型的珍稀濒危植物知识图谱的构建 被引量:6
10
作者 田梦晖 陈明 席晓桃 《湖南农业大学学报(自然科学版)》 CAS CSCD 北大核心 2023年第5期616-623,共8页
针对珍稀濒危植物形态特征、分类等级、濒危系数、保护措施等知识不明确的问题,设计了文本融合轻量级双向转换编码表示模型(Albert)的知识抽取模型框架,实现批量抽取珍稀濒危植物知识,从而构建珍稀濒危植物知识图谱:1)在现存一般性植物... 针对珍稀濒危植物形态特征、分类等级、濒危系数、保护措施等知识不明确的问题,设计了文本融合轻量级双向转换编码表示模型(Albert)的知识抽取模型框架,实现批量抽取珍稀濒危植物知识,从而构建珍稀濒危植物知识图谱:1)在现存一般性植物本体的基础上,采用自顶向下的方式构建珍稀濒危植物本体,得到5个体系,即物种分类体系、生长形态特征体系、命名体系、保护现状体系和生态习性体系;2)采取Albert预训练模型来增强下游任务模型输入向量的珍稀濒危植物属性描述文本语义的表征能力;3)利用BiLSTM–CRF模型和BiGRU–Attention模型分别实现命名实体识别和关系抽取。在珍稀濒危植物数据测试集上对模型的有效性进行验证,结果表明,命名实体识别模型和关系抽取模型的召回率和准确率的调和平均值(F1)值分别达到98.07%和93.76%,将得到的大量的实体和关系所形成的三元组存储在图数据库Neo4j中,完成珍稀濒危植物知识图谱的可视化展示。 展开更多
关键词 珍稀濒危植物 albert模型 知识图谱 本体 命名实体识别 关系抽取
在线阅读 下载PDF
基于ALBERT动态词向量的垃圾邮件过滤模型 被引量:4
11
作者 周枝凝 王斌君 +1 位作者 翟一鸣 仝鑫 《信息网络安全》 CSCD 北大核心 2020年第9期107-111,共5页
针对垃圾邮件分类问题中词向量学习不充分的问题,文章引入ALBERT动态词向量生成模型,并提出一种将ALBERT动态词向量与循环神经网络相结合的ALBERT-RNN模型。利用公开的垃圾邮件数据集(TEC06C),对传统统计学模型与4种不同RNN结构的ALBERT... 针对垃圾邮件分类问题中词向量学习不充分的问题,文章引入ALBERT动态词向量生成模型,并提出一种将ALBERT动态词向量与循环神经网络相结合的ALBERT-RNN模型。利用公开的垃圾邮件数据集(TEC06C),对传统统计学模型与4种不同RNN结构的ALBERT-RNN模型进行了对比实验,并用Focal Loss方法对交叉熵损失函数进行了优化。实验结果表明,使用Focal Loss优化的ALBERT-LSTM模型在TEC06C数据集上达到了较高的准确率(99.13%)。 展开更多
关键词 中文垃圾邮件 循环神经网络 albert模型 动态词向量
在线阅读 下载PDF
基于ALBERT预训练模型的通用中文命名实体识别方法 被引量:2
12
作者 吕海峰 冀肖榆 +1 位作者 陈伟业 邸臻炜 《梧州学院学报》 2022年第3期10-17,共8页
HMM、CRF等机器学习算法在中文实体抽取任务上存在大量依靠特征提取及准确率低的缺陷,而基于BiLSTM-CRF、BERT等深度神经网络算法在中文实体识别准确率高,但BiLSTM模型依赖大规模标注数据,BERT存在参数量大、效率低等问题。该研究提出... HMM、CRF等机器学习算法在中文实体抽取任务上存在大量依靠特征提取及准确率低的缺陷,而基于BiLSTM-CRF、BERT等深度神经网络算法在中文实体识别准确率高,但BiLSTM模型依赖大规模标注数据,BERT存在参数量大、效率低等问题。该研究提出了基于ALBERT-Attention-CRF模型进行中文实体抽取的方法。首先将glove、Word2vec等静态词向量替换为ALBERT预训练模型字向量,可有效解决分词错误、数据稀疏、OOV、过拟合以及一词多义等问题;然后采用ALBERT作为编码层并对其输出利用Attention机制捕获上下文语义特征;最后结合CRF作为解码层输出实体正确标签,摒弃主流BiLSTM-CRF模型,最终在《人民日报》数据的测试集上取得了理想的效果。试验结果表明,该方法有助于提升通用中文实体识别的准确率和效率,其有效性也得到了较好的验证。 展开更多
关键词 命名实体识别 条件随机场 BERT模型 albert模型 准确率
在线阅读 下载PDF
乌干达Albert湖凹陷陡坡带成藏模式 被引量:2
13
作者 陈经覃 韩文明 +1 位作者 邱春光 贾屾 《海洋地质前沿》 CSCD 2018年第1期42-47,共6页
乌干达Albert湖凹陷是世界上最年轻的生烃凹陷,至今仍处于断陷伸展阶段,特殊的地质背景使其具有独特油气富集特征。为了预测Albert湖西部陡坡带的勘探潜力,利用地震、钻井等资料开展了凹陷构造特征研究,系统分析了陡坡带石油地质条件和... 乌干达Albert湖凹陷是世界上最年轻的生烃凹陷,至今仍处于断陷伸展阶段,特殊的地质背景使其具有独特油气富集特征。为了预测Albert湖西部陡坡带的勘探潜力,利用地震、钻井等资料开展了凹陷构造特征研究,系统分析了陡坡带石油地质条件和成藏模式。研究表明,板式陡坡带油气侧向运移,成藏条件优越;台阶式陡坡带以垂向运移为主,侧向运移为辅,成藏条件一般。运移和保存是Albert湖陡坡带油气富集的主控因素,西部陡坡带一台阶是有利勘探区带,资源潜力较大。此研究对非洲陆内裂谷油气勘探具有重要的指导作用。 展开更多
关键词 东非裂谷系 albert 成藏模式 乌干达
在线阅读 下载PDF
乌干达Albert湖凹陷北部沉积特征及油气成藏模式 被引量:1
14
作者 陈经覃 邱春光 《世界地质》 CAS 2022年第1期139-146,共8页
乌干达Albert湖凹陷是世界上最年轻的生烃凹陷,受构造和沉积控制,油气多分布于北部构造调节带。为分析Albert湖北部构造调节带内部油气成藏特征,笔者利用地震、钻井、测井和孢粉等资料,开展北部构造调节带沉积特征研究,进而分析北部构... 乌干达Albert湖凹陷是世界上最年轻的生烃凹陷,受构造和沉积控制,油气多分布于北部构造调节带。为分析Albert湖北部构造调节带内部油气成藏特征,笔者利用地震、钻井、测井和孢粉等资料,开展北部构造调节带沉积特征研究,进而分析北部构造调节带的油气成藏模式。研究表明,由于边界正断层持续活动,北部构造调节带两侧沉积特征存在差异,研究区西部发育曲流河-三角洲沉积体系;东部发育冲积扇-扇三角洲沉积体系。由于北部构造调节带西部三角洲砂体向南推进至湖盆中心,与深湖相烃源岩直接沟通,成为Albert湖盆最有利的油气汇聚区。 展开更多
关键词 albert 沉积体系 构造调节带 成藏模式
在线阅读 下载PDF
基于ALBERT的网络文物信息资源实体关系抽取方法研究 被引量:6
15
作者 彭博 《情报杂志》 CSSCI 北大核心 2022年第8期156-162,178,共8页
[研究目的]实体间关联关系是知识的基本载体,对网络文物信息资源中实体关系进行抽取是大数据环境下进行文物知识发现、绘制文物知识图谱的前提,也是文物信息资源开发利用需要解决的重要问题。[研究方法]针对网络文物信息资源结构化数据... [研究目的]实体间关联关系是知识的基本载体,对网络文物信息资源中实体关系进行抽取是大数据环境下进行文物知识发现、绘制文物知识图谱的前提,也是文物信息资源开发利用需要解决的重要问题。[研究方法]针对网络文物信息资源结构化数据标准详实、实体关系特征明确、语言描述规范等特征,从知识库中查询实体关系并依照规则进行实体关系标注,利用元数据标准进行实体关系对齐,使用预训练语言模型获取字符特征,应用深度学习有关方法获取语义特征,进行了非结构化文物信息资源实体关系的抽取。[研究结论]研究表明,在与其他预训练语言模型及深度学习方法的关系抽取对比实验中,该方法的综合效率相对较高,并根据实体关系分类的不同进行特征挖掘,为文物信息资源的研究与推广提供了有益的参考。 展开更多
关键词 文物信息资源 远程监督 预训练模型 深度学习 知识发现 albert
在线阅读 下载PDF
基于ALBERT-BiLSTM模型的微博谣言识别方法研究 被引量:3
16
作者 孙尉超 陈涛 《计算机时代》 2020年第8期21-26,共6页
随着互联网的高速发展,网络上的信息剧增,如何识别网络谣言也成为当下研究热点之一。针对谣言初期的传播具有一定隐蔽性的特征,结合预训练语言模型ALBERT和双向长短期记忆网络设计了ALBERT-BiLSTM谣言识别模型,通过挖掘谣言内容的深层... 随着互联网的高速发展,网络上的信息剧增,如何识别网络谣言也成为当下研究热点之一。针对谣言初期的传播具有一定隐蔽性的特征,结合预训练语言模型ALBERT和双向长短期记忆网络设计了ALBERT-BiLSTM谣言识别模型,通过挖掘谣言内容的深层文本特征进行识别,使之在谣言初期也能应用。五折交叉验证实验结果表明,ALBERTBiLSTM模型在实验组中达到了最高的准确率98.095%、召回率98.014%和F1值98.098%,能够较好地识别微博谣言,对维护网络信息安全具有重要意义。 展开更多
关键词 谣言识别 预训练语言模型 albert 双向长短期记忆网络 albert-BiLSTM
在线阅读 下载PDF
基于ALBERT的改进实体关系分类模型
17
作者 朱瑞天 王兴芬 《北京信息科技大学学报(自然科学版)》 2021年第5期20-27,共8页
在实体关系抽取和分类的任务背景下,针对当前基于深度学习模型对实体间语义关系利用不足的问题,提出了基于预训练ALBERT模型的实体关系分类模型。首先使用实体定位符号对实体位置进行定位,然后使用依存关系方法提取实体间关系描述词,并... 在实体关系抽取和分类的任务背景下,针对当前基于深度学习模型对实体间语义关系利用不足的问题,提出了基于预训练ALBERT模型的实体关系分类模型。首先使用实体定位符号对实体位置进行定位,然后使用依存关系方法提取实体间关系描述词,并利用预训练ALBERT模型对输入进行向量化表征,再利用注意力机制将向量进行融合,最终使用Softmax分类器得到关系分类结果。与其他几种深度模型相比,该模型在KBP37数据集和Semeval-2010-task8数据集上的结果最优,验证了模型的有效性。 展开更多
关键词 实体关系分类 语言模型 深度学习 albert 注意力机制
在线阅读 下载PDF
基于ALBERT-CAW模型的时政新闻命名实体识别方法
18
作者 范钰程 梁凤梅 邬志勇 《电子设计工程》 2022年第15期49-54,共6页
针对时政新闻领域词语的含义复杂、新词更新速度快等问题,提出了一种基于ALBERTCAW的时政新闻命名实体识别模型。使用预训练语言模型ALBERT获取文本的动态字词向量,在CAW层中利用多层CNN提取词语的局部特征,使用LSTM获得每个词的上下文... 针对时政新闻领域词语的含义复杂、新词更新速度快等问题,提出了一种基于ALBERTCAW的时政新闻命名实体识别模型。使用预训练语言模型ALBERT获取文本的动态字词向量,在CAW层中利用多层CNN提取词语的局部特征,使用LSTM获得每个词的上下文语意,将两者结果融合,输入BiLSTM获取深层特征,通过条件随机场(CRF)获取最有可能的标签作为识别结果。在自建的人民日报新闻数据集上取得了87.3%的F1值,优于对比模型。实验结果表明,该模型能较好地应用于时政新闻命名实体识别任务。 展开更多
关键词 命名实体识别 字词融合(CAW) albert预训练语言模型 双向长短期记忆网络 条件随机场(CRF)
在线阅读 下载PDF
融合主题特征的文本情感分析模型 被引量:6
19
作者 杨俊哲 宋莹 陈逸菲 《计算机科学》 CSCD 北大核心 2024年第S01期159-166,共8页
随着大型语言模型的快速发展,如何在保证模型性能的同时减少模型参数量,成为了自然语言处理领的一个重要挑战。然而,现有的参数压缩技术往往难以兼顾模型的稳定性和泛化能力。为此,提出了一种融合主题特征的情感分析新架构,旨在利用主... 随着大型语言模型的快速发展,如何在保证模型性能的同时减少模型参数量,成为了自然语言处理领的一个重要挑战。然而,现有的参数压缩技术往往难以兼顾模型的稳定性和泛化能力。为此,提出了一种融合主题特征的情感分析新架构,旨在利用主题信息增强模型对文本情感极性的判断能力。具体而言,采用一种结合LDA和K-means的方法来提取文本的主题特征,并将其作为固定维度的向量与词嵌入进行拼接,得到新的词向量表示。随后使用平均池化技术构建句子级别的表征向量,并输入到一个全连接层进行情感分类。为了验证所提模型的有效性,在公开的情感分析数据集上与多个基准算法进行了对比实验。实验结果表明,所提模型在多个数据集上明显优于ALBERT,准确率提高了约3.5%,在参数量仅有微小增加的情况下维持了较高的稳定性和泛化能力。 展开更多
关键词 情感分析 albert模型 LDA模型 主题特征 平均池化
在线阅读 下载PDF
“互联网+”环境下融合多特征的弹幕数据情绪监测模型构建
20
作者 刘家威 郑军红 何利力 《软件导刊》 2024年第2期17-24,共8页
针对企业营销活动中未充分考虑客户情感特征,导致营销效果达不到预期的问题,提出一种融合多特征的ALBERT-SA-BIGRU模型。首先,基于企业营销活动弹幕数据构建表情符号词典及相关语料库。其次,将弹幕文本与弹幕属性共同输入ALBERT模型中... 针对企业营销活动中未充分考虑客户情感特征,导致营销效果达不到预期的问题,提出一种融合多特征的ALBERT-SA-BIGRU模型。首先,基于企业营销活动弹幕数据构建表情符号词典及相关语料库。其次,将弹幕文本与弹幕属性共同输入ALBERT模型中提取弹幕文本的特征表示,并与GloVe预先训练好的表情符号特征融合。再次,利用自注意机制捕捉表情符号与弹幕文本、弹幕属性之间的关系,将捕获的词语特征输入BiGRU中从前向、后向捕获信息,加强语义依赖,提取情感特征。最后,用Softmax逻辑回归进行情感倾向性分类,构建情绪监测图。以某互联网营销平台163253条弹幕数据对模型进行性能验证的结果表明,模型准确率、精确率、召回率分别为88.8%、88.7%、88.9%,相较于其他模型均有一定提升,可为企业在营销活动中实现用户情绪监测智能化精准营销提供支持。 展开更多
关键词 多特征 albert模型 GloVe模型 自注意机制 BIGRU模型 情绪监测
在线阅读 下载PDF
上一页 1 2 下一页 到第
使用帮助 返回顶部