期刊文献+
共找到160篇文章
< 1 2 8 >
每页显示 20 50 100
基于RoBERTa和LightGBM的中文图书采选模型研究 被引量:1
1
作者 钟建法 孟子正 《大学图书馆学报》 北大核心 2025年第1期82-92,共11页
在对智能图书采选模型构建方法进行综述和对相关机器学习算法进行介绍基础上,探索基于RoBERTa和LightGBM构建高校图书馆中文图书采选机器学习模型。分析模型的构建目标和研究框架,从数据来源与清洗、特征筛选与确定、衍生特征构建、基于... 在对智能图书采选模型构建方法进行综述和对相关机器学习算法进行介绍基础上,探索基于RoBERTa和LightGBM构建高校图书馆中文图书采选机器学习模型。分析模型的构建目标和研究框架,从数据来源与清洗、特征筛选与确定、衍生特征构建、基于RoBERTa模型的文本特征构造、数据编码等方面对特征工程进行详细描述,构建基于LightGBM的中文图书采选分类模型并进行模型评估,提出模型应用策略方案和后续研究建议,以期推进机器学习模型的应用发展和图书采选工作的智能化转型。 展开更多
关键词 高校图书馆 图书采访 机器学习模型 roberta LightGBM
在线阅读 下载PDF
基于RoBERTa的中医药专利命名实体识别
2
作者 邓娜 何昕洋 +1 位作者 熊才权 宗泽华 《湖北工业大学学报》 2025年第1期55-60,75,共7页
中医药发明专利的成分及功能实体具有种类复杂、歧义繁多等特点。针对传统命名实体识别方法无法充分获取其中的语义特征表示,上下文信息及一词多义等问题,提出一种中医药发明专利命名实体识别模型,该模型将RoBERTa-WWM预训练模型、双向... 中医药发明专利的成分及功能实体具有种类复杂、歧义繁多等特点。针对传统命名实体识别方法无法充分获取其中的语义特征表示,上下文信息及一词多义等问题,提出一种中医药发明专利命名实体识别模型,该模型将RoBERTa-WWM预训练模型、双向长短期记忆(BiLSTM)网络、条件随机场(CRF)三个模块串联结合,将专利摘要依次通过RoBERTa-WWM进行语义提取生成含有先验知识的语义词嵌入;BiLSTM网络增强词嵌入中的上下文特征信息;CRF解码序列,输出概率最大结果。实验结果表明,该模型在真实中医药发明专利文本语料库上,F1值(F-Measure)相较其他主流方法在成分与功能的识别上分别提升了5.80%和6.63%,能有效提升中医药发明专利摘要中药物成分及功能识别的准确率。 展开更多
关键词 中医药发明专利 命名实体识别 roberta-WWM BiLSTM
在线阅读 下载PDF
基于RoBERTa模型和知识蒸馏的酒店文本分类
3
作者 喻金平 罗琛 +1 位作者 姚炫辰 李钰 《计算机与数字工程》 2025年第8期2174-2180,共7页
随着互联网和社交媒体的快速发展,人们越来越倾向于在网络上分享的酒店体验,这种信息泛滥给酒店管理带来了很大的挑战。基于深度学习的分文本分类模型较大且复杂,参数众多。为此,提出了一种基于知识蒸馏的方法即将大型模型中的知识压缩... 随着互联网和社交媒体的快速发展,人们越来越倾向于在网络上分享的酒店体验,这种信息泛滥给酒店管理带来了很大的挑战。基于深度学习的分文本分类模型较大且复杂,参数众多。为此,提出了一种基于知识蒸馏的方法即将大型模型中的知识压缩到小型模型中,实现模型的高效精确的预测。针对酒店文本的特点,使用RoBERTa-base模型作为教师模型,从大规模的酒店文本数据集中进行训练,并获得高精度的情感分类结果。使用BiLSTM作为学生模型,并对教师模型的知识进行蒸馏,并将其应用于情感分析任务中。实验结果显示,RoBERTa-base-BiLSTM蒸馏模型在准确率、精确率和综合评价指标上展现出了出色的表现。经过蒸馏的BiLSTM学生模型在准确率方面比原始的BiLSTM模型取得了更高的准确性,准确率提高了5.08%,并且降低了模型的复杂度和预测耗时。实验结果表明该模型可以有效地提高酒店文本情感分析的准确性和效率,对酒店文本分类具有一定的参考价值。 展开更多
关键词 文本情感分类 深度学习 预训练语言处理 知识蒸馏 roberta
在线阅读 下载PDF
基于RoBERTa-ON-LSTM-AT的电力运维日志分类模型
4
作者 张学谦 吕磊 《微型电脑应用》 2025年第1期28-31,共4页
针对静态词向量模型无法表示多义词,传统序列模型无法捕获层级特征等问题,提出基于鲁棒优化的BERT预训练方法结合有序神经元LSTM和注意力机制(RoBERTa-ON-LSTM-AT)的电力运维日志模型。RoBERTa模型提取文本动态向量表示,解决一词多义问... 针对静态词向量模型无法表示多义词,传统序列模型无法捕获层级特征等问题,提出基于鲁棒优化的BERT预训练方法结合有序神经元LSTM和注意力机制(RoBERTa-ON-LSTM-AT)的电力运维日志模型。RoBERTa模型提取文本动态向量表示,解决一词多义问题;ON-LSTM模型通过对神经元排序,捕获文本层级结构特征;AT识别对分类结果影响更高的关键词。在电力运维日志数据集进行实验,通过RoBERTa-ON-LSTM-AT模型可以得到F_(1)最高分,进而验证了模型的有效性。 展开更多
关键词 文本分类 roberta ON-LSTM 注意力机制
在线阅读 下载PDF
改进RoBERTa、多实例学习和双重注意力机制的关系抽取方法
5
作者 王禹鸥 苑迎春 +1 位作者 何振学 王克俭 《山东大学学报(工学版)》 北大核心 2025年第2期78-87,共10页
针对远程监督关系抽取不能充分利用句子上下文高层信息、易带来噪声标注的问题,提出一种基于改进鲁棒优化的双向编码器表征预训练模型(robustly optimized bidirectional encoder representations from Transformers pretraining approa... 针对远程监督关系抽取不能充分利用句子上下文高层信息、易带来噪声标注的问题,提出一种基于改进鲁棒优化的双向编码器表征预训练模型(robustly optimized bidirectional encoder representations from Transformers pretraining approach,RoBERTa)、多实例学习(multiple-instance learning,MI)和双重注意力(dual attention,DA)机制的关系抽取方法。在RoBERTa中引入全词动态掩码,获取文本上下文信息,获得词级别语义向量;将特征向量输入双向门控循环单元(bidirectional gated recurrent unit,BiGRU),挖掘文本深层次语义表征;引入多实例学习,通过学习实例级别特征缩小关系抽取类别范围;引入双重注意力机制,结合词语级注意力机制和句子级注意力机制的优势,充分捕捉句子中实体词语特征信息和对有效语句的关注度,增强句子表达能力。试验结果表明,在公开数据集纽约时报(New York Times,NYT)数据集和谷歌IISc远程监督(Google IISc distant supervision,GIDS)数据集中,关系抽取方法的F1值分别为88.63%、90.13%,均优于主流对比方法,能够有效降低远程监督噪声影响,实现关系抽取,为构建知识图谱提供理论基础。 展开更多
关键词 远程监督 关系抽取 改进roberta 多实例学习 双重注意力机制
原文传递
基于“DiaASQ+RoBERTa”的对话式股吧评论方面级情感分析
6
作者 段一奇 吴江 程征 《情报理论与实践》 北大核心 2025年第4期163-173,共11页
[目的/意义]针对以往金融评论情感分析研究中多数研究局限于单一评论文本为研究对象,方面级金融情感分析中提取情感元素不够丰富等问题,提出了一个新的对话式股吧评论方面级情感分析任务。[方法/过程]基于该任务,构建了一个两阶段式的... [目的/意义]针对以往金融评论情感分析研究中多数研究局限于单一评论文本为研究对象,方面级金融情感分析中提取情感元素不够丰富等问题,提出了一个新的对话式股吧评论方面级情感分析任务。[方法/过程]基于该任务,构建了一个两阶段式的对话式股吧评论方面情感四元组提取框架,利用“DiaASQ+RoBERTa”方法分阶段提取对话式股吧评论中的方面类别、方面术语、观点术语及情感极性,经过情感元素的组合映射得到方面情感四元组,然后以东方财富股吧为数据来源构建对话式股吧评论数据集进行实证研究。[结果/结论]实验结果表明,与同一数据集上的最佳基线模型相比,“DiaASQ+RoBERTa”方法在F1值方面提升了约16.18%,显著优于基线方法。该研究不仅拓宽了金融评论情感分析领域的研究范围,还进一步完善了方面级金融情感元素提取的丰富度,为投资决策提供更多参考依据。 展开更多
关键词 方面级情感分析 DiaASQ roberta 对话式股吧评论 金融评论
原文传递
基于RoBERTa-BiGRU-eKAN的AI生成水印文本检测模型研究
7
作者 刘冬 许鑫 蔚海燕 《中国人民公安大学学报(自然科学版)》 2025年第3期85-94,共10页
针对AI生成文本的快速精准识别问题,使用HC3数据集、SynthID水印生成算法和Gemma 2-2 B-it模型生成了包含人类撰写、AI生成、AI生成水印文本3种类别的AI生成水印检测文本数据集,并提出了基于一种RoBERT a-BiGR U-eKAN的高效AI生成水印... 针对AI生成文本的快速精准识别问题,使用HC3数据集、SynthID水印生成算法和Gemma 2-2 B-it模型生成了包含人类撰写、AI生成、AI生成水印文本3种类别的AI生成水印检测文本数据集,并提出了基于一种RoBERT a-BiGR U-eKAN的高效AI生成水印文本检测模型。该模型首先使用RoBERTa对输入文本进行编码转换和文本语义特征的抽取,然后使用BiGRU进行特征的长距离归纳提炼,最后使用eKAN进行高效准确分类。通过文本长度、词性标注等维度对比分析,发现人类撰写文本长度较短且语言表达更加生动,语法结构也更为复杂。检测结果表明,提出的模型在AI生成水印文本检测中准确率、精准率、召回率和F1值分别达到了96.39%、96.40%、96.41%和96.39%。 展开更多
关键词 AI生成文本 水印 eKAN roberta SynthID
在线阅读 下载PDF
RoBERTa-GCN-EGPLinker中文实体关系联合抽取
8
作者 冯甲 张仕斌 +3 位作者 闫丽丽 秦智 昌燕 吕智颖 《计算机技术与发展》 2025年第9期132-139,共8页
实体关系抽取是自然语言处理中的核心任务之一,旨在从文本中识别出实体及其之间的关系,生成实体关系三元组,为后续的数据分析和知识发现提供基础。随着中文语言的复杂性,尤其是在实体嵌套、关系重叠等问题上,中文实体关系抽取面临着诸... 实体关系抽取是自然语言处理中的核心任务之一,旨在从文本中识别出实体及其之间的关系,生成实体关系三元组,为后续的数据分析和知识发现提供基础。随着中文语言的复杂性,尤其是在实体嵌套、关系重叠等问题上,中文实体关系抽取面临着诸多挑战。传统方法在处理这些复杂语言现象时,常常受到语法结构和上下文信息捕捉不充分的限制。因此,如何提高中文实体关系抽取的精度和效率,成为了该领域研究的重点。为了解决这些问题,提出了一种基于RoBERTa-GCN-EGPLinker的中文实体关系联合抽取方法。该方法首先利用RoBERTa-wwm-ext模型对文本进行深度语义编码,结合中文依存分析工具LTP,提取文本的依存关系和句法结构信息。接着,通过构建图卷积神经网络(GCN)和语义邻接矩阵,进一步捕捉文本中的结构化信息。这种方法不仅能够有效处理实体之间的关系,还能在面对复杂语言现象时保持较高的抽取精度。实验结果表明,该方法在公开数据集CMeIE-V2和DuIE上具有显著的优势,能够提升中文实体关系抽取的精度与效率。 展开更多
关键词 实体关系抽取 中文文本 LTP工具 roberta-wwm-ext 图卷积神经网络 Efficient Glob-alPointer模型
在线阅读 下载PDF
基于SSWE与RoBERTa的文本情感分析
9
作者 李佳宁 褚丽莉 于清波 《长江信息通信》 2025年第5期47-51,共5页
针对大多数模型只是抓取语句的上下文语义信息,而对词语本身的情感极性没有过多的关注,忽略了情感词的存在这一问题,提出了一个RBSM情感分析模型构建思路,该模型使用RoBERTa预训练模型生成文本向量,增强词的语义表征能力,同时用SSWE情... 针对大多数模型只是抓取语句的上下文语义信息,而对词语本身的情感极性没有过多的关注,忽略了情感词的存在这一问题,提出了一个RBSM情感分析模型构建思路,该模型使用RoBERTa预训练模型生成文本向量,增强词的语义表征能力,同时用SSWE情感词向量获取具有情感信息的词向量。在送入编码层之前将两个词向量进行拼接,拼接后传入BiLSTM层,从正向和反向抓取语句的整体特征,最后传入Softmax层进行情感倾向的预测。结果表明,本文提出的RBSM模型在SMP2020微博情绪分类数据集中的通用(usual)微博数据集和疫情(virus)微博数据集实验效果较好,与其他的对比模型相比得到了有效的提升。 展开更多
关键词 深度学习 情感分析 roberta BiLSTM SSWE
在线阅读 下载PDF
基于RoBERTa和LSTM的对话情感分析
10
作者 郑树挺 张京玲 留黎钦 《计算机应用文摘》 2025年第11期74-76,共3页
对话情感分析在自然语言处理领域具有重要意义,广泛应用于人机交互、情感计算等方向。文章提出了一种基于RoBERTa和长短期记忆网络(LSTM)的对话情感分析方法。首先,利用预训练的RoBERTa模型对对话中的每一轮语句进行特征提取,采用CLS标... 对话情感分析在自然语言处理领域具有重要意义,广泛应用于人机交互、情感计算等方向。文章提出了一种基于RoBERTa和长短期记忆网络(LSTM)的对话情感分析方法。首先,利用预训练的RoBERTa模型对对话中的每一轮语句进行特征提取,采用CLS标记作为句子的嵌入表示。其次,将多轮对话的句子嵌入序列输入LSTM网络,捕捉对话上下文中的时间依赖关系,并进行情感预测。在DailyDialog数据集上进行了实验,结果表明,所提出的方法在对话情感分类任务中表现出较好的性能,验证了结合预训练语言模型与LSTM网络在对话情感分析任务中的有效性。 展开更多
关键词 情感分析 自然语言处理 多轮对话 LSTM roberta
在线阅读 下载PDF
基于RoBERTa-BGRU-CRF和对抗训练的金融命名实体识别
11
作者 董旭鑫 祝锡永 《计算机与数字工程》 2025年第5期1363-1368,1404,共7页
深度学习技术虽已广泛运用在金融命名实体识别中,但在现有的金融命名实体识别研究中,模型的训练仍然缺乏足够的数据支持。并且金融文本内容冗余,专业名词较多,难以有效识别出实体。针对上述问题,构建了金融命名实体识别数据集Ann-Finan... 深度学习技术虽已广泛运用在金融命名实体识别中,但在现有的金融命名实体识别研究中,模型的训练仍然缺乏足够的数据支持。并且金融文本内容冗余,专业名词较多,难以有效识别出实体。针对上述问题,构建了金融命名实体识别数据集Ann-Finance,并提出一种基于RoBERTa-BGRU-CRF和对抗训练模型(AT-RoBERTa-BGRU-CRF)来提取实体。首先通过RoBERTa预训练模型得到词嵌入向量;然后通过对抗训练生成对抗样本;接着将词向量和扰动样本输入到双向门控循环单元网络,获得上下文的深层语义信息;最后通过条件随机场得到全局最优序列,输出结果。实验结果表明,在构建的数据集Ann-Finance上模型的F1值达到67.92%;而在Resume数据集和Weibo数据集上,模型在实验中的F1值也达到95.54%和71.72%,证明了该命名实体识别模型的有效性。 展开更多
关键词 金融命名实体识别 roberta 对抗训练 门控循环单元网络 条件随机场
在线阅读 下载PDF
基于改进RoBERTa-BiLSTM-CRF的中文细粒度命名实体识别
12
作者 王晓蕾 曹黄杰 +1 位作者 王卉 陈丽娜 《电脑知识与技术》 2025年第11期39-43,共5页
为提升中文细粒度命名实体识别中的性能,解决实体类别区分能力不足、充分利用上下文文本信息以及模型泛化能力有限等问题。文章提出了一种基于改进RoBERTa-BiLSTM-CRF模型的识别方法。该方法通过RoBERTa-wwm-ext增强语义表达,利用BiLST... 为提升中文细粒度命名实体识别中的性能,解决实体类别区分能力不足、充分利用上下文文本信息以及模型泛化能力有限等问题。文章提出了一种基于改进RoBERTa-BiLSTM-CRF模型的识别方法。该方法通过RoBERTa-wwm-ext增强语义表达,利用BiLSTM提取上下文特征,采用CRF解码获得最佳标签序列,并通过Poly Loss优化模型。在CLUENER2020数据集上的实验结果表明,该方法有效提升了模型对难分样本的识别能力,具有良好的泛化性,并在多个数据集上取得了显著的性能提升。 展开更多
关键词 中文命名实体识别 细粒度 Poly Loss roberta BiLSTM-CRF
在线阅读 下载PDF
XLM-RoBERTa应用于多语言网页分类的微调策略研究
13
作者 杨甲栋 容晓峰 《西安工业大学学报》 2025年第3期452-467,共16页
为了解决XLM-RoBERTa在多语言网页分类任务中,受低质量数据影响导致微调效果不佳的问题,提出了一种高效的参数微调框架alterAda,以增强模型的数据适应能力。该框架结合了序列适配器与并行适配器,以提升XLM-RoBERTa预训练模型在多语言网... 为了解决XLM-RoBERTa在多语言网页分类任务中,受低质量数据影响导致微调效果不佳的问题,提出了一种高效的参数微调框架alterAda,以增强模型的数据适应能力。该框架结合了序列适配器与并行适配器,以提升XLM-RoBERTa预训练模型在多语言网页分类任务中的性能。实验结果表明,在自制数据集Type2的评估中,相较于加热Softmax函数的全参数微调策略,alterAda的F 1分数提升了2.2%;与MoE适配器方法相比,F1分数提升了1.2%。验证了alterAda框架在数据质量较差的任务中,能够显著提高模型的性能和资源利用效率。 展开更多
关键词 多语言网页分类 XLM-roberta 模型微调 适配器
在线阅读 下载PDF
基于RoBERTa-BiLSTM-CRF的C语言课程文本命名实体识别方法
14
作者 李敏 王国中 赵海武 《智能计算机与应用》 2025年第10期16-23,共8页
C语言课程文本知识点的命名实体和关系识别任务存在其特有的挑战,特别是在捕获技术性文本中的精细语境和处理知识点的多义性上。为了更好地解决这些挑战,本文引入了基于RoBERTa-BiLSTM-CRF的模型进行命名实体识别。首先,使用RoBERTa对C... C语言课程文本知识点的命名实体和关系识别任务存在其特有的挑战,特别是在捕获技术性文本中的精细语境和处理知识点的多义性上。为了更好地解决这些挑战,本文引入了基于RoBERTa-BiLSTM-CRF的模型进行命名实体识别。首先,使用RoBERTa对C语言课程文本进行预处理,从而生成了丰富的语义向量。这些向量随后被输入到BiLSTM-CRF模型中进行进一步的训练,有效地捕捉了知识点的上下文关系。在C语言课程数据集上的实验结果表现出色,F1值达到了令人满意的水平。这进一步证明,利用RoBERTa-BiLSTM-CRF模型进行命名实体识别可以为C语言课程构建更为精确的知识图谱,这对于教育者提升教学效果、对于增强学习者的学习体验和效果都具有重要意义。 展开更多
关键词 C语言 课程知识图谱 实体命名识别 roberta 双向长短期记忆网络 条件随机场
在线阅读 下载PDF
基于RoBERTa的新闻评论可解释性情感分析
15
作者 张月月 刘立佳 《统计学与应用》 2025年第4期34-46,共13页
在数字化信息高速传播的当下,实现对新闻评论精准且具备可解释性的情感分析,对舆情洞察与舆论引导极为关键。本研究运用RoBERTa模型,结合多尺度卷积神经网络(MSCNN),深度剖析新闻评论中的情感倾向。同时,采用局部可解释的模型无关解释方... 在数字化信息高速传播的当下,实现对新闻评论精准且具备可解释性的情感分析,对舆情洞察与舆论引导极为关键。本研究运用RoBERTa模型,结合多尺度卷积神经网络(MSCNN),深度剖析新闻评论中的情感倾向。同时,采用局部可解释的模型无关解释方法(LIME),实现对模型预测结果的深度解释,可视化展示模型在处理新闻评论时对词汇和短语的关注重点,为模型决策提供清晰依据。实验结果表明,RoBERTa-MSCNN在新闻评论情感分析任务上取得了更优的性能,准确率达到83.34%,精确率为82.6%,召回率为84.67%,F1值提升至83.62%。同时,可解释性分析为用户理解模型输出提供了清晰的视角,有助于新闻媒体更有效地进行舆情监测与引导,为相关领域的研究与应用提供了有力支持。In the current era of high-speed digital information dissemination, accurate and interpretable emotional analysis of news comments is crucial for public opinion insight and guidance. In this study, RoBERTa model and multi-scale convolutional neural network (MSCNN) are used to analyze the emotional tendency of news commentary. At the same time, Local Interpretable Model-agnostic Explanations (LIME) is used to realize the in-depth interpretation of the model prediction results and visually display the model’s focus on words and phrases when processing news comments, providing a clear basis for the model’s decision-making. The experimental results show that RoBERTa-MSCNN has achieved superior performance in the task of sentiment analysis of news comments. Its accuracy rate reaches 83.34%, the precision rate is 82.6%, the recall rate is 84.67%, and the F1 score has been increased to 83.62%. At the same time, interpretability analysis provides a clear perspective for users to understand the model output, helps news media to monitor and guide public opinion more effectively, and provides strong support for research and application in related fields. 展开更多
关键词 roberta 卷积神经网络 可解释性 情感分析
在线阅读 下载PDF
基于CRoBERTa-Effg和对抗训练的中文医疗命名实体识别
16
作者 邢雪凯 柯晨昊 +2 位作者 何帆 杨一鸣 胡国华 《黑龙江工业学院学报(综合版)》 2025年第4期103-107,共5页
针对利用预训练模型进行中文医疗命名识别任务中存在复杂的实体边界、多义性和数据稀疏性等问题,首先,提出了CRoBERTa+Efficient-GlobalPointer+PGD实体识别模型。模型在编码阶段使用chinese-roberta-wwm-ext预训练模型对输入进行编码,... 针对利用预训练模型进行中文医疗命名识别任务中存在复杂的实体边界、多义性和数据稀疏性等问题,首先,提出了CRoBERTa+Efficient-GlobalPointer+PGD实体识别模型。模型在编码阶段使用chinese-roberta-wwm-ext预训练模型对输入进行编码,充分捕捉上下文信息;其次,通过改进的Efficient-GlobalPointer网络处理嵌套与非嵌套实体关系,有效建模实体间的长距离依赖关系;最后,通过引入对抗训练策略增强模型对噪声和对抗样本的鲁棒性。在CMeEE中文医学命名实体识别数据集上进行实验,结果表明,该模型的准确率,召回率和F1值分别达到74.5%、75.4%、74.8%,较CRoBERTa-GlobalPointer模型在准确率、召回率、F1值上分别提升了1.3%、1.3%、1.2%。实验结果表明,该模型在复杂的医疗文本场景中具有更好的识别性能和鲁棒性。 展开更多
关键词 chinese-roberta-wwm-ext 命名实体识别 Efficient-GlobalPointer 对抗训练
在线阅读 下载PDF
基于RoBERTa和图增强Transformer的序列推荐方法 被引量:5
17
作者 王明虎 石智奎 +1 位作者 苏佳 张新生 《计算机工程》 CAS CSCD 北大核心 2024年第4期121-131,共11页
自推荐系统出现以来,有限的数据信息就一直制约着推荐算法的进一步发展。为降低数据稀疏性的影响,增强非评分数据的利用率,基于神经网络的文本推荐模型相继被提出,但主流的卷积或循环神经网络在文本语义理解和长距离关系捕捉方面存在明... 自推荐系统出现以来,有限的数据信息就一直制约着推荐算法的进一步发展。为降低数据稀疏性的影响,增强非评分数据的利用率,基于神经网络的文本推荐模型相继被提出,但主流的卷积或循环神经网络在文本语义理解和长距离关系捕捉方面存在明显劣势。为了更好地挖掘用户与商品之间的深层潜在特征,进一步提高推荐质量,提出一种基于Ro BERTa和图增强Transformer的序列推荐(RGT)模型。引入评论文本数据,首先利用预训练的Ro BERTa模型捕获评论文本中的字词语义特征,初步建模用户的个性化兴趣,然后根据用户与商品的历史交互信息,构建具有时序特性的商品关联图注意力机制网络模型,通过图增强Transformer的方法将图模型学习到的各个商品的特征表示以序列的形式输入Transformer编码层,最后将得到的输出向量与之前捕获的语义表征以及计算得到的商品关联图的全图表征输入全连接层,以捕获用户全局的兴趣偏好,实现用户对商品的预测评分。在3组真实亚马逊公开数据集上的实验结果表明,与Deep FM、Conv MF等经典文本推荐模型相比,RGT模型在均方根误差(RMSE)和平均绝对误差(MAE)2种指标上有显著提升,相较于最优对比模型最高分别提升4.7%和5.3%。 展开更多
关键词 推荐算法 评论文本 roberta模型 图注意力机制 Transformer机制
在线阅读 下载PDF
融合RoBERTa-GCN-Attention的隐喻识别与情感分类模型 被引量:3
18
作者 杨春霞 韩煜 +1 位作者 桂强 陈启岗 《小型微型计算机系统》 CSCD 北大核心 2024年第3期576-583,共8页
在隐喻识别与隐喻情感分类任务的联合研究中,现有多任务学习模型存在对隐喻语料中的上下文语义信息和句法结构信息提取不够准确,并且缺乏对粗细两种粒度信息同时捕捉的问题.针对第1个问题,首先改进了传统的RoBERTa模型,在原有的自注意... 在隐喻识别与隐喻情感分类任务的联合研究中,现有多任务学习模型存在对隐喻语料中的上下文语义信息和句法结构信息提取不够准确,并且缺乏对粗细两种粒度信息同时捕捉的问题.针对第1个问题,首先改进了传统的RoBERTa模型,在原有的自注意力机制中引入上下文信息,以此提取上下文中重要的隐喻语义特征;其次在句法依存树上使用图卷积网络提取隐喻句中的句法结构信息.针对第2个问题,使用双层注意力机制,分别聚焦于单词和句子层面中对隐喻识别和情感分类有贡献的特征信息.在两类任务6个数据集上的对比实验结果表明,该模型相比基线模型性能均有提升. 展开更多
关键词 隐喻识别 情感分类 多任务学习 roberta 图卷积网络 注意力机制
在线阅读 下载PDF
基于RoBERTa_BiLSTM_CRF的文本情报命名实体识别 被引量:3
19
作者 陆泽健 赵文 尹港港 《中国电子科学研究院学报》 2024年第5期442-447,共6页
随着网络信息的爆炸式增长,威胁情报分析作为军事情报分析与战略决策的重要组成部分,其面临着来源多样化和信息结构复杂化的挑战。传统的人工信息提取方法在处理这些大量结构化及非结构化信息时效率低下,准确性有限。文中针对这一挑战,... 随着网络信息的爆炸式增长,威胁情报分析作为军事情报分析与战略决策的重要组成部分,其面临着来源多样化和信息结构复杂化的挑战。传统的人工信息提取方法在处理这些大量结构化及非结构化信息时效率低下,准确性有限。文中针对这一挑战,提出了一种结合RoBERTa、BiLSTM和条件随机场(Conditional Random Fields,CRF)的命名实体识别新算法。此算法通过Ro-BERTa模型深入挖掘文本的语义特征,BiLSTM模型捕捉序列上下文信息,CRF层用于精确的实体标记,从而有效提升信息提取的准确率和效率。本文基于开源情报语料库构建了一个涉及导弹发射事件的命名实体识别数据集,并在此基础上进行了实验,结果表明,该方法在精确率、召回率及F1值等关键指标上相较于主流深度学习方法表现出显著的性能提升,其中F1值高达94.21%。 展开更多
关键词 威胁情报分析 命名实体识别 roberta BiLSTM CRF
在线阅读 下载PDF
基于Roberta的中文短文本语义相似度计算研究 被引量:1
20
作者 张小艳 李薇 《计算机应用与软件》 北大核心 2024年第8期275-281,366,共8页
针对传统基于孪生网络的文本语义相似度计算模型中存在特征提取能力不足的问题,提出一种融合孪生网络与Roberta预训练模型SRoberta-SelfAtt。在孪生网络架构上,通过Roberta预训练模型分别将原始文本对编码为字级别向量,并使用自注意力... 针对传统基于孪生网络的文本语义相似度计算模型中存在特征提取能力不足的问题,提出一种融合孪生网络与Roberta预训练模型SRoberta-SelfAtt。在孪生网络架构上,通过Roberta预训练模型分别将原始文本对编码为字级别向量,并使用自注意力机制捕获文本内部不同字之间的关联;通过池化策略获取文本对的句向量进而将表示结果交互并融合;在全连接层计算损失值,评价文本对的语义相似度。将此模型在两类任务下的三种数据集上进行实验,其结果相比于其他模型有所提升,为进一步优化文本语义相似度计算的准确率提供有效依据。 展开更多
关键词 孪生神经网络 roberta 自注意力机制 中文短文本 语义相似度计算
在线阅读 下载PDF
上一页 1 2 8 下一页 到第
使用帮助 返回顶部