期刊文献+
共找到175篇文章
< 1 2 9 >
每页显示 20 50 100
基于RoBERTa-MTL融合语言特征的有害文本识别
1
作者 张新生 张颢泷 +1 位作者 马玉龙 王润周 《情报杂志》 北大核心 2026年第1期75-82,共8页
[目的]针对传统文本识别模型在应对社交媒体有害言论多样性和隐蔽性时的局限性,探索更精准、高效的识别方法,以提升有害言论识别的准确性与泛用性,助力构建健康安全的网络环境。[方法]提出了一种基于RoBERTa和多任务模型联合学习的方法... [目的]针对传统文本识别模型在应对社交媒体有害言论多样性和隐蔽性时的局限性,探索更精准、高效的识别方法,以提升有害言论识别的准确性与泛用性,助力构建健康安全的网络环境。[方法]提出了一种基于RoBERTa和多任务模型联合学习的方法,利用RoBERTa提取文本词向量,构建共享编码器和多个单任务编码器分别提取通用特征和专属特征,将两类特征融合生成文本的最终特征表达。[结果/结论]实验结果表明,多任务模型在精确率、准确率、召回率、F 1上比传统的文本分类提升了10%左右,说明多任务模型能更充分地挖掘不同类型有害文本之间的关联,提升模型对有害言论检测的效果。 展开更多
关键词 有害文本 有害言论识别 多任务模型 roberta BiLSTM
在线阅读 下载PDF
基于RoBERTa模型的民机运维数据语料要素识别
2
作者 马超 邹子炀 范杰 《科学技术与工程》 北大核心 2026年第2期701-707,共7页
随着民用航空业的快速发展,民机运维数据的深度解析成为提升飞行安全与维修效能的关键路径。针对非结构化运维文本中要素实体识别与用户意图理解的双重需求,提出了一种多任务协同分析框架:首先,通过RoBERTa(robustly optimized BERT app... 随着民用航空业的快速发展,民机运维数据的深度解析成为提升飞行安全与维修效能的关键路径。针对非结构化运维文本中要素实体识别与用户意图理解的双重需求,提出了一种多任务协同分析框架:首先,通过RoBERTa(robustly optimized BERT approach)模型进行预训练捕捉语义信息,接着通过双向长短期记忆网络(bidirectional long short-term memory,BiLSTM)捕获时序依赖特征,并利用条件随机场(conditional random field,CRF)优化标签转移约束并输出,实现对维修记录中部件、故障、操作等实体的高精度识别;其次,面向智能问答系统的语义理解需求,对比分析BERT、RoBERTa及Qwen-Max预训练语言模型在运维意图识别任务中的适应性,基于性能与计算效率的平衡性验证,确立RoBERTa为意图分类基座模型。实验表明,所提框架在实体抽取与意图识别任务中均显著优于传统基准模型,其双任务协同机制为民机运维知识图谱构建与智能问答服务提供了数据支撑,具有较高的应用潜力和实用价值。 展开更多
关键词 roberta 命名实体识别 民机运维数据 自然语言处理
在线阅读 下载PDF
基于RoBERTa和指针网络的中文实体与关系联合抽取方法
3
作者 陈燕 韦紫君 +3 位作者 廖宇翔 谭志湘 胡小春 宋玲 《郑州大学学报(工学版)》 北大核心 2026年第2期41-50,共10页
为了有效解决非结构化文本中实体与关系联合抽取时的三元组重叠问题,提出了一种基于RoBERTa和指针网络的中文实体与关系联合抽取方法。首先,针对实体重叠问题,基于指针网络设计了实体识别模块,将实体识别任务构建为token-pair识别问题,... 为了有效解决非结构化文本中实体与关系联合抽取时的三元组重叠问题,提出了一种基于RoBERTa和指针网络的中文实体与关系联合抽取方法。首先,针对实体重叠问题,基于指针网络设计了实体识别模块,将实体识别任务构建为token-pair识别问题,通过识别实体的开始和结束位置来提取所有可能的实体;其次,针对三元组重叠问题,设计基于多头注意力机制和Ptr-Net的关系抽取模块,将三元组(s,r,o)抽取任务构建为五元组(s_(h),s_(t),r,o_(h),o_(t))识别任务;最后,在中文信息抽取数据集DuIE上进行大量实验。实验结果表明:所提模型综合性能优于所有基线模型,其精确率、召回率和F 1值分别为81.04%、85.82%和83.36%。 展开更多
关键词 实体与关系联合抽取 roberta 指针网络 自然语言处理 深度学习
在线阅读 下载PDF
基于RoBERTa-RGP-MRC架构的客运调度命令多任务解析研究
4
作者 吴骏宇 党天正 +1 位作者 田苗苗 郭朋 《铁路计算机应用》 2026年第2期1-8,共8页
针对铁路客运调度命令传统人工解析方法存在的效率低、准确性不足等问题,提出一种基于RoBERTa-RGP-MRC架构的多任务联合解析模型。该模型集成了命令分类、命名实体识别与关系抽取3项核心任务,通过预训练语言模型、语义建模机制与多任务... 针对铁路客运调度命令传统人工解析方法存在的效率低、准确性不足等问题,提出一种基于RoBERTa-RGP-MRC架构的多任务联合解析模型。该模型集成了命令分类、命名实体识别与关系抽取3项核心任务,通过预训练语言模型、语义建模机制与多任务协同策略,有效提升了解析的准确性与语义理解能力。实验结果表明,该模型在命令分类任务上准确率达到94.2%,在命名实体识别和关系抽取任务上分别取得93.9%和89.7%的F1分数,各项性能均优于现有主流方法。该研究为实现铁路调度命令的智能化解析与实时处理提供了可行的技术途径,具有较强的工程应用潜力。 展开更多
关键词 铁路调度 命令解析 roberta 命名实体识别 关系抽取
在线阅读 下载PDF
基于RoBERTa和LightGBM的中文图书采选模型研究 被引量:3
5
作者 钟建法 孟子正 《大学图书馆学报》 北大核心 2025年第1期82-92,共11页
在对智能图书采选模型构建方法进行综述和对相关机器学习算法进行介绍基础上,探索基于RoBERTa和LightGBM构建高校图书馆中文图书采选机器学习模型。分析模型的构建目标和研究框架,从数据来源与清洗、特征筛选与确定、衍生特征构建、基于... 在对智能图书采选模型构建方法进行综述和对相关机器学习算法进行介绍基础上,探索基于RoBERTa和LightGBM构建高校图书馆中文图书采选机器学习模型。分析模型的构建目标和研究框架,从数据来源与清洗、特征筛选与确定、衍生特征构建、基于RoBERTa模型的文本特征构造、数据编码等方面对特征工程进行详细描述,构建基于LightGBM的中文图书采选分类模型并进行模型评估,提出模型应用策略方案和后续研究建议,以期推进机器学习模型的应用发展和图书采选工作的智能化转型。 展开更多
关键词 高校图书馆 图书采访 机器学习模型 roberta LightGBM
在线阅读 下载PDF
基于RoBERTa的中医药专利命名实体识别
6
作者 邓娜 何昕洋 +1 位作者 熊才权 宗泽华 《湖北工业大学学报》 2025年第1期55-60,75,共7页
中医药发明专利的成分及功能实体具有种类复杂、歧义繁多等特点。针对传统命名实体识别方法无法充分获取其中的语义特征表示,上下文信息及一词多义等问题,提出一种中医药发明专利命名实体识别模型,该模型将RoBERTa-WWM预训练模型、双向... 中医药发明专利的成分及功能实体具有种类复杂、歧义繁多等特点。针对传统命名实体识别方法无法充分获取其中的语义特征表示,上下文信息及一词多义等问题,提出一种中医药发明专利命名实体识别模型,该模型将RoBERTa-WWM预训练模型、双向长短期记忆(BiLSTM)网络、条件随机场(CRF)三个模块串联结合,将专利摘要依次通过RoBERTa-WWM进行语义提取生成含有先验知识的语义词嵌入;BiLSTM网络增强词嵌入中的上下文特征信息;CRF解码序列,输出概率最大结果。实验结果表明,该模型在真实中医药发明专利文本语料库上,F1值(F-Measure)相较其他主流方法在成分与功能的识别上分别提升了5.80%和6.63%,能有效提升中医药发明专利摘要中药物成分及功能识别的准确率。 展开更多
关键词 中医药发明专利 命名实体识别 roberta-WWM BiLSTM
在线阅读 下载PDF
基于RoBERTa模型和知识蒸馏的酒店文本分类
7
作者 喻金平 罗琛 +1 位作者 姚炫辰 李钰 《计算机与数字工程》 2025年第8期2174-2180,共7页
随着互联网和社交媒体的快速发展,人们越来越倾向于在网络上分享的酒店体验,这种信息泛滥给酒店管理带来了很大的挑战。基于深度学习的分文本分类模型较大且复杂,参数众多。为此,提出了一种基于知识蒸馏的方法即将大型模型中的知识压缩... 随着互联网和社交媒体的快速发展,人们越来越倾向于在网络上分享的酒店体验,这种信息泛滥给酒店管理带来了很大的挑战。基于深度学习的分文本分类模型较大且复杂,参数众多。为此,提出了一种基于知识蒸馏的方法即将大型模型中的知识压缩到小型模型中,实现模型的高效精确的预测。针对酒店文本的特点,使用RoBERTa-base模型作为教师模型,从大规模的酒店文本数据集中进行训练,并获得高精度的情感分类结果。使用BiLSTM作为学生模型,并对教师模型的知识进行蒸馏,并将其应用于情感分析任务中。实验结果显示,RoBERTa-base-BiLSTM蒸馏模型在准确率、精确率和综合评价指标上展现出了出色的表现。经过蒸馏的BiLSTM学生模型在准确率方面比原始的BiLSTM模型取得了更高的准确性,准确率提高了5.08%,并且降低了模型的复杂度和预测耗时。实验结果表明该模型可以有效地提高酒店文本情感分析的准确性和效率,对酒店文本分类具有一定的参考价值。 展开更多
关键词 文本情感分类 深度学习 预训练语言处理 知识蒸馏 roberta
在线阅读 下载PDF
基于RoBERTa-ON-LSTM-AT的电力运维日志分类模型
8
作者 张学谦 吕磊 《微型电脑应用》 2025年第1期28-31,共4页
针对静态词向量模型无法表示多义词,传统序列模型无法捕获层级特征等问题,提出基于鲁棒优化的BERT预训练方法结合有序神经元LSTM和注意力机制(RoBERTa-ON-LSTM-AT)的电力运维日志模型。RoBERTa模型提取文本动态向量表示,解决一词多义问... 针对静态词向量模型无法表示多义词,传统序列模型无法捕获层级特征等问题,提出基于鲁棒优化的BERT预训练方法结合有序神经元LSTM和注意力机制(RoBERTa-ON-LSTM-AT)的电力运维日志模型。RoBERTa模型提取文本动态向量表示,解决一词多义问题;ON-LSTM模型通过对神经元排序,捕获文本层级结构特征;AT识别对分类结果影响更高的关键词。在电力运维日志数据集进行实验,通过RoBERTa-ON-LSTM-AT模型可以得到F_(1)最高分,进而验证了模型的有效性。 展开更多
关键词 文本分类 roberta ON-LSTM 注意力机制
在线阅读 下载PDF
基于RoBERTa-BiGRU-eKAN的AI生成水印文本检测模型研究 被引量:1
9
作者 刘冬 许鑫 蔚海燕 《中国人民公安大学学报(自然科学版)》 2025年第3期85-94,共10页
针对AI生成文本的快速精准识别问题,使用HC3数据集、SynthID水印生成算法和Gemma 2-2 B-it模型生成了包含人类撰写、AI生成、AI生成水印文本3种类别的AI生成水印检测文本数据集,并提出了基于一种RoBERT a-BiGR U-eKAN的高效AI生成水印... 针对AI生成文本的快速精准识别问题,使用HC3数据集、SynthID水印生成算法和Gemma 2-2 B-it模型生成了包含人类撰写、AI生成、AI生成水印文本3种类别的AI生成水印检测文本数据集,并提出了基于一种RoBERT a-BiGR U-eKAN的高效AI生成水印文本检测模型。该模型首先使用RoBERTa对输入文本进行编码转换和文本语义特征的抽取,然后使用BiGRU进行特征的长距离归纳提炼,最后使用eKAN进行高效准确分类。通过文本长度、词性标注等维度对比分析,发现人类撰写文本长度较短且语言表达更加生动,语法结构也更为复杂。检测结果表明,提出的模型在AI生成水印文本检测中准确率、精准率、召回率和F1值分别达到了96.39%、96.40%、96.41%和96.39%。 展开更多
关键词 AI生成文本 水印 eKAN roberta SynthID
在线阅读 下载PDF
改进RoBERTa、多实例学习和双重注意力机制的关系抽取方法
10
作者 王禹鸥 苑迎春 +1 位作者 何振学 王克俭 《山东大学学报(工学版)》 北大核心 2025年第2期78-87,共10页
针对远程监督关系抽取不能充分利用句子上下文高层信息、易带来噪声标注的问题,提出一种基于改进鲁棒优化的双向编码器表征预训练模型(robustly optimized bidirectional encoder representations from Transformers pretraining approa... 针对远程监督关系抽取不能充分利用句子上下文高层信息、易带来噪声标注的问题,提出一种基于改进鲁棒优化的双向编码器表征预训练模型(robustly optimized bidirectional encoder representations from Transformers pretraining approach,RoBERTa)、多实例学习(multiple-instance learning,MI)和双重注意力(dual attention,DA)机制的关系抽取方法。在RoBERTa中引入全词动态掩码,获取文本上下文信息,获得词级别语义向量;将特征向量输入双向门控循环单元(bidirectional gated recurrent unit,BiGRU),挖掘文本深层次语义表征;引入多实例学习,通过学习实例级别特征缩小关系抽取类别范围;引入双重注意力机制,结合词语级注意力机制和句子级注意力机制的优势,充分捕捉句子中实体词语特征信息和对有效语句的关注度,增强句子表达能力。试验结果表明,在公开数据集纽约时报(New York Times,NYT)数据集和谷歌IISc远程监督(Google IISc distant supervision,GIDS)数据集中,关系抽取方法的F1值分别为88.63%、90.13%,均优于主流对比方法,能够有效降低远程监督噪声影响,实现关系抽取,为构建知识图谱提供理论基础。 展开更多
关键词 远程监督 关系抽取 改进roberta 多实例学习 双重注意力机制
原文传递
基于“DiaASQ+RoBERTa”的对话式股吧评论方面级情感分析
11
作者 段一奇 吴江 程征 《情报理论与实践》 北大核心 2025年第4期163-173,共11页
[目的/意义]针对以往金融评论情感分析研究中多数研究局限于单一评论文本为研究对象,方面级金融情感分析中提取情感元素不够丰富等问题,提出了一个新的对话式股吧评论方面级情感分析任务。[方法/过程]基于该任务,构建了一个两阶段式的... [目的/意义]针对以往金融评论情感分析研究中多数研究局限于单一评论文本为研究对象,方面级金融情感分析中提取情感元素不够丰富等问题,提出了一个新的对话式股吧评论方面级情感分析任务。[方法/过程]基于该任务,构建了一个两阶段式的对话式股吧评论方面情感四元组提取框架,利用“DiaASQ+RoBERTa”方法分阶段提取对话式股吧评论中的方面类别、方面术语、观点术语及情感极性,经过情感元素的组合映射得到方面情感四元组,然后以东方财富股吧为数据来源构建对话式股吧评论数据集进行实证研究。[结果/结论]实验结果表明,与同一数据集上的最佳基线模型相比,“DiaASQ+RoBERTa”方法在F1值方面提升了约16.18%,显著优于基线方法。该研究不仅拓宽了金融评论情感分析领域的研究范围,还进一步完善了方面级金融情感元素提取的丰富度,为投资决策提供更多参考依据。 展开更多
关键词 方面级情感分析 DiaASQ roberta 对话式股吧评论 金融评论
原文传递
RoBERTa-GCN-EGPLinker中文实体关系联合抽取
12
作者 冯甲 张仕斌 +3 位作者 闫丽丽 秦智 昌燕 吕智颖 《计算机技术与发展》 2025年第9期132-139,共8页
实体关系抽取是自然语言处理中的核心任务之一,旨在从文本中识别出实体及其之间的关系,生成实体关系三元组,为后续的数据分析和知识发现提供基础。随着中文语言的复杂性,尤其是在实体嵌套、关系重叠等问题上,中文实体关系抽取面临着诸... 实体关系抽取是自然语言处理中的核心任务之一,旨在从文本中识别出实体及其之间的关系,生成实体关系三元组,为后续的数据分析和知识发现提供基础。随着中文语言的复杂性,尤其是在实体嵌套、关系重叠等问题上,中文实体关系抽取面临着诸多挑战。传统方法在处理这些复杂语言现象时,常常受到语法结构和上下文信息捕捉不充分的限制。因此,如何提高中文实体关系抽取的精度和效率,成为了该领域研究的重点。为了解决这些问题,提出了一种基于RoBERTa-GCN-EGPLinker的中文实体关系联合抽取方法。该方法首先利用RoBERTa-wwm-ext模型对文本进行深度语义编码,结合中文依存分析工具LTP,提取文本的依存关系和句法结构信息。接着,通过构建图卷积神经网络(GCN)和语义邻接矩阵,进一步捕捉文本中的结构化信息。这种方法不仅能够有效处理实体之间的关系,还能在面对复杂语言现象时保持较高的抽取精度。实验结果表明,该方法在公开数据集CMeIE-V2和DuIE上具有显著的优势,能够提升中文实体关系抽取的精度与效率。 展开更多
关键词 实体关系抽取 中文文本 LTP工具 roberta-wwm-ext 图卷积神经网络 Efficient Glob-alPointer模型
在线阅读 下载PDF
基于SSWE与RoBERTa的文本情感分析
13
作者 李佳宁 褚丽莉 于清波 《长江信息通信》 2025年第5期47-51,共5页
针对大多数模型只是抓取语句的上下文语义信息,而对词语本身的情感极性没有过多的关注,忽略了情感词的存在这一问题,提出了一个RBSM情感分析模型构建思路,该模型使用RoBERTa预训练模型生成文本向量,增强词的语义表征能力,同时用SSWE情... 针对大多数模型只是抓取语句的上下文语义信息,而对词语本身的情感极性没有过多的关注,忽略了情感词的存在这一问题,提出了一个RBSM情感分析模型构建思路,该模型使用RoBERTa预训练模型生成文本向量,增强词的语义表征能力,同时用SSWE情感词向量获取具有情感信息的词向量。在送入编码层之前将两个词向量进行拼接,拼接后传入BiLSTM层,从正向和反向抓取语句的整体特征,最后传入Softmax层进行情感倾向的预测。结果表明,本文提出的RBSM模型在SMP2020微博情绪分类数据集中的通用(usual)微博数据集和疫情(virus)微博数据集实验效果较好,与其他的对比模型相比得到了有效的提升。 展开更多
关键词 深度学习 情感分析 roberta BiLSTM SSWE
在线阅读 下载PDF
基于RoBERTa和LSTM的对话情感分析
14
作者 郑树挺 张京玲 留黎钦 《计算机应用文摘》 2025年第11期74-76,共3页
对话情感分析在自然语言处理领域具有重要意义,广泛应用于人机交互、情感计算等方向。文章提出了一种基于RoBERTa和长短期记忆网络(LSTM)的对话情感分析方法。首先,利用预训练的RoBERTa模型对对话中的每一轮语句进行特征提取,采用CLS标... 对话情感分析在自然语言处理领域具有重要意义,广泛应用于人机交互、情感计算等方向。文章提出了一种基于RoBERTa和长短期记忆网络(LSTM)的对话情感分析方法。首先,利用预训练的RoBERTa模型对对话中的每一轮语句进行特征提取,采用CLS标记作为句子的嵌入表示。其次,将多轮对话的句子嵌入序列输入LSTM网络,捕捉对话上下文中的时间依赖关系,并进行情感预测。在DailyDialog数据集上进行了实验,结果表明,所提出的方法在对话情感分类任务中表现出较好的性能,验证了结合预训练语言模型与LSTM网络在对话情感分析任务中的有效性。 展开更多
关键词 情感分析 自然语言处理 多轮对话 LSTM roberta
在线阅读 下载PDF
基于RoBERTa-BGRU-CRF和对抗训练的金融命名实体识别
15
作者 董旭鑫 祝锡永 《计算机与数字工程》 2025年第5期1363-1368,1404,共7页
深度学习技术虽已广泛运用在金融命名实体识别中,但在现有的金融命名实体识别研究中,模型的训练仍然缺乏足够的数据支持。并且金融文本内容冗余,专业名词较多,难以有效识别出实体。针对上述问题,构建了金融命名实体识别数据集Ann-Finan... 深度学习技术虽已广泛运用在金融命名实体识别中,但在现有的金融命名实体识别研究中,模型的训练仍然缺乏足够的数据支持。并且金融文本内容冗余,专业名词较多,难以有效识别出实体。针对上述问题,构建了金融命名实体识别数据集Ann-Finance,并提出一种基于RoBERTa-BGRU-CRF和对抗训练模型(AT-RoBERTa-BGRU-CRF)来提取实体。首先通过RoBERTa预训练模型得到词嵌入向量;然后通过对抗训练生成对抗样本;接着将词向量和扰动样本输入到双向门控循环单元网络,获得上下文的深层语义信息;最后通过条件随机场得到全局最优序列,输出结果。实验结果表明,在构建的数据集Ann-Finance上模型的F1值达到67.92%;而在Resume数据集和Weibo数据集上,模型在实验中的F1值也达到95.54%和71.72%,证明了该命名实体识别模型的有效性。 展开更多
关键词 金融命名实体识别 roberta 对抗训练 门控循环单元网络 条件随机场
在线阅读 下载PDF
基于改进RoBERTa-BiLSTM-CRF的中文细粒度命名实体识别
16
作者 王晓蕾 曹黄杰 +1 位作者 王卉 陈丽娜 《电脑知识与技术》 2025年第11期39-43,共5页
为提升中文细粒度命名实体识别中的性能,解决实体类别区分能力不足、充分利用上下文文本信息以及模型泛化能力有限等问题。文章提出了一种基于改进RoBERTa-BiLSTM-CRF模型的识别方法。该方法通过RoBERTa-wwm-ext增强语义表达,利用BiLST... 为提升中文细粒度命名实体识别中的性能,解决实体类别区分能力不足、充分利用上下文文本信息以及模型泛化能力有限等问题。文章提出了一种基于改进RoBERTa-BiLSTM-CRF模型的识别方法。该方法通过RoBERTa-wwm-ext增强语义表达,利用BiLSTM提取上下文特征,采用CRF解码获得最佳标签序列,并通过Poly Loss优化模型。在CLUENER2020数据集上的实验结果表明,该方法有效提升了模型对难分样本的识别能力,具有良好的泛化性,并在多个数据集上取得了显著的性能提升。 展开更多
关键词 中文命名实体识别 细粒度 Poly Loss roberta BiLSTM-CRF
在线阅读 下载PDF
基于RoBERTa-WWM-RCNN 的疫情评论情感分析
17
作者 李浩 张洁 《计算机与数字工程》 2025年第10期2708-2712,2727,共6页
为了协助政府更好地了解疫情期间人民的主要情感倾向,更加科学有效地做好防疫决策,该文提出基于RoBERTa-WWM-RCNN的疫情评论情感分析模型。首先通过采用文本分词、停用词表等过滤方式来对数据集进行预处理,其次利用RoBERTa模型以及使用... 为了协助政府更好地了解疫情期间人民的主要情感倾向,更加科学有效地做好防疫决策,该文提出基于RoBERTa-WWM-RCNN的疫情评论情感分析模型。首先通过采用文本分词、停用词表等过滤方式来对数据集进行预处理,其次利用RoBERTa模型以及使用全词掩码策略来解决一词多义的问题,再利用循环卷积神经网络模型来获取更全面的上下文语义特征信息。最后再通过Softmax分类器来获得评论数据的情感极性,包括积极、中性以及消极三类。通过实验结果表明,该模型在微博疫情评论数据集上效果最好,其中准确率为75.62%,Macro_F1值为72.05%。 展开更多
关键词 深度学习 疫情情感分析 roberta-WWM模型 RCNN模型
在线阅读 下载PDF
XLM-RoBERTa应用于多语言网页分类的微调策略研究
18
作者 杨甲栋 容晓峰 《西安工业大学学报》 2025年第3期452-467,共16页
为了解决XLM-RoBERTa在多语言网页分类任务中,受低质量数据影响导致微调效果不佳的问题,提出了一种高效的参数微调框架alterAda,以增强模型的数据适应能力。该框架结合了序列适配器与并行适配器,以提升XLM-RoBERTa预训练模型在多语言网... 为了解决XLM-RoBERTa在多语言网页分类任务中,受低质量数据影响导致微调效果不佳的问题,提出了一种高效的参数微调框架alterAda,以增强模型的数据适应能力。该框架结合了序列适配器与并行适配器,以提升XLM-RoBERTa预训练模型在多语言网页分类任务中的性能。实验结果表明,在自制数据集Type2的评估中,相较于加热Softmax函数的全参数微调策略,alterAda的F 1分数提升了2.2%;与MoE适配器方法相比,F1分数提升了1.2%。验证了alterAda框架在数据质量较差的任务中,能够显著提高模型的性能和资源利用效率。 展开更多
关键词 多语言网页分类 XLM-roberta 模型微调 适配器
在线阅读 下载PDF
基于RoBERTa-Prompt-R-Drop新闻主题分类
19
作者 郭伟翰 《计算机时代》 2025年第12期44-49,共6页
针对新闻主题文本分类面临的上下文缺失与数据稀疏挑战,本文提出一种融合RoBERTa、提示学习与R-Drop的联合优化框架。该框架利用提示学习将分类转化为掩码语言模型任务,激活RoBERTa的预训练语义知识以弥补上下文信息缺失;同时,采用R-Dro... 针对新闻主题文本分类面临的上下文缺失与数据稀疏挑战,本文提出一种融合RoBERTa、提示学习与R-Drop的联合优化框架。该框架利用提示学习将分类转化为掩码语言模型任务,激活RoBERTa的预训练语义知识以弥补上下文信息缺失;同时,采用R-Drop对同一输入的两次Dropout随机失活输出施加KL散度约束,实现无负样本的对比正则化,迫使模型学习对噪声不敏感的鲁棒表征,从而规避低质量负样本构造带来的问题。THUCNews数据集上的实验结果表明,本方法取得了96.61%的准确率,显著优于各基线模型,充分验证了该策略在提升分类精度与模型鲁棒性方面的有效性。 展开更多
关键词 文本分类 新闻主题 roberta 提示学习 R-Drop
在线阅读 下载PDF
基于RoBERTa-BiLSTM-CRF的C语言课程文本命名实体识别方法
20
作者 李敏 王国中 赵海武 《智能计算机与应用》 2025年第10期16-23,共8页
C语言课程文本知识点的命名实体和关系识别任务存在其特有的挑战,特别是在捕获技术性文本中的精细语境和处理知识点的多义性上。为了更好地解决这些挑战,本文引入了基于RoBERTa-BiLSTM-CRF的模型进行命名实体识别。首先,使用RoBERTa对C... C语言课程文本知识点的命名实体和关系识别任务存在其特有的挑战,特别是在捕获技术性文本中的精细语境和处理知识点的多义性上。为了更好地解决这些挑战,本文引入了基于RoBERTa-BiLSTM-CRF的模型进行命名实体识别。首先,使用RoBERTa对C语言课程文本进行预处理,从而生成了丰富的语义向量。这些向量随后被输入到BiLSTM-CRF模型中进行进一步的训练,有效地捕捉了知识点的上下文关系。在C语言课程数据集上的实验结果表现出色,F1值达到了令人满意的水平。这进一步证明,利用RoBERTa-BiLSTM-CRF模型进行命名实体识别可以为C语言课程构建更为精确的知识图谱,这对于教育者提升教学效果、对于增强学习者的学习体验和效果都具有重要意义。 展开更多
关键词 C语言 课程知识图谱 实体命名识别 roberta 双向长短期记忆网络 条件随机场
在线阅读 下载PDF
上一页 1 2 9 下一页 到第
使用帮助 返回顶部