期刊文献+
共找到8篇文章
< 1 >
每页显示 20 50 100
一种基于预训练语言模型XLNet的测井曲线重构方法 被引量:1
1
作者 曹茂俊 赵宇杰 《计算机技术与发展》 2025年第2期183-190,共8页
在油田勘探开发过程中,测井曲线作为地球物理测井的第一手资料,能够真实反映地下空间的分布与特性。然而,在实际工作中,由于井壁垮塌和仪器故障等原因,部分测井数据常常出现失真或缺失。为解决这一问题,该文提出了一种基于预训练语言模... 在油田勘探开发过程中,测井曲线作为地球物理测井的第一手资料,能够真实反映地下空间的分布与特性。然而,在实际工作中,由于井壁垮塌和仪器故障等原因,部分测井数据常常出现失真或缺失。为解决这一问题,该文提出了一种基于预训练语言模型XLNet的测井曲线重构方法。该方法通过筛选地层地质岩性特征指数,获取高质量的训练样本,并将其作为预训练模型重构测井曲线的依据。构建并训练带有预训练权重信息的XLNet模型,使模型具备对复杂地层特性的理解和数据重构能力。在模型的构建与训练过程中,引入了预训练权重,并进一步结合了LoRA(Low-Rank Adaptation)模块,以充分利用测井曲线之间的高度依赖关系,进而辅助XLNet生成和补全失真或缺失的测井数据。与已知曲线重构模型:基于注意力表征的长短期记忆神经网络(LSTM-Attent)、双向门控神经网络(BiGRU)、TimesNet及XLNet相比,基于预训练语言模型XLNet-LoRA的测井曲线重构模型具有更高的预测准确性。 展开更多
关键词 测井曲线重构 深度学习 预训练语言模型 xlnet网络 LoRA机制
在线阅读 下载PDF
融合XLnet与DMGAN的文本生成图像方法 被引量:1
2
作者 赵泽纬 车进 吕文涵 《液晶与显示》 CAS CSCD 北大核心 2024年第2期168-179,共12页
针对文本生成图像任务中的文本编码器不能深度挖掘文本信息,导致后续生成的图像存在语义不一致的问题,本文提出了一种改进DMGAN模型的文本生成图像方法。首先使用XLnet的预训练模型对文本进行编码,该模型在大规模语料库的预训练之下能... 针对文本生成图像任务中的文本编码器不能深度挖掘文本信息,导致后续生成的图像存在语义不一致的问题,本文提出了一种改进DMGAN模型的文本生成图像方法。首先使用XLnet的预训练模型对文本进行编码,该模型在大规模语料库的预训练之下能够捕获大量文本的先验知识,实现对上下文信息的深度挖掘;然后在DMGAN模型生成图像的初始阶段和图像细化阶段均加入通道注意力模块,突出重要的特征通道,进一步提升生成图像的语义一致性和空间布局合理性,以及模型的收敛速度和稳定性。实验结果表明,所提出模型在CUB数据集上生成的图像相比原DMGAN模型,IS指标提升了0.47,FID指标降低了2.78,充分说明该模型具有更好的跨模态生成能力。 展开更多
关键词 文本生成图像 xlnet模型 生成对抗网络 通道注意力
在线阅读 下载PDF
基于XLNET模型的开阳磷矿成矿条件相关地质实体识别与应用
3
作者 彭彬 田宜平 +2 位作者 曾斌 吴雪超 吴文明 《地质科技通报》 CAS CSCD 北大核心 2024年第4期224-234,共11页
随着磷矿找矿难度越来越大,地质勘探成果报告也愈来愈多,通过人工识别海量文档中与磷矿成矿相关地质信息耗时低效,无法满足知识共享传播和地质报告智能管理的需求。为快速获得磷矿地质文档报告中隐藏的成矿地质知识,基于XLNET模型建立... 随着磷矿找矿难度越来越大,地质勘探成果报告也愈来愈多,通过人工识别海量文档中与磷矿成矿相关地质信息耗时低效,无法满足知识共享传播和地质报告智能管理的需求。为快速获得磷矿地质文档报告中隐藏的成矿地质知识,基于XLNET模型建立了磷矿成矿地质实体自动识别的方法。首先对实体进行BIO标注建立地质实体字典,利用XLNET作为底层预处理模型学习句子双向语义;然后使用BILSTM-Attention-CRF模型实现文本多标签的智能分类;最后通过定位磷矿实体在报告中的分布位置大致推测该处磷矿成矿条件和成矿模式。将该模型与其余3种模型比较得出结果,该模型识别的准确率(P)、召回率(R)及F1值都接近了90%,较前3种模型分别调高了2%,5%,6%。该研究为开阳磷矿地质研究人员提供了更加高效的地质实体自动识别的方法。 展开更多
关键词 地质实体识别 xlnet-BILSTM-Attention-CRF 磷矿成矿模式 预训练模型 序列标注
在线阅读 下载PDF
基于XLNet的中文文本情感分析 被引量:1
4
作者 李东金 单锐 +2 位作者 阴良魁 王芳 程宝娜 《燕山大学学报》 CAS 北大核心 2022年第6期547-553,共7页
针对Word2vec等静态词向量模型不能解决一词多义、传统情感分析模型不能同时提取文本的全局和局部信息问题,本文提出了结合广义自回归预训练语言模型(XLNet)的文本情感分析模型。首先利用XLNet表示文本特征,然后利用卷积神经网络提取文... 针对Word2vec等静态词向量模型不能解决一词多义、传统情感分析模型不能同时提取文本的全局和局部信息问题,本文提出了结合广义自回归预训练语言模型(XLNet)的文本情感分析模型。首先利用XLNet表示文本特征,然后利用卷积神经网络提取文本向量的局部特征,再利用双向门控循环单元提取文本的更深层次上下文信息,最后引入注意力机制,根据特征的重要性赋予特征不同的权重,并进行文本情感极性分析。仿真实验中将本文模型与5种常用的情感分析模型进行对比,验证了模型的准确率和优越性。 展开更多
关键词 情感分析 广义自回归预训练语言模型 卷积神经网络 双向门控循环单元 注意力机制
在线阅读 下载PDF
结合广义自回归预训练语言模型与循环卷积神经网络的文本情感分析方法 被引量:10
5
作者 潘列 曾诚 +3 位作者 张海丰 温超东 郝儒松 何鹏 《计算机应用》 CSCD 北大核心 2022年第4期1108-1115,共8页
传统的机器学习方法在对网络评论文本进行情感极性分类时,未能充分挖掘语义信息和关联信息,而已有的深度学习方法虽能提取语义信息和上下文信息,但该过程往往是单向的,在获取评论文本的深层语义信息过程中存在不足。针对以上问题,提出... 传统的机器学习方法在对网络评论文本进行情感极性分类时,未能充分挖掘语义信息和关联信息,而已有的深度学习方法虽能提取语义信息和上下文信息,但该过程往往是单向的,在获取评论文本的深层语义信息过程中存在不足。针对以上问题,提出了一种结合广义自回归预训练语言模型(XLNet)与循环卷积神经网络(RCNN)的文本情感分析方法。首先,利用XLNet对文本进行特征表示,并通过引入片段级递归机制和相对位置信息编码,充分利用了评论文本的语境信息,从而有效提升了文本特征的表达能力;然后,利用RCNN对文本特征进行双向训练,并在更深层次上提取文本的上下文语义信息,从而提升了在情感分析任务中的综合性能。所提方法分别在三个公开数据集weibo-100k、waimai-10k和ChnSentiCorp上进行了实验,准确率分别达到了96.4%、91.8%和92.9%。实验结果证明了所提方法在情感分析任务中的有效性。 展开更多
关键词 评论文本 情感分析 xlnet 片段级递归机制 循环卷积神经网络
在线阅读 下载PDF
基于指针网络的汉语宏观篇章结构双向解析方法
6
作者 何垅旺 范亚鑫 +3 位作者 褚晓敏 蒋峰 李军辉 李培峰 《中文信息学报》 CSCD 北大核心 2022年第11期68-78,共11页
宏观篇章结构解析旨在通过分析篇章的整体结构,为理解篇章的内容和主旨奠定基础。现有的研究大都采用了单一的自顶向下或自底向上的构建策略逐级地构建结构树,而单向构建策略无法根据不同待解析序列选择合适的解析动作,在解析流程中容... 宏观篇章结构解析旨在通过分析篇章的整体结构,为理解篇章的内容和主旨奠定基础。现有的研究大都采用了单一的自顶向下或自底向上的构建策略逐级地构建结构树,而单向构建策略无法根据不同待解析序列选择合适的解析动作,在解析流程中容易陷入决策局限性并将错误向后传播。该文提出一种集成自顶向下和自底向上两种构建策略的指针网络模型,该模型能同时利用两种构建策略的语义信息,从而选择合适的构建方式。在汉语宏观篇章树库(MCDTB 2.0)上的实验表明,通过集成两种构建方式,该文模型能有效提升篇章单元间的局部语义交互能力并减少构建过程中的错误传播,从而取得性能最优值。 展开更多
关键词 宏观篇章解析 结构识别 指针网络 xlnet
在线阅读 下载PDF
结合上下文词汇匹配和图卷积的材料数据命名实体识别
7
作者 陈茜 武星 《上海大学学报(自然科学版)》 CAS CSCD 北大核心 2022年第3期372-385,共14页
材料领域的文献中蕴含着丰富的知识,利用机器学习和自然语言处理等手段对文献进行数据挖掘是研究热点.命名实体识别(named entity recognition,NER)是高效利用挖掘和抽取数据中信息的首要步骤.为了解决现有实体识别方法中存在的向量表... 材料领域的文献中蕴含着丰富的知识,利用机器学习和自然语言处理等手段对文献进行数据挖掘是研究热点.命名实体识别(named entity recognition,NER)是高效利用挖掘和抽取数据中信息的首要步骤.为了解决现有实体识别方法中存在的向量表示无法解决一词多义、模型常提取上下文特征而忽略全局特征等问题,提出了一种基于上下文词汇匹配和图卷积命名实体识别方法.该方法首先利用XLNet获取文本的上下文动态特征,其次利用长短期记忆网络并结合文本上下文匹配词汇的图卷积神经网络(graph convolutional network,GCN)模型分别获取上下文特征与全局特征,最终经过条件随机场输出标签序列.2种不同语料对模型进行验证的结果表明,该方法在材料数据集上的精确率、召回率和F1值分别达到90.05%、88.67%和89.36%,可有效提升命名实体识别的准确率. 展开更多
关键词 命名实体识别 xlnet 图卷积神经网络
在线阅读 下载PDF
Research on Prediction of Sentiment Trend of Food Safety Public Opinion
8
作者 Chaofan Jiang Hu Wang +1 位作者 Changbin Jiang Di Li 《Journal of Computer and Communications》 2023年第3期189-201,共13页
Emotion has a nearly decisive role in behavior, which will directly affect netizens’ views on food safety public opinion events, thereby affecting the development direction of public opinion on the event, and it is o... Emotion has a nearly decisive role in behavior, which will directly affect netizens’ views on food safety public opinion events, thereby affecting the development direction of public opinion on the event, and it is of great significance for food safety network public opinion to predict emotional trends to do a good job in food safety network public opinion guidance. In this paper, the dynamic text representation method XLNet is used to generate word vectors with context-dependent dependencies to distribute the text information of food safety network public opinion. Then, the word vector is input into the CNN-BiLSTM network for local semantic feature and context semantic extraction. The attention mechanism is introduced to give different weights according to the importance of features, and the emotional tendency analysis is carried out. Based on sentiment analysis, sentiment value time series data is obtained, and a time series model is constructed to predict sentiment trends. The sentiment analysis model proposed in this paper can well classify the sentiment of food safety network public opinion, and the time series model has a good effect on the prediction of food safety network public opinion sentiment trend. . 展开更多
关键词 network Public Opinion Sentiment Analysis Time Series Prediction xlnet
在线阅读 下载PDF
上一页 1 下一页 到第
使用帮助 返回顶部