期刊文献+
共找到326篇文章
< 1 2 17 >
每页显示 20 50 100
基于ALBERT-XL的工业私有数据知识图谱构建方法
1
作者 胡迪 吴星辰 +1 位作者 刘晓鹏 伍志韬 《智能城市》 2025年第7期10-14,共5页
文章研究工业私有数据知识图谱的构建方法,在索引阶段针对工业私有数据小样本、碎片化导致的时空复杂度问题,提出利用预处理得到的工业领域通用知识图谱结构信息,对ALBERT模型的编码器注意力机制预训练调优,并将Transformer-XL框架融入A... 文章研究工业私有数据知识图谱的构建方法,在索引阶段针对工业私有数据小样本、碎片化导致的时空复杂度问题,提出利用预处理得到的工业领域通用知识图谱结构信息,对ALBERT模型的编码器注意力机制预训练调优,并将Transformer-XL框架融入ALBERT的Transformer结构中,提升其长文处理能力。结果表明,GraphRAG+ALBERT-XL模型能够有效生成内容保真度高的工业私有数据知识图谱,解决了传统方法的时空复杂度高、领域知识欠缺、远距离依赖建模难等问题,实验验证了其在冶炼加工行业数据处理中的高效性和准确性。 展开更多
关键词 工业私有数据 GraphRAG 知识图谱 albert
在线阅读 下载PDF
基于改进ALBERT-LDA模型的民航应急管理现状研究
2
作者 程明 李浦京 陈利人 《安全与环境学报》 北大核心 2025年第9期3626-3635,共10页
为提升民航应急管理能力,研究基于《中国民用航空应急管理规定》问卷数据,运用轻量级双向编码器表征模型(A Lite Bidirectional Encoder Representations from Transformers,ALBERT)和潜在狄利克雷分配模型(Latent Dirichlet Allocation... 为提升民航应急管理能力,研究基于《中国民用航空应急管理规定》问卷数据,运用轻量级双向编码器表征模型(A Lite Bidirectional Encoder Representations from Transformers,ALBERT)和潜在狄利克雷分配模型(Latent Dirichlet Allocation,LDA)进行文档类别划分,结合K-means和均匀流形逼近与投影方法(Uniform Manifold Approximation and Projection,UMAP)进行文档聚类及可视化,根据复杂网络理论构建关键词共现网络,分析网络特性和节点联系,应用逼近理想解排序法(Technique for Order Preference by Similarity to an Ideal Solution,TOPSIS)获得节点重要性排序。研究结果显示:网络的平均聚类系数为0.71~0.965,覆盖了不同部门、岗位和环境,代表了民航应急管理的普遍情况;在人员兼职、空管单位、支线机场等应急体系建设存在不足的情况下,建议民航系统通过增设专职应急管理机构、优化资源配置、加强培训支持等方式提升应急管理能力。研究结果可为民航应急体系建设提供数据支持。 展开更多
关键词 公共安全 应急管理 复杂网络 albert-LDA模型 TOPSIS模型
原文传递
基于ALBERT-BiGRU-BCEWithLogitsLoss的多标签分类方法研究
3
作者 谢淮东 卫沈傲 《科技创新与应用》 2025年第24期54-56,60,共4页
招采流程的资格审查涉及多个维度,增加分类的复杂性和难度。为解决这一问题,该文提出一种基于ALBERT-BiGRU-BCEWithLogitsLoss的多标签文本分类模型。首先,利用ALBERT预训练模型提取文本的全局语义特征,提升模型对文本语义信息的捕捉能... 招采流程的资格审查涉及多个维度,增加分类的复杂性和难度。为解决这一问题,该文提出一种基于ALBERT-BiGRU-BCEWithLogitsLoss的多标签文本分类模型。首先,利用ALBERT预训练模型提取文本的全局语义特征,提升模型对文本语义信息的捕捉能力。然后,将这些特征输入到BiGRU中,通过其双向上下文捕捉能力,进一步提取文本的前后文依赖关系。最后,结合BCEWithLogitsLoss损失函数,直接对logits输出进行概率计算和分类,简化模型结构并提高计算稳定性。实验结果证明该文方法的有效性,可以有效提升资格审查效率和准确率。 展开更多
关键词 多标签分类 albert BiGRU BCEWithLogitsLoss 自然语言处理
在线阅读 下载PDF
基于ALBERT-BiAGRU-CRF的命名实体识别方法
4
作者 仇全涛 张占雷 《计算机应用文摘》 2025年第10期126-131,共6页
为了降低现阶段命名实体识别(NER)模型的复杂度,并提升模型的泛化能力和识别效率,提出了一种基于ALBERT-BiAGRU-CRF的命名实体识别方法。该方法首先采用ALBERT模型对文本进行向量化处理,以获得丰富的上下文语义表示;然后,引入注意力机... 为了降低现阶段命名实体识别(NER)模型的复杂度,并提升模型的泛化能力和识别效率,提出了一种基于ALBERT-BiAGRU-CRF的命名实体识别方法。该方法首先采用ALBERT模型对文本进行向量化处理,以获得丰富的上下文语义表示;然后,引入注意力机制与双向门控循环单元(BiGRU)相结合,构建混合模型,从而更有效地提取关键特征并挖掘字符之间的内在联系;最后,通过条件随机场(CRF)层进行解码,获得最优标签序列。在《人民日报》与MSRA两个中文命名实体识别公开数据集上的实验结果显示,该模型分别达到了94.75%和98.04%的准确率,较多种现有NER方法在性能上均有所提升,验证了所提模型的有效性与可行性。 展开更多
关键词 albert 注意力机制 门控循环单元 命名实体识别 条件随机场
在线阅读 下载PDF
ALBERT预训练模型在医疗文书命名实体识别中的应用研究
5
作者 庞秋奔 李银 《信息与电脑》 2024年第6期152-156,共5页
中文电子病历命名实体识别主要是研究电子病历病程记录文书数据集,文章提出对医疗手术麻醉文书数据集进行命名实体识别的研究。利用轻量级来自Transformer的双向编码器表示(A Lite Bidirectional Encoder Representation from Transform... 中文电子病历命名实体识别主要是研究电子病历病程记录文书数据集,文章提出对医疗手术麻醉文书数据集进行命名实体识别的研究。利用轻量级来自Transformer的双向编码器表示(A Lite Bidirectional Encoder Representation from Transformers,ALBERT)预训练模型微调数据集和Tranfomers中的trainer训练器训练模型的方法,实现在医疗手术麻醉文书上识别手术麻醉事件命名实体与获取复杂麻醉医疗质量控制指标值。文章为医疗手术麻醉文书命名实体识别提供了可借鉴的思路,并且为计算复杂麻醉医疗质量控制指标值提供了一种新的解决方案。 展开更多
关键词 命名实体识别 轻量级来自Transformer的双向编码器表示(albert)模型 TRANSFORMERS 麻醉医疗质量控制指标 医疗手术麻醉文书
在线阅读 下载PDF
基于ALBERT-Seq2Seq-Attention模型的数字化档案多标签分类 被引量:2
6
作者 王少阳 成新民 +3 位作者 王瑞琴 陈静雯 周阳 费志高 《湖州师范学院学报》 2024年第2期65-72,共8页
针对现有的数字化档案多标签分类方法存在分类标签之间缺少关联性的问题,提出一种用于档案多标签分类的深层神经网络模型ALBERT-Seq2Seq-Attention.该模型通过ALBERT(A Little BERT)预训练语言模型内部多层双向的Transfomer结构获取进... 针对现有的数字化档案多标签分类方法存在分类标签之间缺少关联性的问题,提出一种用于档案多标签分类的深层神经网络模型ALBERT-Seq2Seq-Attention.该模型通过ALBERT(A Little BERT)预训练语言模型内部多层双向的Transfomer结构获取进行文本特征向量的提取,并获得上下文语义信息;将预训练提取的文本特征作为Seq2Seq-Attention(Sequence to Sequence-Attention)模型的输入序列,构建标签字典以获取多标签间的关联关系.将分类模型在3种数据集上分别进行对比实验,结果表明:模型分类的效果F1值均超过90%.该模型不仅能提高档案文本的多标签分类效果,也能关注标签之间的相关关系. 展开更多
关键词 albert Seq2Seq ATTENTION 多标签分类 数字化档案
在线阅读 下载PDF
基于ALBERT、Lattice IndyLSTM和Attention融合的用户意图分类 被引量:1
7
作者 吕海峰 冀肖榆 +2 位作者 庞光垚 涂井先 黄芳香 《计算机与数字工程》 2024年第3期834-840,共7页
旨在对话式智能系统中的用户意图识别任务,论文提出了一种新型的用户意图分类模型。该模型结合了ALBERT预训练模型、格形式的独立循环长短期记忆网络(Lattice IndyLSTM)以及词注意力融合机制。通过构造一个由字嵌入和词嵌入组成的Latti... 旨在对话式智能系统中的用户意图识别任务,论文提出了一种新型的用户意图分类模型。该模型结合了ALBERT预训练模型、格形式的独立循环长短期记忆网络(Lattice IndyLSTM)以及词注意力融合机制。通过构造一个由字嵌入和词嵌入组成的Lattice,输入至IndyLSTM网络实现对用户输入语句编码,能够处理传统意图分类任务中无法同时利用字词信息、RNN中存在梯度爆炸或者消失,LSTM模型过拟合等问题。此外,利用能够提高对用户输入语句中领域特定词汇的编码贡献度的词注意力机制,大大提升了意图识别准确性。通过实验得出,论文提出的用户意图分类模型能够有效提升精确率、召回率和F1值等指标。 展开更多
关键词 注意力机制 循环神经网络 意图分类 albert Lattice IndyLSTM
在线阅读 下载PDF
基于注意力机制的ALBERT-BiLSTM-CNN评论情感分类 被引量:1
8
作者 陶贻勇 别春洋 《现代计算机》 2024年第5期44-49,共6页
在自然语言处理领域中,针对静态词向量Word2Vec表示方法无法精准捕捉句子和文本结构的语义信息的问题,提出了一种基于ALBERT-CNN-BiLSTM-Attention的评论情感分析模型,该模型不仅有效解决了传统模型参数量多,计算和存储效率较低的问题,... 在自然语言处理领域中,针对静态词向量Word2Vec表示方法无法精准捕捉句子和文本结构的语义信息的问题,提出了一种基于ALBERT-CNN-BiLSTM-Attention的评论情感分析模型,该模型不仅有效解决了传统模型参数量多,计算和存储效率较低的问题,还显著提升了情感分类的准确率。该方法首先利用ALBERT模型获取评论文本动态特征,并引入注意机制模块对BiLSTM的输出结果进行文本关键词权重获取,然后利用CNN获取文本局部特征,最后通过softmax层对评论内容进行情感分类。实验结果表明,该研究提出的模型相较于传统方法和其他ALBERT的模型在准确率和召回率上都有显著的提升,准确率达到88.43%,召回率达到88.17%,F1值达到88.30%。 展开更多
关键词 情感分类 albert BiLSTM 注意力机制
在线阅读 下载PDF
基于ALBERT-LDA模型的康复训练方案推荐系统研究
9
作者 祝晓状 徐钱钱 高诺 《生物医学工程研究》 2024年第6期445-455,共11页
为解决传统康复训练方案因忽略了身体评价中上下文语义信息与潜在语义,导致语义表达不准确、训练方案推荐精确率较低的问题,本研究提出一种融合ALBERT和潜在狄利克雷分布(latent Dirichlet allocation,LDA)的深度学习网络模型(ALBERT-LD... 为解决传统康复训练方案因忽略了身体评价中上下文语义信息与潜在语义,导致语义表达不准确、训练方案推荐精确率较低的问题,本研究提出一种融合ALBERT和潜在狄利克雷分布(latent Dirichlet allocation,LDA)的深度学习网络模型(ALBERT-LDA),并基于该模型构建了肢体运动康复训练方案推荐系统。首先,该系统利用LDA主题模型和ALBERT模型分别获得文档级的主题信息和词级的语义表示;其次,采用TextCNN提取身体评价文本词级的语义特征,并通过分层注意力机制对提取的特征进行重建;最后,利用多重融合策略将重建特征与主题特征融合,推荐训练方案。实验表明,本研究提出的系统不仅能得到更深层次的语义特征,还能更全面地理解上下文语义,可为患者提供更客观、有效的康复训练方案。 展开更多
关键词 康复训练方案推荐 albert模型 LDA主题模型 特征融合
在线阅读 下载PDF
基于ALBert的农业实体识别模型
10
作者 欧阳楠心 朱幸辉 《农村经济与科技》 2024年第17期65-67,共3页
由于信息技术快速发展导致农业领域相关数据海量增长,为农业信息检索带来了一定挑战。构建高效、精准的农业知识图谱成为应对挑战的有效方法。其中,农业实体识别在构建农业知识图谱这一过程中扮演着核心角色。为了确保数据的有效组织和... 由于信息技术快速发展导致农业领域相关数据海量增长,为农业信息检索带来了一定挑战。构建高效、精准的农业知识图谱成为应对挑战的有效方法。其中,农业实体识别在构建农业知识图谱这一过程中扮演着核心角色。为了确保数据的有效组织和利用,提出了一种ALBert-BiLSTM-CRF模型用于提高农业实体识别的准确性。试验结果表明,ALBert-BiLSTM-CRF模型通过参数共享和层次重复使用技术,大幅度降低了模型复杂度,加快了训练速度,使其在处理大规模农业文本数据时更加高效;引入上下文关系强化(CRR)预训练任务,模型增强了对文本间长距离依赖和上下文关系的理解能力,提高了实体识别的准确性。 展开更多
关键词 农业知识图谱 农业实体识别 albert模型 BiLSTM-CRF模型
在线阅读 下载PDF
Epidemiological, Diagnostic and Evolutionary Profile of Seizures in Young Infants at Albert Royer (Dakar/Senegal)
11
作者 Cissé Djénéba Fafa Dieng Yaay Joor +9 位作者 Diagne Guillaye Sow Ndeye Fatou Kane Awa Mbaye Aminata Faye Papa Moctar Ly Fatou Gueye Modou Diagne-Gueye Ndeye Rama Sylla Assane Ndiaye Ousmane 《Open Journal of Pediatrics》 2024年第6期1079-1089,共11页
Introduction: Seizures are one of the most common neurological complications in the infant period. The aim of our study was to describe the epidemiological, clinical, therapeutic and prognostic features of seizures in... Introduction: Seizures are one of the most common neurological complications in the infant period. The aim of our study was to describe the epidemiological, clinical, therapeutic and prognostic features of seizures in infants at the Albert Royer Children’s Hospital (Senegal). Materials and Methods: This was a retrospective, descriptive study from 1 January 2012 to 30 September 2018 of infants aged 0 days to 2 months who presented with seizures. Results: The hospital rate was 8.5%. Almost all the mothers (99.1%) had undergone at least 3 antenatal visits. Urogenital infection, gestational arterial hypertension and funicular anomalies were the main pregnancy-related pathologies. Delivery was vaginal in the majority of cases (80.9%). Most infants (43.6%) had not cried at birth. The majority of infants (63%) were born at term. Trophicity was normal in 68% of cases. The average age of the infants was 6.7 days. The main causes of seizures were hypoxic-ischemic encephalopathy (48.7%), metabolic disturbances (48.1%) and central ոеrvοսѕ system infections (15.6%). Phenobarbital was the 1st-line anticonvulsant. The case fatality rate was 39.5%. The main sequela observed were delayed psychomotor development (20.6%). Conclusion: Optimal management of infant seizures requires early diagnosis and etiological treatment by improving the quality of perinatal care to ensure better management of risk factors, as well as increasing the availability of neuroimaging equipment. 展开更多
关键词 Seizures INFANT albert Royer Hospital
暂未订购
基于ALBERT-BiGRU模型的文本情绪分类研究
12
作者 李艳艳 冯柳鑫 +2 位作者 徐梦舟 王笑一 张展鹏 《中阿科技论坛(中英文)》 2024年第12期80-84,共5页
针对国家电网客服中心繁杂的客户诉求问题,为将用户电话诉求对应的情绪识别出来,文章基于海量的95598电话语音文本数据集,构建了文本情绪分类模型。结合预训练语言模型ALBERT和双向门控循环单元设计ALBERT-BiGRU模型,利用ALBERT内部多... 针对国家电网客服中心繁杂的客户诉求问题,为将用户电话诉求对应的情绪识别出来,文章基于海量的95598电话语音文本数据集,构建了文本情绪分类模型。结合预训练语言模型ALBERT和双向门控循环单元设计ALBERT-BiGRU模型,利用ALBERT内部多层双向的Transformer架构学习高质量的动态语义特征,并引入BiGRU模型构造文本情绪分类器进行训练,提取不同抽象层次的语义信息特征。对照实验结果显示,相较于其他模型,ALBERTBiGRU文本情绪分类模型能有效提高分类精准度,在95598客户诉求情绪分类场景中具有较好的应用价值。 展开更多
关键词 albert BiGRU 文本情绪 语音文本 数据挖掘
在线阅读 下载PDF
基于Albert-TextCNN模型的多标签新闻文本分类
13
作者 麦咏欣 林志豪 葸娟霞 《现代信息科技》 2024年第20期31-36,共6页
针对智能信息推送管理者的多标签新闻文本分类任务,提出了基于ALBERT-CNN模型的解决方案。利用ALBERT预训练模型和TextCNN卷积神经网络,充分进行语义理解和特征提取。通过ALBERT模型进行语义筛选,精准把握新闻文本内容和主题,再传递给Te... 针对智能信息推送管理者的多标签新闻文本分类任务,提出了基于ALBERT-CNN模型的解决方案。利用ALBERT预训练模型和TextCNN卷积神经网络,充分进行语义理解和特征提取。通过ALBERT模型进行语义筛选,精准把握新闻文本内容和主题,再传递给TextCNN模型进行分类和标签预测。采用Sigmoid函数输出每个标签的概率,实现精准的多标签分类。实验验证382688条来自今日头条客户端的数据,ALBERT-CNN模型的F1-Score达到92.05%,召回率达到96.8%,精确率达到90%,相比于优于传统的ALBERT和ALBERT-Denses模型的F1-Score和召回率有所提升。在精确率上略低于AlBERT-Dense。该研究为提高信息推送效率和降低误导性信息的传播提供了一个新的解决方案。 展开更多
关键词 多标签分类 albert TextCNN 自然语言处理
在线阅读 下载PDF
基于ALBERT的藏汉神经机器翻译研究
14
作者 孙义栋 《信息技术与信息化》 2024年第5期129-132,共4页
藏汉翻译能够极大促进藏汉科技文化交流以及教育文化事业的发展,但一直以来都面临着低资源语种平行语料匮乏的困境,因此通过将预训练语言模型ALBERT引入到藏汉翻译中,利用大规模的藏文单语数据集训练ALBERT模型来改善藏汉翻译效果。实... 藏汉翻译能够极大促进藏汉科技文化交流以及教育文化事业的发展,但一直以来都面临着低资源语种平行语料匮乏的困境,因此通过将预训练语言模型ALBERT引入到藏汉翻译中,利用大规模的藏文单语数据集训练ALBERT模型来改善藏汉翻译效果。实验表明,引入预训练模型ALBERT可以有效提升藏汉神经机器翻译效果。 展开更多
关键词 藏汉机器翻译 预训练 albert
在线阅读 下载PDF
基于孪生ALBERT网络的语义相似度计算研究
15
作者 朱成雨 刘江涛 《电脑编程技巧与维护》 2024年第4期3-7,共5页
在自然语言处理领域,尤其是信息检索、机器翻译和智能问答系统等具体应用中,语义相似度计算至关重要。研究针对SBERT模型在文本内部关联关系和交互信息提取方面的局限性,提出了一种基于改进的孪生ALBERT网络的语义相似度计算模型(SALSA... 在自然语言处理领域,尤其是信息检索、机器翻译和智能问答系统等具体应用中,语义相似度计算至关重要。研究针对SBERT模型在文本内部关联关系和交互信息提取方面的局限性,提出了一种基于改进的孪生ALBERT网络的语义相似度计算模型(SALSA)。该方法在孪生网络的架构下引入了轻量级ALBERT语言模型和自注意力模块。实验显示,在LCQMC数据集上,相同参数量的SALSA模型在准确度和F1值上相较于SBERT模型分别提升了6.97%和6.22%,同时训练速度提升了0.5倍。 展开更多
关键词 孪生网络 语义相似度 albert语言模型 自注意力机制
在线阅读 下载PDF
基于ALBERT模型的园林植物知识实体与关系抽取方法 被引量:10
16
作者 陈晓玲 唐丽玉 +3 位作者 胡颖 江锋 彭巍 冯先超 《地球信息科学学报》 CSCD 北大核心 2021年第7期1208-1220,共13页
园林植物知识图谱可为顾及区域适应性、观赏性和生态性等因子的绿化树种的选型提供知识支持。植物描述文本的实体识别及关系抽取是知识图谱构建的关键环节。针对植物领域未有公开的标注数据集,本文阐述了园林植物数据集的构建流程,定义... 园林植物知识图谱可为顾及区域适应性、观赏性和生态性等因子的绿化树种的选型提供知识支持。植物描述文本的实体识别及关系抽取是知识图谱构建的关键环节。针对植物领域未有公开的标注数据集,本文阐述了园林植物数据集的构建流程,定义了园林植物的概念体系结构,完成了园林植物语料库的构建。针对现有Word2vec、ELMo和BERT等语言模型存在无法解决多义词、融合上下文能力差、运行速度慢等缺点,提出了嵌入ALBERT(A Lite BERT)预训练语言模型的实体识别和关系抽取模型。ALBERT预训练的动态词向量能够有效地表示文本特征,将其分别输入到BiGRU-CRF命名实体识别模型和BiGRU-Attention关系抽取模型中进行训练,进一步提升实体识别和关系抽取的效果。在园林植物语料库上进行方法的有效性验证,结果表明ALBERT-BiGRU-CRF命名实体识别模型的F1值为0.9517,ALBERT-BiGRU-Attention关系抽取模型的F1值为0.9161,相较于经典的语言模型(如Word2vec、ELMo和BERT等)性能有较为显著的提升。因此基于ALBERT模型的实体与关系抽取任务能有效提高识别分类效果,可将其应用于植物描述文本的实体关系抽取任务中,为园林植物知识图谱自动构建提供方法。 展开更多
关键词 知识图谱 信息抽取 语料库 园林植物 albert 词向量 实体识别 关系抽取
原文传递
融合ALBERT与规则的小麦病虫害命名实体识别 被引量:13
17
作者 刘合兵 张德梦 +2 位作者 熊蜀峰 马新明 席磊 《计算机科学与探索》 CSCD 北大核心 2023年第6期1395-1404,共10页
小麦病虫害中文命名实体识别是构建该领域知识图谱的关键步骤,针对小麦病虫害领域训练数据匮乏、实体结构复杂、实体类型多样及实体分布不均匀等问题,在充分挖掘隐含知识的前提下,采用了两种数据增广方法扩充句子语义信息,构建了小麦病... 小麦病虫害中文命名实体识别是构建该领域知识图谱的关键步骤,针对小麦病虫害领域训练数据匮乏、实体结构复杂、实体类型多样及实体分布不均匀等问题,在充分挖掘隐含知识的前提下,采用了两种数据增广方法扩充句子语义信息,构建了小麦病虫害实体识别语料库WpdCNER及其领域词典WpdDict,并在领域专家的指导下定义了16类实体;同时提出了一种基于规则修正的中文命名实体识别模型WPD-RA,该模型基于轻量级BERT+双向长短期记忆网络+条件随机场(ALBERT+BiLSTM+CRF)进行实体识别,并在识别后定义具体规则校准实体边界。融合规则后的ALBERT+BiLSTM+CRF模型取得了最好的识别结果,准确率为94.72%,召回率为95.23%,[F1]值为94.97%,相比不加规则的识别结果,其准确率、召回率、[F1]值分别增加了1.71个百分点、0.34个百分点、1.03个百分点。实验结果表明,该方法能有效识别小麦病虫害领域命名实体,识别性能优于其他模型,为食品安全、生物等其他领域命名实体识别提供了一种可借鉴的思路。 展开更多
关键词 小麦病虫害 数据增广 命名实体识别(NER) albert 规则修正
在线阅读 下载PDF
基于ALBERT与双向GRU的中医脏腑定位模型 被引量:7
18
作者 张德政 范欣欣 +1 位作者 谢永红 蒋彦钊 《工程科学学报》 EI CSCD 北大核心 2021年第9期1182-1189,共8页
脏腑定位,即明确病变所在的脏腑,是中医脏腑辨证的重要阶段.本文旨在通过神经网络模型搭建中医脏腑定位模型,输入症状文本信息,输出对应的病变脏腑标签,为实现中医辅助诊疗的脏腑辨证提供支持.将中医的脏腑定位问题建模为自然语言处理... 脏腑定位,即明确病变所在的脏腑,是中医脏腑辨证的重要阶段.本文旨在通过神经网络模型搭建中医脏腑定位模型,输入症状文本信息,输出对应的病变脏腑标签,为实现中医辅助诊疗的脏腑辨证提供支持.将中医的脏腑定位问题建模为自然语言处理中的多标签文本分类问题,基于中医的医案数据,提出一种基于预训练模型ALBERT和双向门控循环单元(Bi-GRU)的脏腑定位模型.对比实验和消融实验的结果表明,本文提出的方法在中医脏腑定位的问题上相比于多层感知机模型、决策树模型具有更高的准确性,与Word2Vec文本表示方法相比,本文使用的ALBERT预训练模型的文本表示方法有效提升了模型的准确率.在模型参数上,ALBERT预训练模型相比BERT模型降低了模型参数量,有效减小了模型大小.最终,本文提出的脏腑定位模型在测试集上F1值达到了0.8013. 展开更多
关键词 多标签文本分类 albert 门控循环单元 脏腑定位 中医
在线阅读 下载PDF
基于ALBERT-UniLM模型的文本自动摘要技术研究 被引量:6
19
作者 孙宝山 谭浩 《计算机工程与应用》 CSCD 北大核心 2022年第15期184-190,共7页
任务中的生成式摘要模型对原文理解不充分且容易生成重复文本等问题,提出将词向量模型ALBERT与统一预训练模型UniLM相结合的算法,构造出一种ALBERT-UniLM摘要生成模型。该模型采用预训练动态词向量ALBERT替代传统的BERT基准模型进行特... 任务中的生成式摘要模型对原文理解不充分且容易生成重复文本等问题,提出将词向量模型ALBERT与统一预训练模型UniLM相结合的算法,构造出一种ALBERT-UniLM摘要生成模型。该模型采用预训练动态词向量ALBERT替代传统的BERT基准模型进行特征提取获得词向量。利用融合指针网络的UniLM语言模型对下游生成任务微调,结合覆盖机制来降低重复词的生成并获取摘要文本。实验以ROUGE评测值作为评价指标,在2018年CCF国际自然语言处理与中文计算会议(NLPC-C2018)单文档中文新闻摘要评价数据集上进行验证。与BERT基准模型相比,ALBERT-UniLM模型的Rouge-1、Rouge-2和Rouge-L指标分别提升了1.57%、1.37%和1.60%。实验结果表明,提出的ALBERT-UniLM模型在文本摘要任务上效果明显优于其他基准模型,能够有效提高文本摘要的生成质量。 展开更多
关键词 自然语言处理 预训练语言模型 albert模型 UniLM模型 生成式摘要
在线阅读 下载PDF
基于ALBERT的网络威胁情报命名实体识别 被引量:2
20
作者 周景贤 王曾琪 《陕西科技大学学报》 北大核心 2023年第1期187-195,共9页
网络威胁情报实体识别是网络威胁情报分析的关键,针对传统词嵌入无法表征一词多义而难以有效识别网络威胁情报实体关键信息,同时面临指数级增长的威胁情报,识别模型的效率亟待提高等问题,提出一种基于ALBERT的网络威胁情报命名实体识别... 网络威胁情报实体识别是网络威胁情报分析的关键,针对传统词嵌入无法表征一词多义而难以有效识别网络威胁情报实体关键信息,同时面临指数级增长的威胁情报,识别模型的效率亟待提高等问题,提出一种基于ALBERT的网络威胁情报命名实体识别模型.该模型首先使用ALBERT提取威胁情报动态特征词向量,然后将特征词向量输入到双向长短期记忆网络(BiLSTM)层得到句子中每个词对应的标签,最后在条件随机场(CRF)层修正并以最大概率输出序列标签.识别模型对比实验结果显示,提出模型的F1值为92.21%,明显优于其他模型.在识别准确率相同的情况下,提出模型的时间和资源成本也较低,适用于网络威胁情报领域海量高效的实体识别任务. 展开更多
关键词 网络威胁情报 命名实体识别 BERT albert 双向长短期记忆网络 条件随机场
在线阅读 下载PDF
上一页 1 2 17 下一页 到第
使用帮助 返回顶部