期刊文献+
共找到9,469篇文章
< 1 2 250 >
每页显示 20 50 100
CGR-BERT-ZESHEL:基于中文特征的零样本实体链接模型 被引量:1
1
作者 潘建 吴志伟 李燕君 《计算机科学》 北大核心 2025年第4期262-270,共9页
目前,在实体链接任务的研究中,对中文实体链接、新兴实体与不知名实体链接的研究较少。此外,传统的BERT模型忽略了中文的两个关键方面,即字形和部首,这两者为语言理解提供了重要的语法和语义信息。针对以上问题,提出了一种基于中文特征... 目前,在实体链接任务的研究中,对中文实体链接、新兴实体与不知名实体链接的研究较少。此外,传统的BERT模型忽略了中文的两个关键方面,即字形和部首,这两者为语言理解提供了重要的语法和语义信息。针对以上问题,提出了一种基于中文特征的零样本实体链接模型CGR-BERT-ZESHEL。该模型首先通过引入视觉图像嵌入和传统字符嵌入,分别将字形特征和部首特征输入模型,从而增强词向量特征并缓解未登录词对模型性能的影响;然后采用候选实体生成和候选实体排序两阶段的方法得到实体链接的结果。在Hansel和CLEEK两个数据集上进行实验,结果表明,与基线模型相比,CGR-BERT-ZESHEL模型在候选实体生成阶段的性能指标Recall@100提高了17.49%和7.34%,在候选实体排序阶段的性能指标Accuracy提高了3.02%和3.11%;同时,在Recall@100和Accuracy指标上的性能均优于其他对比模型。 展开更多
关键词 实体链接 中文零样本 bert 候选实体生成 候选实体排序
在线阅读 下载PDF
基于Bert+GCN多模态数据融合的药物分子属性预测 被引量:1
2
作者 闫效莺 靳艳春 +1 位作者 冯月华 张绍武 《生物化学与生物物理进展》 北大核心 2025年第3期783-794,共12页
目的药物研发成本高、周期长且成功率低。准确预测分子属性对有效筛选药物候选物、优化分子结构具有重要意义。基于特征工程的传统分子属性预测方法需研究人员具备深厚的学科背景和广泛的专业知识。随着人工智能技术的不断成熟,涌现出... 目的药物研发成本高、周期长且成功率低。准确预测分子属性对有效筛选药物候选物、优化分子结构具有重要意义。基于特征工程的传统分子属性预测方法需研究人员具备深厚的学科背景和广泛的专业知识。随着人工智能技术的不断成熟,涌现出大量优于传统特征工程方法的分子属性预测算法。然而这些算法模型仍然存在标记数据稀缺、泛化性能差等问题。鉴于此,本文提出一种基于Bert+GCN的多模态数据融合的分子属性预测算法(命名为BGMF),旨在整合药物分子的多模态数据,并充分利用大量无标记药物分子训练模型学习药物分子的有用信息。方法本文提出了BGMF算法,该算法根据药物SMILES表达式分别提取了原子序列、分子指纹序列和分子图数据,采用预训练模型Bert和图卷积神经网络GCN结合的方式进行特征学习,在挖掘药物分子中“单词”全局特征的同时,融合了分子图的局部拓扑特征,从而更充分利用分子全局-局部上下文语义关系,之后,通过对原子序列和分子指纹序列的双解码器设计加强分子特征表达。结果5个数据集共43个分子属性预测任务上,BGMF方法的AUC值均优于现有其他方法。此外,本文还构建独立测试数据集验证了模型具有良好的泛化性能。对生成的分子指纹表征(molecular fingerprint representation)进行t-SNE可视化分析,证明了BGMF模型可成功捕获不同分子指纹的内在结构与特征。结论通过图卷积神经网络与Bert模型相结合,BGMF将分子图数据整合到分子指纹恢复和掩蔽原子恢复的任务中,可以有效地捕捉分子指纹的内在结构和特征,进而高效预测药物分子属性。 展开更多
关键词 bert预训练 注意力机制 分子指纹 分子属性预测 图卷积神经网络
原文传递
基金经理语调、基金收益与投资者行为——基于BERT人工智能模型的检验 被引量:1
3
作者 沈红波 洪康隆 王锴 《现代金融研究》 北大核心 2025年第4期20-38,共19页
本文以2014-2023年我国基金年度报告“展望”章节文本为样本,运用BERT人工智能模型和传统的词袋法,分别构建“词藻堆砌”与“真情实感”变量,对比基金经理语调对基金未来收益的预测效果及其对个人投资者行为的影响。研究发现:(1)相比传... 本文以2014-2023年我国基金年度报告“展望”章节文本为样本,运用BERT人工智能模型和传统的词袋法,分别构建“词藻堆砌”与“真情实感”变量,对比基金经理语调对基金未来收益的预测效果及其对个人投资者行为的影响。研究发现:(1)相比传统的词袋法,BERT人工智能模型度量的基金经理语调更能识别基金经理的真情实感,对基金未来收益、顺境中的基金业绩持续性及逆境中的基金崩盘风险的预测效果更好,且上述识别优势在复杂度较高、可读性较差的“展望”文本中更显著;(2)个人投资者的“有限理性”特征和公募基金存在的委托代理问题导致个人投资者更容易被基金经理“词藻堆砌”的文本所吸引,进而导致投资收益率降低。本文将BERT人工智能模型引入财经文本情感分析,为文本语调的度量方法提供了新思路。 展开更多
关键词 基金经理语调 基金收益 投资者行为 bert模型
在线阅读 下载PDF
融合ChatGPT与BERT的个性化图书分类推荐探索
4
作者 郭利敏 杨佳 +1 位作者 刘悦如 付雅明 《图书馆论坛》 北大核心 2025年第10期109-117,共9页
为探讨图书馆个性化书目推荐的新路径,文章提出融合ChatGPT与BERT的“编码-分类”策略,将推荐任务转化为文本分类问题,以提升推荐方法的语义理解和可释性,拓展大语言模型在图书馆应用的边界。基于上海图书馆开放数据构建训练集,选取100... 为探讨图书馆个性化书目推荐的新路径,文章提出融合ChatGPT与BERT的“编码-分类”策略,将推荐任务转化为文本分类问题,以提升推荐方法的语义理解和可释性,拓展大语言模型在图书馆应用的边界。基于上海图书馆开放数据构建训练集,选取100位读者的借阅数据作为验证集,使用ChatGPT编码借阅意图,BERT进行文本分类预测,并与协同过滤法进行比较。实验显示该方法在分类推荐中优于传统协同过滤,验证了推荐任务转化思路的有效性,并为语义增强与分层建模提供了可行方向。 展开更多
关键词 智慧图书馆 个性化推荐 ChatGPT bert
在线阅读 下载PDF
基于BERT-MHA的深度语义增强专家推荐算法
5
作者 申彦 王倩 《科学技术与工程》 北大核心 2025年第25期10810-10820,共11页
针对现有的专家推荐算法忽略了用户评论中蕴含的情感表达对专家专长表征的影响,从而导致推荐准确度不高的问题,提出基于双向编码器表示-多头注意力机制(bidirectional encoder representations from transformers-multi-head attention,... 针对现有的专家推荐算法忽略了用户评论中蕴含的情感表达对专家专长表征的影响,从而导致推荐准确度不高的问题,提出基于双向编码器表示-多头注意力机制(bidirectional encoder representations from transformers-multi-head attention,BERT-MHA)的深度语义增强专家推荐算法。该算法基于预训练BERT模型,融合MHA机制,自动调整用户评论对专家历史回答问题的情感注意力权重,获取专家动态专长表征,并与静态专长联合以实现专家特征文本的语义增强,表征专家综合专长;通过注意力机制识别用户问题特征;采用多层感知机建模专家综合专长与用户问题间的非线性交互,预测推荐专家的匹配度。利用好大夫网站(haodf.com)的数据进行了不同参数配置及不同算法的对比实验,实验结果表明该算法在准确率(accuracy,ACC)和曲线下的面积(area under curve,AUC)指标下明显优于其他算法,能有效提高在线问答社区的专家推荐准确度。 展开更多
关键词 bert 多头注意力 语义增强 专家推荐 深度学习
在线阅读 下载PDF
基于BERT并融合法律事件信息的罪名预测方法
6
作者 邱一卉 喻瑶瑶 《厦门大学学报(自然科学版)》 北大核心 2025年第4期642-652,共11页
[目的]罪名预测是AI&Law领域的一个关键研究内容,对于提升司法领域的判决效率具有重要意义.由于法律文本的专业性和复杂性,传统罪名预测模型在提取法律文本特征时面临挑战,因此本文提出了一个基于预训练语言模型(BERT)并融合法律事... [目的]罪名预测是AI&Law领域的一个关键研究内容,对于提升司法领域的判决效率具有重要意义.由于法律文本的专业性和复杂性,传统罪名预测模型在提取法律文本特征时面临挑战,因此本文提出了一个基于预训练语言模型(BERT)并融合法律事件信息的罪名预测模型,通过利用法律事件信息为模型提供更多的法律案件特征,提升模型对案件的理解,从而提升罪名预测的表现.[方法]首先训练了一个全局上层事件类型信息增强的法律事件检测模型,利用其对案情描述中的法律事件类型进行检测,并在此基础上构建法律事件类型序列.其次,利用双向长短期记忆模型(BiLSTM)对法律事件类型序列进行编码获取法律事件信息,并将法律事件信息与经过BERT编码后的案情描述的语义表示拼接融合,最后利用一层全连接层对罪名进行预测.[结果]在公开的刑事案件数据集CAIL2018-small上的实验结果表明,相比于领域内的其他基线模型,本文提出的模型在各个关键指标上具备更好的性能,即在Mac.F_(1)上平均提升3.12个百分点,在Mac.P上平均提升1.94个百分点,在Mac.R上平均提升3.53个百分点.[结论]验证了法律事件信息在增强模型对案件理解方面的有效性,从而提高罪名预测的准确性. 展开更多
关键词 AI&Law bert模型 罪名预测 法律事件信息
在线阅读 下载PDF
基于BERT和自注意力SRU的AST级Webshell检测方法
7
作者 李道丰 宁梓桁 《信息网络安全》 北大核心 2025年第2期270-280,共11页
Webshell作为一种隐蔽性强、危害性大的网页后门,已在网络安全领域受到广泛关注。Webshell代码的混淆技术显著降低了传统检测方法的有效性,且许多传统检测模型未能有效应对高效处理大量数据的需求。因此,文章提出一种结合BERT词嵌入、双... Webshell作为一种隐蔽性强、危害性大的网页后门,已在网络安全领域受到广泛关注。Webshell代码的混淆技术显著降低了传统检测方法的有效性,且许多传统检测模型未能有效应对高效处理大量数据的需求。因此,文章提出一种结合BERT词嵌入、双向SRU网络结合自注意力机制的Webshell检测方法BAT-SRU。该方法通过抽象语法树提取代码特征,结合样本解混淆与危险函数统计提升特征质量,并采用BAT-SRU模型进行检测。现有方法如基于Word2Vec与双向GRU的检测方法、基于操作码序列与随机森林的分类方法以及基于Text-CNN的AST特征提取方法,存在特征表达不足和对复杂混淆代码适应性差的问题。相比上述方法,BAT-SRU在检测PHP Webshell上性能更优异,得到了准确率99.68%、精确率99.13%、召回率99.22%和F1值99.18%的实验结果。此外,与RNN及其变体模型相比,BAT-SRU在训练时间上可以节约23.47%,在推理时间上可以节省40.14%。 展开更多
关键词 PHP Webshell 抽象语法树 bert词嵌入 SRU 自注意力
在线阅读 下载PDF
基于BERT和图注意力网络的医疗文本因果关系抽取算法
8
作者 刘位龙 王玎 +6 位作者 赵超 王宁 张旭 苏萍 宋书典 张娜 迟蔚蔚 《山东大学学报(医学版)》 北大核心 2025年第8期61-68,共8页
目的提出一种能够有效抽取因果关系的算法,以提高医疗领域文本处理的准确性。方法提出基于Transformer的双向编码器(bidirectional encoder representations from Transformers,BERT)和因果图注意力网络(causal graph attention network... 目的提出一种能够有效抽取因果关系的算法,以提高医疗领域文本处理的准确性。方法提出基于Transformer的双向编码器(bidirectional encoder representations from Transformers,BERT)和因果图注意力网络(causal graph attention networks,CGAT)的BERT-CGAT算法。首先构建因果关系图,利用医疗文本对BERT模型进行微调,以获得优化的实体嵌入表示;随后通过知识融合通道整合文本编码信息与因果结构,输入至图注意力网络;采用多头注意力机制并行处理不同子空间信息,增强复杂语义关系捕捉能力;最后通过双通道解码层实现实体及因果关系的同步抽取。结果在自建的糖尿病因果实体数据集上的实验表明,模型在准确率(99.74%)与召回率(81.04%)上较传统BiLSTM-CRF基线提升0.65%和16.73%,F1分数达80.83%。结论BERT-CGAT算法通过结合BERT的语义特征提取能力和图神经网络的关系建模优势,有效提升了医疗文本因果关系抽取的准确性,验证了该方法的有效性。 展开更多
关键词 医疗文本 bert模型 图注意力网络 因果关系抽取
原文传递
基于融合评价指标BERT-RGCN的油田评价区块调整措施推荐方法
9
作者 王梅 朱晓丽 +2 位作者 孙洪国 王海艳 濮御 《东北石油大学学报》 北大核心 2025年第5期110-120,I0008,共12页
为解决油田领域区块调整措施推荐过程中存在的样本数据稀疏和语义特征复杂等问题,提出基于融合评价指标(EI)的变换器双向编码(BERT)与关系图卷积神经网络(RGCN)的油田评价区块调整措施推荐方法(EI-BERT-RGCN方法)。根据评价指标、评价... 为解决油田领域区块调整措施推荐过程中存在的样本数据稀疏和语义特征复杂等问题,提出基于融合评价指标(EI)的变换器双向编码(BERT)与关系图卷积神经网络(RGCN)的油田评价区块调整措施推荐方法(EI-BERT-RGCN方法)。根据评价指标、评价区块及措施之间的交互信息构建异构图,利用BERT模型生成评价指标、评价区块及措施术语词向量,共同作为输入词向量,将融合评价指标信息的异构图和输入词向量放入RGCN模型训练,学习评价区块的有效表征;在某油田评价区块提供的数据集上进行实验对比。结果表明:EI-BERT-RGCN方法能够捕捉文本中隐含的复杂语义并缓解数据稀疏问题,能更好理解未观察到的评价指标与调整措施之间的潜在关系,提升节点的表示质量。EI-BERT-RGCN模型在精确率、召回率、F_(1)分数及ROC曲线下面积等评价指标上优于其他基准模型,在保持较高精确率的同时,展现更好的泛化能力和鲁棒性。该结果为油田评价区块调整措施推荐提供参考。 展开更多
关键词 异构图 变换器双向编码(bert) 预训练模型 关系图卷积神经网络(RGCN) 推荐算法 措施推荐 油田评价区块
在线阅读 下载PDF
基于BERT的中文合同标题分类
10
作者 陈雪松 韩信 王浩畅 《计算机与数字工程》 2025年第6期1681-1685,1756,共6页
论文针对中文文本分类中几乎没有合同文本分类的相关研究,获取了一定数量的合同数据,并对合同数据进行预处理,构建了合同标题分类数据集。论文提出BERT-RCNN-Attention文本分类模型处理中文合同标题分类的问题。使用BERT预训练模型生成... 论文针对中文文本分类中几乎没有合同文本分类的相关研究,获取了一定数量的合同数据,并对合同数据进行预处理,构建了合同标题分类数据集。论文提出BERT-RCNN-Attention文本分类模型处理中文合同标题分类的问题。使用BERT预训练模型生成含有上下文语义信息和句子结构的词向量;使用BiLSTM提取合同标题上下文相关特征;使用注意力机制提高模型对于关键特征的提取能力;使用CNN的最大池化层以增强局部关键信息的提取能力;最后使用Softmax层输出合同标题分类结果。在合同标题分类中,论文提出的模型在合同标题分类中精确率、召回率和F1值分别达到了92.77%、91.87%、0.922 9,得到了比较好的分类效果。 展开更多
关键词 合同分类 bert BiLSTM 最大池化
在线阅读 下载PDF
基于BERT融合算法的病例文本结构化模型研究
11
作者 张雪 王琛琛 职宁 《中国医疗设备》 2025年第9期12-19,共8页
目的为提升临床病例文本中非结构化信息的提取效率与准确性,推动医学智能化发展,本研究提出一种基于双向编码器表示融合算法的病例文本结构化模型。方法该模型采用双向编码器进行语义表示,利用图卷积神经网络提取词语间局部依赖,融合长... 目的为提升临床病例文本中非结构化信息的提取效率与准确性,推动医学智能化发展,本研究提出一种基于双向编码器表示融合算法的病例文本结构化模型。方法该模型采用双向编码器进行语义表示,利用图卷积神经网络提取词语间局部依赖,融合长短时记忆网络建立时序关系,并引入条件随机场优化标签序列的一致性。实验选用MIMIC-Ⅲ和ClinicalSTS这2个权威临床数据集进行分析,构建五类医学文本分类任务,对比所有模型在不同结构组合下的性能表现。结果本研究所提出的病例文本结构化模型的精准度、召回率和F1得分分别为0.92、0.90和0.91,均较传统双向编码器模型提升约10%;在处理超过1000字的长文本场景时,模型效率提升达12%,表现出良好的时效性与可扩展性。结论本研究通过验证深度融合多种结构对提高病例文本结构化处理能力的有效性,为智能医学文本分析提供了理论依据。 展开更多
关键词 病例文本 长短时记忆网络 bert 图卷积神经网络 结构化模型 医学智能化
在线阅读 下载PDF
基于BERT和知识图谱的武器装备问答系统
12
作者 王博 蒋序平 黄启鸿 《指挥控制与仿真》 2025年第3期99-103,共5页
武器装备知识是制定装备运用策略和发展路径的重要依据。针对关系数据库数据冗余、交互难度大、模糊查询匹配度不高等问题,构建了基于知识图谱的武器装备问答系统。通过微调BERT模型实现命名实体识别与问句分类;通过向问句模板中填入命... 武器装备知识是制定装备运用策略和发展路径的重要依据。针对关系数据库数据冗余、交互难度大、模糊查询匹配度不高等问题,构建了基于知识图谱的武器装备问答系统。通过微调BERT模型实现命名实体识别与问句分类;通过向问句模板中填入命名实体生成查询语句,通过答句模板生成问题答案。分析测试结果表明,该系统能够有效地将正确答案排在前列,且在准确性和全面性之间达到了较好的平衡,但仍有一定的改进空间。 展开更多
关键词 知识图谱 bert模型 武器装备
在线阅读 下载PDF
基于自注意力机制的BERT文本情感分析模型
13
作者 朱珍元 苏喻 《海南师范大学学报(自然科学版)》 2025年第3期281-288,共8页
在文本情感分析领域,BERT模型因其强大的特征提取能力而被广泛应用。然而,实证研究表明,在没有对BERT进行微调的情况下,其准确性可能遭受显著损失,导致模型的实际效果未能达到预期。为了解决这一问题,提出一种结合自注意力的BERT文本情... 在文本情感分析领域,BERT模型因其强大的特征提取能力而被广泛应用。然而,实证研究表明,在没有对BERT进行微调的情况下,其准确性可能遭受显著损失,导致模型的实际效果未能达到预期。为了解决这一问题,提出一种结合自注意力的BERT文本情感分析模型:BERTBLSTM-Attention。该模型通过综合利用BERT的预训练能力、BLSTM和自注意力机制,增强对文本情感的理解和分析。首先,BERT模型被用于将输入的文本数据表示为高维特征向量。BERT作为一种强大的预训练模型,能够捕捉到丰富的语义信息和上下文特征,为后续的模型提供基础输入。在这一阶段,BERT的双向编码能力使模型可以从上下文中提取出更多细腻的语义信息,这对于情感分析至关重要。然后,在BLSTM层之后引入多头自注意力机制。自注意力机制的加入,使得模型可以在处理输入序列时,更加关注文本中重要的部分,通过动态分配权重来强化这些关键特征的作用。最后,模型在输出层使用SoftMax函数进行文本情感分类。在这一阶段,基于收集到的特征,模型能够生成每种情感类别的概率分布,为情感分类提供输出。在进行有效分类的同时,模型也展示了出色的泛化能力。实验发现,引入自注意力机制的BLSTM模型的准确率比未引入自注意力机制的BLSTM模型高1.8%,比未使用BERT模型的准确率高0.9%,充分说明了本文模型在语言特征提取方面的有效性。 展开更多
关键词 bert模型 文本情感分析 自注意力机制
在线阅读 下载PDF
基于CEEMDAN-BERT-LSTM的现货市场电力价格预测
14
作者 顾慧杰 周华锋 +4 位作者 彭超逸 赵化时 胡亚平 聂涌泉 陈根军 《电力需求侧管理》 2025年第5期112-117,共6页
准确预测现货市场电价对电力市场参与者的利益保障具有重要作用。原料价格和气候因素均会影响现货市场的电价波动,再者,当前有大量风光能源参与到现货市场的交易当中,导致现货市场的电价预测更具挑战性。为此,提出了一种结合CEEMDAN、B... 准确预测现货市场电价对电力市场参与者的利益保障具有重要作用。原料价格和气候因素均会影响现货市场的电价波动,再者,当前有大量风光能源参与到现货市场的交易当中,导致现货市场的电价预测更具挑战性。为此,提出了一种结合CEEMDAN、BERT和LSTM的现货市场电力价格预测模型。首先,采用CEEMDAN算法分解原始的电价数据;随后,采用BERT算法对原料价格、气候条件和可再生能源3类外生特征文本数据进行处理,提高模型的预测精度;其次,将电价分解子序列与外生特征处理结果相结合,利用LSTM对模型进行预测,并将预测结果相叠加获得最终的电价。最后,通过仿真验证了所提方法的有效性,结果显示,基于CEEMDAN-BERT-LSTM的预测模型显著提升了电价预测的精度。 展开更多
关键词 现货市场电价预测 完全集合经验模态分解 双向编码器 长短期记忆网络
在线阅读 下载PDF
基于BERT模型的人岗匹配混合推荐系统研究
15
作者 彭超云 姚渺波 曾东晨 《信息记录材料》 2025年第4期236-238,共3页
在大数据时代,推荐算法有效缓解了信息过载问题,尤其在岗位推荐领域展现出重要价值。然而,针对高校毕业生的人岗推荐面临数据冷启动和数据稀疏性挑战,需综合考量专业、实习经历和就业意向等因素。本文提出基于Transformer的双向编码器表... 在大数据时代,推荐算法有效缓解了信息过载问题,尤其在岗位推荐领域展现出重要价值。然而,针对高校毕业生的人岗推荐面临数据冷启动和数据稀疏性挑战,需综合考量专业、实习经历和就业意向等因素。本文提出基于Transformer的双向编码器表示(bidirectional encoder representation from Transformers,BERT)模型的混合推荐模型,设计冷启动与热启动双路径推荐策略。冷启动路径基于BERT模型计算岗位与学生嵌入向量的相似度,解决新用户历史数据缺失的困境,热启动路径基于既有用户行为数据,采用加权平均融合策略整合岗位相似度与用户相似度评分矩阵,以提升推荐精度。用户满意度调查显示:推荐岗位数量在“3~10个”时,符合预期或引起足够兴趣的百分比超70%,验证了该系统满足毕业生就业服务需求的有效性。 展开更多
关键词 bert模型 冷启动 岗位推荐 高校大学生
在线阅读 下载PDF
基于Sentence-BERT和时序分析的学者研究主题相似性测度
16
作者 阮光册 黎心怡 廖紫伊 《图书馆杂志》 北大核心 2025年第8期98-108,共11页
学者研究主题相似性测度,是挖掘潜在合作关系和学术社团发现的基础工作。鉴于学者研究主题动态变化的特点,本文将Sentence-BERT句向量模型与时序分析相结合,从文本语义层面挖掘学者间研究主题相似性测度,并反映相似性的动态变化特征。... 学者研究主题相似性测度,是挖掘潜在合作关系和学术社团发现的基础工作。鉴于学者研究主题动态变化的特点,本文将Sentence-BERT句向量模型与时序分析相结合,从文本语义层面挖掘学者间研究主题相似性测度,并反映相似性的动态变化特征。实验中,本文采集中国知网(CNKI)中的文献数据,首先运用Sentence-BERT模型对文献内容进行向量化处理和相似度计算,随后结合时序变化计算学者间研究主题的时序变化特征,最后通过四象限矩阵图呈现计算结果。通过对比实验,本文方法能够较好地从语义层面识别近期研究主题相似度较高的学者。 展开更多
关键词 Sentence-bert 时间序列 学者研究主题 相似性测度
原文传递
基于BERT改进模型的交通运行态势预测方法
17
作者 胡立伟 余先林 +4 位作者 赵雪亭 杨志莹 王兴中 胡飞宇 武加宝 《公路交通科技》 北大核心 2025年第5期18-25,共8页
【目标】为应对交通网络复杂的动态时空特性和提升路网的承载能力,改变路网不确定性导致的交通拥堵问题,提升特征提取过程中的精度及速度,基于BERT模型提出用于交通态势预测的TCPBERT模型。【方法】首先将基于Transformer编码器框架的标... 【目标】为应对交通网络复杂的动态时空特性和提升路网的承载能力,改变路网不确定性导致的交通拥堵问题,提升特征提取过程中的精度及速度,基于BERT模型提出用于交通态势预测的TCPBERT模型。【方法】首先将基于Transformer编码器框架的标准BERT模型引入交通预测中,以利用其强大的上下文信息学习能力和时间序列建模能力;随后在标准BERT模型基础上对模型参数及其嵌入方式进行改进,提出用于交通运行态势预测的TCPBERT模型,模型在堆叠的Transformer编码器中使用纯注意力机制对时间序列相关性进行捕获,通过将归一化处理后的时间序列数据集对模型进行训练和性能检验,与基线模型进行误差对比后验证TCPBERT模型在交通运行态势预测任务上可行性和有效性,最后为进一步评估模型的稳定性和鲁棒性,对TCPBERT模型进行敏感性分析,验证模型参数设置的最优性。【结果】TCPBERT模型在多个评价指标上均优于基线模型,相较于LSTM,STGCN,ST-ANet模型,TCPBERT模型的平均绝对百分比误差分别降低了8.08%,6.59%,4.4%。在6 h的长时预测中,TCPBERT模型的预测结果与原始交通数据的趋势最为接近,显示出较强的时序建模能力和预测稳定性。【结论】通过引入BERT模型、Transformer双向编码器架构和多头自注意力机制,采用TCPBERT模型加强了对时间序列信息的捕获能力,有效提升了交通运行态势预测的精度和效率。 展开更多
关键词 智能交通 交通态势预测 Transformer双向编码器 时间序列相关性 注意力机制
原文传递
面向中文小样本命名实体识别的BERT优化方法 被引量:1
18
作者 杨三和 赖沛超 +3 位作者 傅仰耿 王一蕾 叶飞扬 张林 《小型微型计算机系统》 北大核心 2025年第3期602-611,共10页
为解决中文小样本命名实体识别(NER)任务所面临的问题和挑战,提出了一种面向中文小样本NER的BERT优化方法,该方法包含两方面的优化:首先,针对训练样本数量不足限制了预训练语言模型BERT的语义感知能力的问题,提出了ProConBERT,一种基于... 为解决中文小样本命名实体识别(NER)任务所面临的问题和挑战,提出了一种面向中文小样本NER的BERT优化方法,该方法包含两方面的优化:首先,针对训练样本数量不足限制了预训练语言模型BERT的语义感知能力的问题,提出了ProConBERT,一种基于提示学习与对比学习的BERT预训练策略.在提示学习阶段,设计掩码填充模板来训练BERT预测出每个标记对应的中文标签词.在对比学习阶段,利用引导模板训练BERT学习每个标记和标签词之间的相似性与差异性.其次,针对中文缺乏明确的词边界所带来的复杂性和挑战性,修改BERT模型的第一层Transformer结构,并设计了一种带有混合权重引导器的特征融合模块,将词典信息集成到BERT底层中.最后,实验结果验证了所提方法在中文小样本NER任务中的有效性与优越性.该方法结合BERT和条件随机场(CRF)结构,在4个采样的中文NER数据集上取得了最好的性能.特别是在Weibo数据集的3个小样本场景下,模型的F 1值分别达到了63.78%、66.27%、70.90%,与其他方法相比,平均F 1值分别提高了16.28%、14.30%、11.20%.此外,将ProConBERT应用到多个基于BERT的中文NER模型中能进一步提升实体识别的性能. 展开更多
关键词 中文小样本命名实体识别 提示学习 对比学习 预训练 特征融合 bert模型
在线阅读 下载PDF
基于Sentence-BERT与孤立森林算法的专利新颖性评估
19
作者 邓娜 王雨佳 +1 位作者 杨洋 陈旭 《情报杂志》 北大核心 2025年第2期174-182,共9页
[研究目的]面对专利数量的迅猛增长,采用人工方法评估专利新颖性变得愈发困难,且目前专利新颖性评估研究过度聚焦于技术层面,未能综合考虑专利的其他信息因素。因此,实现更高效、客观的专利新颖性评估具有重要的现实意义。[研究方法]提... [研究目的]面对专利数量的迅猛增长,采用人工方法评估专利新颖性变得愈发困难,且目前专利新颖性评估研究过度聚焦于技术层面,未能综合考虑专利的其他信息因素。因此,实现更高效、客观的专利新颖性评估具有重要的现实意义。[研究方法]提出一种基于Sentence-BERT与孤立森林算法的专利新颖性评估方法。首先,使用专利标题与IPC分类号分别作为专利的应用方向与功能分类特征,再通过BiLSTM-CRF模型对专利摘要进行关键技术抽取作为实施方法特征;其次,采用Sentence-BERT对上述特征进行文本向量化表示后组合输入至孤立森林算法获得离群专利集;最后,通过技术量权值过滤法提高专利新颖性评估的精度。[研究结果/结论]以金融科技领域专利进行实证研究,结果表明,该评估方法准确率相较专业专利分析平台方法提升了9%~11%。证明了该方法在专利新颖性评估中的有效性,能为后续专利审核工作和高价值专利分析提供参考。 展开更多
关键词 专利评估 专利新颖性 BiLSTM-CRF Sentence-bert 孤立森林算法 机器学习
在线阅读 下载PDF
基于BERT的多特征融合中文命名实体识别 被引量:2
20
作者 孙璐冰 康怡琳 +1 位作者 王俊 朱容波 《中南民族大学学报(自然科学版)》 CAS 2025年第1期68-74,共7页
针对中文命名实体识别往往需要引入外部知识获取深层语义信息,以及基于RNN结构的模型对空间特征提取效果不佳等问题,提出了基于BERT的多特征融合中文命名实体识别模型.通过BERT模型获取输入文本序列的深层次语义信息,利用MHSA模块和IDCN... 针对中文命名实体识别往往需要引入外部知识获取深层语义信息,以及基于RNN结构的模型对空间特征提取效果不佳等问题,提出了基于BERT的多特征融合中文命名实体识别模型.通过BERT模型获取输入文本序列的深层次语义信息,利用MHSA模块和IDCNN模块增强特征提取能力.前者利用相对位置编码和多头自注意力机制来捕获输入序列的隐藏特征,使模型能够考虑到字符间的距离方向信息;后者则可以对空间特征建模,获得输入序列的全局信息.通过将两个模块的输出特征进行连接,增强模型性能.实验结果表明:模型在MSRA、Resume和Weibo三个公共数据集上的F1值分别达到了95.12%、95.45%和66.14%,优于其它最新模型,验证了模型在中文命名实体识别上的有效性. 展开更多
关键词 自然语言处理 中文命名实体识别 bert模型 迭代膨胀卷积神经网络 自注意力
在线阅读 下载PDF
上一页 1 2 250 下一页 到第
使用帮助 返回顶部