多阶段学习的SBERT单词级文本对抗性样本检测

1

作者 常戬 张辉 +1 位作者 金海波 王冰冰 《计算机科学与探索》 北大核心 2025年第9期2493-2505,共13页

对抗性样本是在原样本上添加微小扰动,使模型以高置信度产生错误输出的样本。由于其在嵌入空间与原样本高度相似,检测难度较大。同时,大多数语言模型并非专为生成高质量嵌入向量设计,难以有效区分对抗性样本与正常样本,尤其在应对复杂... 对抗性样本是在原样本上添加微小扰动,使模型以高置信度产生错误输出的样本。由于其在嵌入空间与原样本高度相似,检测难度较大。同时,大多数语言模型并非专为生成高质量嵌入向量设计,难以有效区分对抗性样本与正常样本,尤其在应对复杂的单词级对抗攻击时,细微的语义差异通常难以被捕捉,从而影响检测性能。针对这一局限,提出了一种创新的句子嵌入模型多阶段学习方法,系统优化SBERT模型的嵌入空间表达,显著放大对抗性样本与普通样本的差异性。第一阶段的训练通过对比学习增强SBERT的区分能力,使对抗性样本与正常样本表征分离;第二阶段的训练结合监督对比学习和多级噪声增强,进一步优化嵌入空间,使同类样本更紧密聚集、异类样本充分分离;第三阶段利用分类器将模型的嵌入向量映射为标签。实验在BERT和Mamba模型作为攻击目标的情况下,针对三种分类数据集和多种文本对抗性攻击类型进行测试,结果表明该方法在检测对抗性样本时效果优异,同时也具备出色的跨模型、跨攻击和跨数据集的泛化能力,为文本对抗性样本检测提供了新的方法和思路。 展开更多

关键词 文本对抗性样本检测 sbert 对比学习 句子嵌入模型 噪声增强 嵌入相似性

在线阅读 下载PDF 职称材料

基于AutoPhrase-SBERT论文-专利文本挖掘的技术演化研究 被引量：1

2

作者 刘晋霞 柴福厚 董世庆 《情报探索》 2024年第8期104-111,共8页

[目的/意义]通过对制氢领域的论文和专利文本分析,揭示该领域的技术演化趋势,为科研人员、工程师了解该领域的关键技术和发展趋势提供参考。[方法/过程]采用AutoPhrase-SBERT算法对2000—2022年期间我国制氢领域的论文和专利进行主题提... [目的/意义]通过对制氢领域的论文和专利文本分析,揭示该领域的技术演化趋势,为科研人员、工程师了解该领域的关键技术和发展趋势提供参考。[方法/过程]采用AutoPhrase-SBERT算法对2000—2022年期间我国制氢领域的论文和专利进行主题提取与识别。通过皮尔逊相关系数对相邻时间窗口下论文-专利主题进行关联计算,并利用桑基图对主题关联性进行可视化,从而揭示我国制氢领域技术演变过程。[结果/结论]该方法能够展示领域技术随时间的变化趋势,并能揭示论文和专利主题之间的关系和相互影响。 展开更多

关键词 AutoPhrase sbert 文本挖掘 技术演化

在线阅读 下载PDF 职称材料

基于Jump-SBERT的二进制代码相似性检测技术研究 被引量：1

3

作者 严尹彤 于璐 +2 位作者 王泰彦 李宇薇 潘祖烈 《计算机科学》 CSCD 北大核心 2024年第5期355-362,共8页

二进制代码相似性检测技术在不同的安全领域中有着重要的作用。针对现有的二进制代码相似性检测方法面临计算开销大且精度低、二进制函数语义信息识别不全面和评估数据集单一等问题,提出了一种基于Jump-SBERT的二进制代码相似性检测技术... 二进制代码相似性检测技术在不同的安全领域中有着重要的作用。针对现有的二进制代码相似性检测方法面临计算开销大且精度低、二进制函数语义信息识别不全面和评估数据集单一等问题,提出了一种基于Jump-SBERT的二进制代码相似性检测技术。Jump-SBERT有两个主要创新点,一是利用孪生网络构建SBERT网络结构,该网络结构能够在降低模型的计算开销的同时保持计算精度不变;二是引入了跳转识别机制,使Jump-SBERT可以学习到二进制函数的图结构信息,从而更加全面地捕获二进制函数的语义信息。实验结果表明,Jump-SBERT在小函数池(32个函数)中的识别准确率可达96.3%,在大函数池(10000个函数)中的识别准确率可达85.1%,比最先进(State-of-the-Art,SOTA)的方法高出36.13%,且Jump-SBERT在大规模二进制代码相似性检测中的表现更加稳定。消融实验表明,两个主要创新点对Jump-SBERT均有积极作用,其中,跳转识别机制的贡献最高可达9.11%。 展开更多

关键词 二进制代码 相似性检测 语义信息 sbert网络结构 跳转识别机制

在线阅读 下载PDF 职称材料

基于SBERT的专利前沿主题识别方法研究--以我国制氢技术为例 被引量：6

4

作者 刘晋霞 张志宇 《情报工程》 2022年第6期28-45,共18页

[目的/意义]提出一种基于深度学习的前沿主题识别方法,使识别结果更加准确客观,为专利前沿主题的识别工作提供新思路。[方法/过程]采用专利之星检索系统数据库,通过SBERT预训练模型和聚类算法进行主题抽取工作;利用主题相似度计算和LDA... [目的/意义]提出一种基于深度学习的前沿主题识别方法,使识别结果更加准确客观,为专利前沿主题的识别工作提供新思路。[方法/过程]采用专利之星检索系统数据库,通过SBERT预训练模型和聚类算法进行主题抽取工作;利用主题相似度计算和LDA模型对主题进行关联和标识;并从关注度和质量水平两方面构建前沿性指标,确定前沿主题。[局限]在数据源以及指标构建多样性方面尚需进一步研究和构建。[结果/结论]以我国制氢领域的专利数据作为实证研究对象,发现电解制氢、重整制氢、光制氢、水解制氢和燃料电池发电5个前沿主题,并通过对比分析验证了主题抽取与指标建立的正确性与有效性。 展开更多

关键词 sbert 制氢技术 主题抽取 主题识别 前沿主题

在线阅读 下载PDF 职称材料

基于Elasticsearch和Sbert语义向量搜索引擎研究与设计

5

作者 张泰 《科学与信息化》 2023年第7期83-88,共6页

本文讨论如何利用语义相似度模型sbert为海量数据提供向量表示,以弥补Elasticsearch在精细化检索方面的不足,从而实现基于语义的向量搜索引擎,在智能问答、智能客服等方面提供服务。文章提出了实现该搜索引擎的具体方案,如使用sbert提... 本文讨论如何利用语义相似度模型sbert为海量数据提供向量表示,以弥补Elasticsearch在精细化检索方面的不足,从而实现基于语义的向量搜索引擎,在智能问答、智能客服等方面提供服务。文章提出了实现该搜索引擎的具体方案,如使用sbert提取语义特征,并结合多步精细化检索的实践经验,得出基于sbert的向量搜索引擎能够显著提高搜索结果的准确性和召回率的结论,对于搜索引擎技术的发展具有启示作用。 展开更多

关键词 sbert Elasticsearch 行业知识库建模 深度学习技术 语义相似度模型

在线阅读 下载PDF 职称材料

企业数字化转型与颠覆性技术创新——来自专利网络与SBERT模型的微观证据 被引量：34

6

作者 黄先海 孙涌铭 陈梦涛 《中国工业经济》 CSSCI 北大核心 2024年第10期137-154,共18页

企业数字化转型发挥突破市场圈层、颠覆业务分布的作用,改变了传统技术创新范式,有利于催生颠覆性技术创新。本文基于专利间引用与被引用信息构建专利网络,利用自然语言处理领域前沿的SBERT模型对专利文本进行嵌入,并基于对已有技术的... 企业数字化转型发挥突破市场圈层、颠覆业务分布的作用,改变了传统技术创新范式,有利于催生颠覆性技术创新。本文基于专利间引用与被引用信息构建专利网络,利用自然语言处理领域前沿的SBERT模型对专利文本进行嵌入,并基于对已有技术的突破性和对后续技术发展的影响力双向维度刻画颠覆性技术创新。在此基础上,本文实证检验了上市企业数字化转型对颠覆性技术创新的影响。结果表明,企业数字化转型通过正向的市场重塑效应与治理整合效应推动颠覆性技术创新。异质性分析结果显示,国有企业、战略性新兴产业企业以及高竞争压力企业能够更好地利用数字化转型推进颠覆性技术创新。进一步分析表明,颠覆性技术创新的重塑与规范效应随企业数字化转型呈现正向调节作用,即数字化水平更高的企业发展颠覆性技术创新,会对规范研发操纵、促进持续创新等产生积极影响。本文研究为探索数字经济时代推动颠覆性技术创新、加速发展新质生产力的有效路径提供了理论与经验证据。 展开更多

关键词 数字化转型 颠覆性技术创新 专利网络 sbert模型

原文传递

公众对ChatGPT的认知——基于跨平台用户生成内容的主题与情感研究 被引量：1

7

作者 黄本涛 李璨 +1 位作者 吴红 郭姗姗 《数字图书馆论坛》 2025年第2期35-46,共12页

用户生成内容(UserGeneratedContent,UGC)对于理解不同用户群体对新兴技术的态度具有关键作用。通过跨平台内容分析,可全面评估公众对ChatGPT的认知。基于6个社交媒体平台的UGC,通过向量融合构建LDA-SBERT模型,挖掘UGC中的隐含主题特征... 用户生成内容(UserGeneratedContent,UGC)对于理解不同用户群体对新兴技术的态度具有关键作用。通过跨平台内容分析,可全面评估公众对ChatGPT的认知。基于6个社交媒体平台的UGC,通过向量融合构建LDA-SBERT模型,挖掘UGC中的隐含主题特征,并进一步利用中文情感分析模型BERT-wwm分析不同主题、不同平台的公众情感态度。研究表明,ChatGPT相关的UGC可归为经济与产业影响、技术应用与体验、社会关系与影响、安全与伦理风险四大维度14个类别;跨平台比较表明,平台间相关话题讨论既有共性也存在特性,展现了不同的平台特色;情感分析结果显示,由于存在认识视角和未来预期的差异,公众对ChatGPT的态度呈现出明显的两极分化。研究不仅有助于技术开发者和政策制定者更好地理解公众对AI技术的态度,也为社交媒体平台的内容管理和舆情引导提供理论支撑。 展开更多

关键词 跨平台 ChatGPT 社交媒体 用户生成内容 LDA-sbert模型 公众认知

在线阅读 下载PDF 职称材料

基于动态主题网络的新兴技术主题识别——以氢燃料电池领域为例 被引量：7

8

作者 慎金花 王薇 +1 位作者 张更平 陈红艺 《情报杂志》 CSSCI 北大核心 2024年第9期92-100,共9页

[研究目的]新兴技术代表着未来的技术发展方向,是抢占科技前沿制高点必须把握的关键技术,准确识别新兴技术对国家发展具有重要战略意义。[研究方法]综合专利文本信息和分类信息,构建SBERT-LDA-IPC模型,识别各时间段的技术主题;根据主题... [研究目的]新兴技术代表着未来的技术发展方向,是抢占科技前沿制高点必须把握的关键技术,准确识别新兴技术对国家发展具有重要战略意义。[研究方法]综合专利文本信息和分类信息,构建SBERT-LDA-IPC模型,识别各时间段的技术主题;根据主题相似度矩阵绘制动态主题网络,识别具有创新性和连续性的主题为候选主题,评估候选主题的新颖性和影响力,确定新兴技术主题;以氢燃料电池领域为例进行实证检验。[研究结论]研究表明,SBERT-LDA-IPC模型提高了主题聚类的连贯性和准确性,结合国家在氢燃料电池产业发布的系列政策作为验证依据,识别出的三个新兴技术主题,与国家政策制定和产业发展方向一致。 展开更多

关键词 动态主题网络 主题演化 主题识别 专利信息 新兴技术 sbert-LDA-IPC模型 氢燃料电池

在线阅读 下载PDF 职称材料

改进CapsNet的文本自杀风险检测模型 被引量：1

9

作者 陈彬 李鸿燕 梁卓 《现代电子技术》 北大核心 2024年第14期9-14,共6页

针对现有模型未充分利用社交媒体中文本历史动态信息进行自杀风险检测的问题,引入CapsNet模型。在CapsNet模型中,层与层之间传递的是有向神经元组,能够更好地感知长文本中的空间信息,发现社交媒体用户的情感趋势,为自杀风险检测提供依... 针对现有模型未充分利用社交媒体中文本历史动态信息进行自杀风险检测的问题,引入CapsNet模型。在CapsNet模型中,层与层之间传递的是有向神经元组,能够更好地感知长文本中的空间信息,发现社交媒体用户的情感趋势,为自杀风险检测提供依据。文中对CapsNet模型进行改进,首先改变尺度空间,增加网络宽度,充分提取隐藏在句子中的特征信息;其次,使用指数函数对Squash函数进行优化,放大胶囊输出,充分利用胶囊提取用户历史动态中的特征信息;最后,在动态路由中采用优化算法对耦合系数进行初始化,去除噪声胶囊的干扰。使用预训练的SBERT模型对社交媒体文本数据进行特征提取,得到改进CapsNet文本自杀风险检测模型二分类的准确率达到95.93%,F1分数达到95.86%,优于自杀风险检测的其他模型。 展开更多

关键词 CapsNet模型 自杀风险检测 社交媒体 长文本信息 特征提取 sbert模型

在线阅读 下载PDF 职称材料

基于滑动窗口注意力网络的关系分类模型 被引量：4

10

作者 潘理虎 陈亭亭 +3 位作者 闫慧敏 赵彭彭 张睿 张英俊 《计算机技术与发展》 2022年第6期21-27,33,共8页

实体关系抽取是构建知识图谱过程中至关重要的一步。将注意力机制引入卷积神经网络或循环神经网络是目前关系抽取任务中比较主流的解决方法,谷歌最新提出的BERT模型在多项自然语言处理任务中都取得了非常好的效果。为了充分融合局部信... 实体关系抽取是构建知识图谱过程中至关重要的一步。将注意力机制引入卷积神经网络或循环神经网络是目前关系抽取任务中比较主流的解决方法,谷歌最新提出的BERT模型在多项自然语言处理任务中都取得了非常好的效果。为了充分融合局部信息和全局信息,并提高处理效率,该文提出了滑动窗口注意力网络模型(Sliding Window Attention Network,SWAN)。该模型首先通过预训练的word2vec生成词向量,加入位置表示并使用TransE模型对实体进行表征以充分突出实体信息,再采用基于BERT的SBERT模型对句子进行表征,在此基础上采用多种滑动窗口注意力机制捕获局部信息,然后在聚集层对抽取到的局部信息进行聚合,最后利用softmax函数来实现实体关系的分类。实验结果表明,提出的SWAN模型在SemEval2010 Task 8数据集上取得了较高的准确率,优于对比的现有关系抽取模型,同时模型训练效率也得到极大提升。 展开更多

关键词 实体关系抽取 滑动窗口 sbert 注意力机制 局部信息 全局信息

在线阅读 下载PDF 职称材料

人工智能创新如何降低供应链中断风险

11

作者 李政 刘琦 张鲁瑶 《中国流通经济》 2025年第12期58-76,共19页

人工智能创新与供应链的深度融合,能够推动企业从被动应对风险转向主动提升抗风险能力,是实现企业高质量发展、增强产业链供应链稳定性与抗风险能力的关键抓手。利用2013—2023年我国A股上市公司数据,通过SBERT架构的大语言模型构建企... 人工智能创新与供应链的深度融合,能够推动企业从被动应对风险转向主动提升抗风险能力,是实现企业高质量发展、增强产业链供应链稳定性与抗风险能力的关键抓手。利用2013—2023年我国A股上市公司数据,通过SBERT架构的大语言模型构建企业层面人工智能创新指标,系统考察人工智能创新对企业供应链中断风险的影响以及作用机制。研究发现,人工智能创新能够增强企业需求预测与规划能力,减少供应链上下游企业的信息壁垒,从而显著降低企业供应链中断风险,且对大规模、供应链透明度高、传统行业以及政府数据开放水平较高地区的企业影响更为明显。人工智能创新主要通过提升企业声誉、提高企业智能化业务水平、降低代理成本三条路径降低供应链中断风险。其中,良好的企业声誉能够增强合作关系的稳定性,智能化业务能够提升供应链企业协作效率,适度的代理成本能够提高供应链弹性。且上述机制在下游客户供需关系中的边际效应显著高于上游供应商。此外,人工智能创新具有“内外兼修”的双重经济效应,对内能够增强企业内部财务稳健性,缓解供应链中断风险对企业经营绩效的冲击;对外可以降低信息不对称、促进资本向高效率主体集中、降低股价非理性波动,削弱供应链中断风险对资本市场资源配置效率的负面影响。这种双向调节机制能够增强企业的风险抵御能力,提升资本市场的运行效率。基于此,政府层面应加大对企业人工智能创新的政策支持力度,精准施策激发企业人工智能创新活力;企业层面应积极推进人工智能技术与供应链管理的深度融合,实现供应链风险防控能力的整体跃升;资本市场层面应完善对人工智能创新价值的评估体系,实现科技、产业与金融的良性循环,进而助力企业借助科技创新增强供应链韧性、实现风险防控与高质量发展。 展开更多

关键词 人工智能创新 供应链中断风险 大语言模型 sbert

在线阅读 下载PDF 职称材料