通用人工智能中的Long-Context技术分析

1

作者 赵立东 郭敬明 蒋燕 《集成电路应用》 2024年第6期410-412,共3页

阐述通用人工智能中的Long-Context技术原理,提出该技术的解决方案,包括位置编码外推、注意力机制计算优化、模型结构优化和检索增强生成。分析硬件系统的瓶颈,探讨Long-Context在通用人工智能时代的发展趋势。

关键词 long-context 位置编码 注意力机制 检索增强生成

在线阅读 下载PDF 职称材料

一种双分支特征交互融合的高效红外图像彩色化方法

2

作者 陈宇 詹伟达 +2 位作者 蒋一纯 朱德鹏 韩登 《西安交通大学学报》 北大核心 2025年第8期211-222,共12页

针对现有的红外图像彩色化方法在全局特征捕获和计算复杂度方面存在显著局限性的问题,提出了一种双分支特征交互融合的高效红外图像彩色化方法。设计双分支编码器,通过局部特征提取分支获取局部空间上下文信息,确保细粒度特征的捕获,并... 针对现有的红外图像彩色化方法在全局特征捕获和计算复杂度方面存在显著局限性的问题,提出了一种双分支特征交互融合的高效红外图像彩色化方法。设计双分支编码器,通过局部特征提取分支获取局部空间上下文信息,确保细粒度特征的捕获,并通过全局特征提取分支获取全局特征,满足对长程依赖的需求。设计交互融合模块,对两个分支提取到的特征进行有效整合,显著增强了模型的整体性能。在解码器部分提出上下文聚合模块,进一步优化多尺度语义特征的聚合能力,改善了彩色化结果的边缘清晰度和细节表现力。在KAIST和FLIR数据集上进行广泛实验验证,结果表明:与现有方法相比,所提方法在两个数据集上均具有更高的彩色化质量,峰值信噪比分别达到28.645、30.459 dB,结构相似度达到0.507、0.725,均优于对比方法,且有效性和先进性也得到了验证。研究结果可为提升红外图像的可读性与可解释性以及提高夜视与恶劣环境下的观测能力提供参考。 展开更多

关键词 红外图像彩色化 细粒度特征 长程依赖 交互融合 上下文聚合

在线阅读 下载PDF 职称材料

一种空间语义联合感知的红外无人机目标跟踪方法

3

作者 于国栋 蒋一纯 +5 位作者 刘云清 王义君 詹伟达 王春阳 冯江海 韩悦毅 《电子与信息学报》 北大核心 2025年第11期4242-4253,共12页

现有红外无人机目标跟踪方法在多尺度特征融合过程中存在空间和语义信息丢失问题,导致跟踪器无法精准定位无人机目标位置,降低了跟踪任务的成功率。针对上述问题,该文提出一种空间语义联合感知的红外无人机目标跟踪方法。首先,提出了空... 现有红外无人机目标跟踪方法在多尺度特征融合过程中存在空间和语义信息丢失问题,导致跟踪器无法精准定位无人机目标位置,降低了跟踪任务的成功率。针对上述问题,该文提出一种空间语义联合感知的红外无人机目标跟踪方法。首先,提出了空间语义联合注意模块,通过空间多尺度注意模块提取多尺度长程依赖特征,增强空间上下文信息的关注,并通过全局-局部通道语义注意模块交互全局和局部通道特征,确保重要语义信息的捕获。其次,设计了双分支全局特征交互模块对模板和搜索分支特征进行有效整合,显著提高了网络的整体性能。在红外无人机数据集Anti-UAV上进行了广泛实验验证,结果表明:与现有方法相比,该方法具有更好的跟踪性能,平均状态精度达到0.769,成功率达到0.743,精确度达到0.935,均优于对比方法,并且有效性、泛化性和先进性也得到了验证。 展开更多

关键词 目标跟踪 语义信息 空间上下文信息 长程依赖 特征交互

在线阅读 下载PDF 职称材料

大语言模型长文本推断优化技术综述

4

作者 陶伟 王健宗 +1 位作者 张旭龙 瞿晓阳 《大数据》 2025年第6期72-94,共23页

随着大语言模型技术的快速发展,其处理长文本输入的需求日益增加,但长文本推断面临内存消耗大和时延高的问题。为提高大语言模型在长文本推断中的效率,对现有优化技术进行了全面回顾和分析。首先,揭示了影响效率的三大关键因素:一是庞... 随着大语言模型技术的快速发展,其处理长文本输入的需求日益增加,但长文本推断面临内存消耗大和时延高的问题。为提高大语言模型在长文本推断中的效率,对现有优化技术进行了全面回顾和分析。首先,揭示了影响效率的三大关键因素:一是庞大的模型体量,二是具有二次计算复杂度的注意力机制操作,三是自回归式的解码策略。这些因素共同制约了模型的整体性能表现。随后,提出了一种分类方法,将优化技术分为模型优化、计算优化和系统优化,并详细介绍了量化、稀疏注意力、算子融合等关键技术。研究结果表明,这些优化技术能有效提升长文本推断的性能。最后,展望了未来研究方向,强调了进一步优化大语言模型长文本推断的重要性,以满足不断增长的长文本推断需求。 展开更多

关键词 大语言模型 长文本推断 模型优化 计算优化 系统优化

在线阅读 下载PDF 职称材料

面向深思考的高效混合注意力机制

5

作者 肖朝军 方晔玮 韩旭 《计算》 2025年第8期42-47,共6页

近年来,大语言模型通过强化学习训练获得了强大的深度推理能力,能够生成长思维链来解决复杂问题。然而,传统自注意力机制的平方复杂度在处理包含大量推理词元的长序列时产生巨大计算和存储开销,严重制约了深思考模型的训练和推理效率。... 近年来,大语言模型通过强化学习训练获得了强大的深度推理能力,能够生成长思维链来解决复杂问题。然而,传统自注意力机制的平方复杂度在处理包含大量推理词元的长序列时产生巨大计算和存储开销,严重制约了深思考模型的训练和推理效率。现有研究主要关注对深思考模型进行后处理优化,从而提升深思考模型的推理效率,忽略了训练阶段的效率问题。本研究发现,深思考场景下推理过程呈现局部性特征,使得混合注意力机制具有独特优势,将稠密注意力模型通过少量后训练转换为混合注意力模型,并基于此进行深思考训练。实验结果表明,在AIME、MATH-500和LiveCodebench等典型深思考评测集上,1:1混合注意力模型达到了与稠密注意力模型相当甚至更优的性能,同时在64k词元的上下文窗口下节省22%的训练时间开销和46.9%的键值缓存存储开销。 展开更多

关键词 混合注意力 大语言模型 高效思考 滑动窗口注意力 稀疏注意力 推理模型 思维链 长序列处理

在线阅读 下载PDF 职称材料

深度思考模型带来的人工智能基础设施挑战与机遇

6

作者 章明星 《计算》 2025年第8期34-41,共8页

近年来,随着“缩放法则”带来的性能增益趋于减缓,研究者提出深度思考模型(reasoning model)新范式,通过延长上下文和链式思考路径提升智能表现。然而,这一升级也对人工智能(artificial intelligence,AI)基础设施提出了前所未有的挑战:... 近年来,随着“缩放法则”带来的性能增益趋于减缓,研究者提出深度思考模型(reasoning model)新范式,通过延长上下文和链式思考路径提升智能表现。然而,这一升级也对人工智能(artificial intelligence,AI)基础设施提出了前所未有的挑战:训练阶段需要支持更长序列、更多阶段的分布式并行与强化学习后训练流程;推理阶段则因超长输入输出和键值(keyvalue,KV)缓存激增导致算力、显存和带宽压力倍增。为此,业界在训练中综合应用张量并行、流水线并行、专家并行与序列并行,并通过DualPipe等改进掩盖通信延迟;在推理中提出“以存换算”架构,如Mooncake架构的预填充阶段/解码计算密集阶段/解码注意力阶段(简称prefill/model/attention)异构分离,以及KTransformers的计算强度导向卸载策略,实现存储与计算资源的异构协同。最后,面向未来,通过稀疏注意力机制(如MoBA、NSA)以降低长序列的O(n^(2))复杂度,为深度思考模型的下一步基础设施适配提供了新的思路。本研究梳理了代表性案例与技术路径,为行业在算法与系统协同优化上提供参考。 展开更多

关键词 深度思考模型 链式思考 人工智能基础设施 长上下文 并行训练 键值缓存 异构协同 稀疏注意力

在线阅读 下载PDF 职称材料

基于记忆增强的长文本建模方法

7

作者 刘炜杰 汤泽成 李俊涛 《计算机科学》 北大核心 2025年第12期231-238,共8页

大语言模型(LLMs)近年来取得了显著进展,并在多个领域展现出卓越的性能。然而,由于注意力机制的二次时空复杂度以及生成过程中键值对缓存不断增长所带来的显存消耗,处理长文本相关任务仍然是LLMs面临的一大挑战。为了解决此问题,提出了... 大语言模型(LLMs)近年来取得了显著进展,并在多个领域展现出卓越的性能。然而,由于注意力机制的二次时空复杂度以及生成过程中键值对缓存不断增长所带来的显存消耗,处理长文本相关任务仍然是LLMs面临的一大挑战。为了解决此问题,提出了基于记忆增强的长文本建模方法MemLong,旨在利用外部检索器检索历史信息来增强长上下文语言建模的能力。MemLong将一个非参数化的检索-记忆模块与一个部分可训练的大语言模型相结合,并引入了一种能够利用语义层面相关的文本块的细粒度可控的检索注意力机制。非参数化的检索-记忆模块负责从外部知识库中检索与当前输入相关的历史信息,而大语言模型则将检索到的信息和当前输入融合在一起并生成输出。细粒度可控的检索注意力机制允许模型在生成过程中动态地调整对检索信息的关注程度,从而实现更精准的文本生成。在多个长上下文语言建模基准测试上的综合评估表明,MemLong方法始终优于其他先进的LLMs。此外,MemLong显著提升了模型处理长文本的能力。在单卡3090 GPU上,MemLong可以将上下文长度从4000扩展到80000,提升了20倍。这一突破性的进展使得MemLong能够处理更长的输入文本,从而更好地理解和生成长文本内容,为处理超长文本任务提供了新的可能性,并为未来长文本语言建模的研究开辟了新的方向。 展开更多

关键词 检索增强语言建模 长文本生成 自然语言处理 长文本评估 检索增强生成

在线阅读 下载PDF 职称材料

多模态大语言模型位置感知记忆增强方法

8

作者 张钏钰 李成华 《中国电子科学研究院学报》 2025年第5期546-557,共12页

当前多模态大语言模型在多模态长上下文任务上表现不佳,原因在于现有的几种多模态大语言模型自身结构中,直接投影会导致视觉序列过长、使用Q-former压缩视觉数据使得信息丢失、Flamingo等修改语言模型主干的设计使得性能表现不佳。针对... 当前多模态大语言模型在多模态长上下文任务上表现不佳,原因在于现有的几种多模态大语言模型自身结构中,直接投影会导致视觉序列过长、使用Q-former压缩视觉数据使得信息丢失、Flamingo等修改语言模型主干的设计使得性能表现不佳。针对这些问题,文中提出了多模态大语言模型的位置感知记忆增强方法,实现了对多模态大语言模型对于图文交叉的多模态长上下文任务表现的提升,该方法主要包含锚点偏移检索器、自适应占位符、记忆库三部分。其中,锚点偏移检索器基于RoBERTa、Transformer层和前馈神经网络构建,利用CLIP的跨模态能力,能够在多模态对话过程中实现更加丰富、有效的记忆库检索;自适应占位符基于指令微调的思想,将上下文结构信息融入检索结果,使其信息更加完整,以实现更准确、流畅的对话生成;记忆库针对多模态图文交叉长上下文构建,具有针对多模态记忆设计的分块结构和检索返回策略,贴合多模态对话任务的需求。本文方法在图文交叉长上下文测试基准MMDU-benchmark和MM-NIAH上对两个不同的语言模型都展现了有效增强,MMDU-benchmark上的平均得分相对于基线方法分别提高了5.3和11.6,MM-NIAH的图文推理任务的准确度相对于基线方法提高了4.3%和7.2%,证明了本文提出的位置感知记忆增强方法能够有效增强多模态大语言模型,更好处理图文交叉长上下文任务。 展开更多

关键词 多模态大模型 多模态长上下文 检索增强 记忆增强

在线阅读 下载PDF 职称材料

基于DeepSeek-MLA机制的工业级长上下文异常检测方法

9

作者 杜渐 《信息化研究》 2025年第6期144-147,共4页

面向工业互联网(IIoT)设备运维日志“序列超长、故障特征稀疏、边缘侧资源受限”的典型约束,传统Transformer在长序列推理中面临计算复杂度高、KV Cache显存膨胀等瓶颈。本文提出工业级长上下文日志分析系统DSA-Log:在注意力层引入DeepS... 面向工业互联网(IIoT)设备运维日志“序列超长、故障特征稀疏、边缘侧资源受限”的典型约束,传统Transformer在长序列推理中面临计算复杂度高、KV Cache显存膨胀等瓶颈。本文提出工业级长上下文日志分析系统DSA-Log:在注意力层引入DeepSeek多头潜在注意力(MLA),通过KV联合低秩压缩将推理缓存由线性增长压缩为近似常数级;采用解耦旋转位置编码(Decoupled RoPE)保持长距离位置感知;进一步设计动态Top-k稀疏注意力选择与CUDA算子融合以提升效率。基于真实电力运维日志实验表明,在异常检测F1基本不降的前提下,DSA-Log在32K长度下将推理延迟降低69.1%,KV Cache显存占用减少59%,验证了其在工业边缘端低成本部署的可行性。 展开更多

关键词 工业互联网 长上下文分析 DeepSeek-V2 多头潜在注意力(MLA) 稀疏计算 异常检测

在线阅读 下载PDF 职称材料

基于预测网络的视频异常行为检测方法

10

作者 庄旭 张红民 郑敬添 《计算机仿真》 2025年第5期475-481,共7页

提出了一种优化预测网络的视频异常行为检测方法,现有的大部分视频异常行为检测方法主要基于最小化重建误差准则,缺乏对异常行为运动长期性的考虑。因此,提出了一种基于运动上下文感知的预测网络来进行视频异常行为检测。上述方法引入... 提出了一种优化预测网络的视频异常行为检测方法,现有的大部分视频异常行为检测方法主要基于最小化重建误差准则,缺乏对异常行为运动长期性的考虑。因此,提出了一种基于运动上下文感知的预测网络来进行视频异常行为检测。上述方法引入具有记忆对齐学习的长期运动上下文记忆,能够将视频帧的信息存储到存储器中,建立起当前输入帧与前后帧的映射关系以方便后续的预测,通过预测未来帧与原始帧之间的差异来检测视频目标异常行为。同时,采用具有重叠注意力的全局匹配光流估计方法来获取未来帧和原始帧的光流图,并在预测中引入运动约束让未来帧和原始帧之间的光流保持一致。此外,采用生成性对抗网络进行训练模型,让上述方法能更好地预测未来帧,提高视频异常行为检测的准确性。Avenue和ShanghaiTech两个数据集上的实验结果表明,所提方法相比于其它的视频人体异常行为检测方法有更好地表现,在Avenue和ShanghaiTech数据集中分别达到了90.7%和85.4%。 展开更多

关键词 视频异常行为检测 运动上下文感知 长期运动上下文记忆 光流估计 生成性对抗网络

在线阅读 下载PDF 职称材料

多元化文化背景下饲料外贸人才培养的长效机制研究

11

作者 叶莹 《中国饲料》 北大核心 2025年第18期121-124,共4页

为探讨多元化文化背景下饲料外贸人才培养的长效机制,文章对饲料外贸人才培养的需求和重要性进行深入分析,并根据人才培养现状提出了切实可行的策略,旨在提高人才培养的针对性和有效性,实现饲料外贸人才的持续培养、发展和利用,确保人... 为探讨多元化文化背景下饲料外贸人才培养的长效机制,文章对饲料外贸人才培养的需求和重要性进行深入分析,并根据人才培养现状提出了切实可行的策略,旨在提高人才培养的针对性和有效性,实现饲料外贸人才的持续培养、发展和利用,确保人才培养始终与饲料外贸活动相适应,从而以高素质的?饲料外贸人才助推饲料企业的海外发展。 展开更多

关键词 多元化文化背景 饲料外贸 人才培养 长效机制

在线阅读 下载PDF 职称材料

基于双路信息时空图卷积网络的交通预测模型 被引量：3

12

作者 康雁 谢思宇 +4 位作者 王飞 寇勇奇 徐玉龙 吴志伟 李浩 《计算机科学》 CSCD 北大核心 2021年第S02期46-51,62,共7页

随着深度学习的发展,神经网络在各个领域都有着大量的应用,智慧交通系统也不例外。交通流预测是智慧交通系统的基石,是整个交通预测的核心所在。近年来,图卷积神经网络的利用有效地提高了交通预测的性能,如何进一步提高对图的时空特征... 随着深度学习的发展,神经网络在各个领域都有着大量的应用,智慧交通系统也不例外。交通流预测是智慧交通系统的基石,是整个交通预测的核心所在。近年来,图卷积神经网络的利用有效地提高了交通预测的性能,如何进一步提高对图的时空特征进行捕获的能力,将会成为热点。为了提升交通预测的精度,提出了一种基于双路信息时空图卷积网络的交通预测模型。首先,针对图卷积网络的交通预测模型在长距离依赖上建模有所不足,并且没有完全挖掘时空图信息之间的隐藏关系以及在时空图结构上还有信息缺失,提出了一种三重池化注意力机制来建模全局上下文信息。通过对图卷积层和时间卷积层各增加并行的三重池化注意力路径,构造了一个双路信息时空卷积层,提升了卷积层的泛化能力及模型捕获长距离依赖的能力,同时让时空卷积层能够很好地捕获时空图结构上的空间和时间特征,从而有效地提升了交通预测性能。在两个公共交通数据集(METR-LA和PEMS-BAY)上的实验结果表明,该模型具有较好的性能。 展开更多

关键词 交通预测 图卷积神经网络 全局上下文建模 长距离依赖

在线阅读 下载PDF 职称材料

东方美学情境下的长镜头理论 被引量：3

13

作者 杨一 《绵阳师范学院学报》 2008年第9期104-107,共4页

长镜头理论兴起于西方,传入东方之后产生了巨大的影响。在当代中国,不管是电影艺术的创作还是电视纪录片的拍摄,关于长镜头理论和长镜头中所体现出来的纪实美学的探寻浪潮至今方兴未艾。本文就东西方长镜头的差异简要分析了在东方美学... 长镜头理论兴起于西方,传入东方之后产生了巨大的影响。在当代中国,不管是电影艺术的创作还是电视纪录片的拍摄,关于长镜头理论和长镜头中所体现出来的纪实美学的探寻浪潮至今方兴未艾。本文就东西方长镜头的差异简要分析了在东方美学情景观照之下的东方式长镜头的内涵和外延。 展开更多

关键词 长镜头 意境 儒道文化 诗画体现

在线阅读 下载PDF 职称材料

从语境层面破解英语长句的翻译 被引量：3

14

作者 杨文 《海外英语》 2012年第8X期170-171,共2页

英语长句的翻译历来都是英语翻译中的难点。而语境的基本理论在翻译学的地位是举足轻重的。在理解英语、汉语的语言特征的基础上,从语词的场合、逻辑、语序以及时代背景等语境层面把握长句的翻译十分必要。

关键词 翻译 长句 语境

在线阅读 下载PDF 职称材料

中国武术思想史研究若干议题管窥 被引量：1

15

作者 陈星潭 韩红雨 马振水 《成都体育学院学报》 CSSCI 北大核心 2018年第1期21-25,46,共6页

对武术思想史的关注,是推进武术理论的必然要求,成为当前学术研究热点。本文通过文献资料等方法,分析了武术思想史的若干议题,提出史料是武术思想史研究的基础,甄别与互证程度高低决定了思想根基深浅;语境是历史上的特定时代,是武术思... 对武术思想史的关注,是推进武术理论的必然要求,成为当前学术研究热点。本文通过文献资料等方法,分析了武术思想史的若干议题,提出史料是武术思想史研究的基础,甄别与互证程度高低决定了思想根基深浅;语境是历史上的特定时代,是武术思想发生、发展和成熟的历史现场;主体是基于占历史多数的大众习武群体,主体叙事遵循的是唯物史观,符合史学转型潮流;本体是区别于其它文化思想的抓手,是武术思想的最终建构;长时段彰显着武术思想的连续性,提醒我们摆脱"后见之明",树立"去熟悉化"意识,从"无知之幕"探究思想之流。 展开更多

关键词 中国武术 武术思想史 文化 历史语境 主体与本体 长时段

在线阅读 下载PDF 职称材料

LED大屏幕设计中的几个难点和解决方法 被引量：1

16

作者 丁卫红 赵建洋 王永强 《淮阴工业专科学校学报》 2000年第1期83-85,共3页

本文主要介绍 LED大屏幕设计中信号远距离传送、图文混排、汉字平滑缩放和汉字点阵提取等关键技术。实践证明 ,实用。

关键词 信号远距离传送 图文混排 汉字点阵 LED大屏幕 设计 显示屏

在线阅读 下载PDF 职称材料

坚持我国宗教中国化方向的几点思考 被引量：1

17

作者 金泽 《浙江工商大学学报》 CSSCI 北大核心 2023年第4期5-11,共7页

宗教学理论研究要为推动我国宗教坚持中国化方向助力,就要在调研问题和理论探索上多下功夫。通过理论层面对三组辩证“关系”进行探索,得出以下结论:一是宗教存在的长期性和宗教在特定时间、空间中嬗变的关系,决定了坚持宗教中国化方向... 宗教学理论研究要为推动我国宗教坚持中国化方向助力,就要在调研问题和理论探索上多下功夫。通过理论层面对三组辩证“关系”进行探索,得出以下结论:一是宗教存在的长期性和宗教在特定时间、空间中嬗变的关系,决定了坚持宗教中国化方向要着眼于当下和未来;二是宗教存在的群众性和信众的归属与身份的非等同关系,决定了坚持宗教中国化方向不能忽视“结构”及其多样性;三是传承宗教传统与调适变革的内在动力的关系,决定了坚持宗教中国化方向重在“自觉”。希冀上述思考能为推动宗教中国化、促进宗教学理论界的“三大体系”建设提供助力。 展开更多

关键词 宗教 中国化方向 长期性 群众性 辩证性

在线阅读 下载PDF 职称材料

基于编解码网络UNet3+的遥感影像建筑变化检测 被引量：17

18

作者 梁燕 易春霞 王光宇 《计算机学报》 EI CAS CSCD 北大核心 2023年第8期1720-1733,共14页

遥感影像建筑变化检测需解决两个重要问题:一是双时相影像本身存在的时间依赖性问题;其二是由于建筑物密集分布,阴影效应及各对象之间的相似性导致的特征鉴别问题.该文分析现有处理方案,提出了基于UNet3+网络的边缘引导变换检测网络(Edg... 遥感影像建筑变化检测需解决两个重要问题:一是双时相影像本身存在的时间依赖性问题;其二是由于建筑物密集分布,阴影效应及各对象之间的相似性导致的特征鉴别问题.该文分析现有处理方案,提出了基于UNet3+网络的边缘引导变换检测网络(Edge-Guided Change Detection Base on UNet3+,EGCD-UNet3+).UNet3+利用全尺度的跳跃连接把来自不同尺度特征图中的深层语义与浅层语义直接结合,从多尺度聚合的特征图中学习层次表示,但是在特征提取时忽略了对象尺度规模,导致感受野与尺度不匹配.因此EGCD-UNet3+首先设计了一种具有自适应感受野的选择性核Block(Selective Kernel Block,SKB)代替UNet3+原始的Block,使影像对在提取深、浅层特征时具有自适应感受野属性.EGCD-UNet3+由编码与解码两部分构成,在编码端利用长短期记忆网络(Long Short-Term Memory,LSTM)捕捉长期依赖关系,建模像素之间的关系上下文,设计差分增强模块(Difference Enhance Module,DEM),分析影像对之间的时间相关性,解决双时相本身存在的时间依赖性问题.在解码端,EGCD-UNet3+提出边缘引导上下文模块(Edge-Guided Context Module,EGCM)进一步改善建筑检测边界的性能,在更细粒度水平上有效提取多尺度空间边缘信息.最后,EGCD-UNet3+利用同时具备像素分割误差和边缘分割误差的复合损失函数,使网络能够充分学习有效的特征进行准确的标签预测.所提模型在LEVIR-CD与WHU-CD数据集上验证,精准率(P)分别达到90.75%、91.75%,召回率(R)可分别增长到96.68%、92.42%,F1-score(F1)分别增加到93.15%、92.08%,总体分割精确度(OA)分别达到99.12%、98.96%,且交并比(IoU)分别增加到83.96%、74.91%. 展开更多

关键词 变化检测 差分增强 长短期记忆 选择性核 边缘引导上下文

在线阅读 下载PDF 职称材料

融合时间上下文与长短期偏好的序列推荐模型 被引量：1

19

作者 胡胜利 林凯 《湖北民族大学学报（自然科学版）》 CAS 2022年第3期328-335,共8页

在以往基于自注意力机制的序列推荐模型中,由于忽略上下文信息和长期行为信息,常导致模型无法捕捉到多层次的序列特征.因此提出一种融合时间上下文与长短期偏好的序列推荐模型.首先利用感知时间间隔的自注意力机制来建模用户和项目短期... 在以往基于自注意力机制的序列推荐模型中,由于忽略上下文信息和长期行为信息,常导致模型无法捕捉到多层次的序列特征.因此提出一种融合时间上下文与长短期偏好的序列推荐模型.首先利用感知时间间隔的自注意力机制来建模用户和项目短期行为交互的关系模式,然后补充用户长期偏好来增强用户特征表示,并利用门控机制将长短期偏好表示进行融合生成用户最终兴趣表示.最后对用户交互项目间的共现模式进行建模,并结合用户最终兴趣表示进行项目推荐.在3个公开数据集上进行实验的结果验证了该模型的有效性. 展开更多

关键词 序列推荐 时间信息 项目共现 上下文信息 长短期偏好

在线阅读 下载PDF 职称材料

基于BiLSTM-CNN串行混合模型的文本情感分析 被引量：36

20

作者 赵宏 王乐 王伟杰 《计算机应用》 CSCD 北大核心 2020年第1期16-22,共7页

针对现有文本情感分析方法准确率不高、实时性不强以及特征提取不充分的问题,构建了双向长短时记忆神经网络和卷积神经网络(BiLSTM-CNN)的串行混合模型。首先,利用双向循环长短时记忆(BiLSTM)神经网络提取文本的上下文信息;然后,对已提... 针对现有文本情感分析方法准确率不高、实时性不强以及特征提取不充分的问题,构建了双向长短时记忆神经网络和卷积神经网络(BiLSTM-CNN)的串行混合模型。首先,利用双向循环长短时记忆(BiLSTM)神经网络提取文本的上下文信息;然后,对已提取的上下文特征利用卷积神经网络(CNN)进行局部语义特征提取;最后,使用Softmax得出文本的情感倾向。通过与CNN、长短时记忆神经网络(LSTM)、BiLSTM等单一模型对比,所提出的文本情感分析模型在综合评价指标F1上分别提高了2.02个百分点、1.18个百分点和0.85个百分点;与长短时记忆神经网络和卷积神经网络(LSTM-CNN)、BiLSTM-CNN并行特征融合等混合模型对比,所提出的文本情感分析模型在综合评价指标F1上分别提高了1.86个百分点和0.76个百分点。实验结果表明,基于BiLSTM-CNN的串行混合模型在实际应用中具有较大的价值。 展开更多

关键词 文本情感分析 上下文信息 语义特征 长短时记忆神经网络 卷积神经网络

在线阅读 下载PDF 职称材料