基于长短期超图神经网络匹配的多目标跟踪

1

作者 郭文 刘其贵 +1 位作者 王拓 丁昕苗 《控制与决策》 北大核心 2025年第3期853-862,共10页

针对联合检测与跟踪范式中存在的检测特征和Re-ID特征相互竞争的问题以及在复杂场景下难以保持被遮挡目标视觉一致性关系的问题,提出一个端到端的超图神经网络关联的多目标跟踪方法(HGTracker).首先,HGTracker设计一个增强的空间金字塔... 针对联合检测与跟踪范式中存在的检测特征和Re-ID特征相互竞争的问题以及在复杂场景下难以保持被遮挡目标视觉一致性关系的问题,提出一个端到端的超图神经网络关联的多目标跟踪方法(HGTracker).首先,HGTracker设计一个增强的空间金字塔池化网络(ESPPNet)模块用来提高目标检测骨干网络的检测能力,该模块通过聚合不同维度的特征来适应跟踪过程的不同任务,有效地缓解一阶段跟踪方法中检测任务与Re-ID任务相互竞争的问题.其次,提出一个基于长短期超图神经网络的数据关联模块,通过设计长期超图神经网络和短期超图神经网络来分别关联未被遮挡和被遮挡的检测视觉特征,将数据关联问题转化为轨迹超图与检测超图之间的超图匹配问题,跟踪器将轨迹片段信息与当前检测帧信息之间的关系建模为超图神经网络,在严重遮挡的情况下保持了视觉轨迹的一致性.通过一系列的对比实验,所提出的HGTracker跟踪方法相比于FairMOT跟踪方法,在MOT17数据集上HOTA值由59.3%提高至61.4%,IDF1值由73.7%提高至79.3%,MOTA值由72.3%提高至76.9%;在MOT20数据集上,HOTA值由54.6%提高至57.9%,IDF1值由61.8%提高至73.1%,MOTA值由67.3%提高至75.1%. 展开更多

关键词 多目标跟踪 超图神经网络匹配 视觉一致性关系 数据关联 联合检测与跟踪范式

原文传递

语义场景描述与闭环检测算法研究

2

作者 朱尚峻 孙康平 +1 位作者 王勇 柯福阳 《测绘科学》 北大核心 2025年第3期132-141,共10页

闭环检测是消除视觉同步定位与建图算法在长距离运行累积误差的有效手段,针对环境剧烈变化或大视角差情况下闭环检测模块失效的问题,提出一种基于三维目标空间相似关系的场景描述与闭环检测算法SSR-LCD。算法结合场景中语义信息以及三... 闭环检测是消除视觉同步定位与建图算法在长距离运行累积误差的有效手段,针对环境剧烈变化或大视角差情况下闭环检测模块失效的问题,提出一种基于三维目标空间相似关系的场景描述与闭环检测算法SSR-LCD。算法结合场景中语义信息以及三维物体空间关系构建多层次场景描述图,能充分利用场景空间语义信息,并且在图匹配方法中融合空间相似关系计算,提高系统在大视角场景中的检测能力。通过KITTI公开数据集和真实场景对算法进行测试,在公开数据集多个序列的实验中,所提算法SSR-LCD对比基准框架ORB-SLAM2闭环检测准确率平均提升37.6%,绝对轨迹误差平均减小40.7%。在真实场景实验中,SSR-LCD对比传统视觉闭环检测算法在大视角差下的场景匹配成功率提升了62.1%,展现了在剧烈视角变化情况下鲁棒的定位与地图构建能力。 展开更多

关键词 视觉同步定位与建图 三维目标检测 空间相似关系 场景识别 闭环检测

原文传递

基于知识检索的多模态人物交互检测

3

作者 陈妍 高永彬 《北京化工大学学报(自然科学版)》 北大核心 2025年第1期113-121,共9页

人物交互(human-object interaction,HOI)检测在复杂场景理解中发挥着至关重要的作用。目前的大多数方法都以一阶段的方式将参数交互查询直接映射到一组HOI预测中,这导致丰富的交互结构没有被充分挖掘和利用。对此可以通过多模态数据获... 人物交互(human-object interaction,HOI)检测在复杂场景理解中发挥着至关重要的作用。目前的大多数方法都以一阶段的方式将参数交互查询直接映射到一组HOI预测中,这导致丰富的交互结构没有被充分挖掘和利用。对此可以通过多模态数据获取更多维度的信息,从而更全面地理解人物之间的交互行为。为此设计了一种Transformer风格的HOI检测器,该检测器基于查询的方式检索对比语言图像预训练(CLIP)知识,然后执行交互建议生成,通过结构感知网络将非参数交互建议转换为HOI预测。本文创新性地将CLIP知识迁移到HOI检测中,并通过对整体语义结构和局部空间结构进行额外编码提高了预测结果的准确性。实验结果表明,所提模型在公共数据集V-COCO上的准确率达到了64.83%,在HICO-DET数据集上的准确率达到了28.78%,与现有的HOI检测算法相比展现出优越的性能,证明了该算法的有效性。 展开更多

关键词 人-物体交互检测 计算机视觉 深度学习 目标检测 视觉关系

在线阅读 下载PDF 职称材料

高速隐身目标多传感器协同探测跟踪任务分解策略 被引量：3

4

作者 孙文 王刚 +1 位作者 王晶晶 付强 《探测与控制学报》 CSCD 北大核心 2021年第1期68-72,共5页

针对传统分解策略对高速隐身目标多传感器探测跟踪任务分解存在分解时间长、自适应性低、完备性差等问题,提出了柔性时间任务树分解策略。首先,基于对高速隐身目标多传感器探测跟踪任务分解特点的分析,确立了任务分解的基本准则;然后,... 针对传统分解策略对高速隐身目标多传感器探测跟踪任务分解存在分解时间长、自适应性低、完备性差等问题,提出了柔性时间任务树分解策略。首先,基于对高速隐身目标多传感器探测跟踪任务分解特点的分析,确立了任务分解的基本准则;然后,以传感器与高速隐身目标的可视化关系为前提和基础,融合“起止时间”、“最长观测时间”、“均匀分割时间”分解法和任务树层次化分解的思想,提出了柔性时间任务树分解策略,该策略能够灵活自适应地调整,对任务进行高效合理地分解;最后,通过案例分析,验证了柔性时间任务树分解策略的合理性和有效性,为未来高速隐身目标探测跟踪任务分配提供了保障。 展开更多

关键词 高速隐身目标 探测跟踪 任务分解 可视化 柔性时间任务树

在线阅读 下载PDF 职称材料

人物交互检测研究进展综述 被引量：5

5

作者 龚勋 张志莹 +2 位作者 刘璐 马冰 吴昆伦 《西南交通大学学报》 EI CSCD 北大核心 2022年第4期693-704,共12页

作为目标检测、行为识别、视觉关系检测的交叉学科,人物交互(human-object interaction,HOI)检测旨在识别特定应用场景下人与物体的相互关系.本文对基于图像的人物交互检测研究成果进行了系统总结及论述.首先,从交互关系建模的原理出发... 作为目标检测、行为识别、视觉关系检测的交叉学科,人物交互(human-object interaction,HOI)检测旨在识别特定应用场景下人与物体的相互关系.本文对基于图像的人物交互检测研究成果进行了系统总结及论述.首先,从交互关系建模的原理出发,把人物交互检测方法分为基于全局实例和基于局部实例两类,并对代表性方法进行了详细阐述和分析;进而,根据所采用视觉特征的差异将基于全局实例的方法进行细分,包括融合空间位置信息、融合外观信息与融合人体姿态信息;然后,讨论了零样本学习、弱监督学习以及Transformer模型在人物交互检测中的应用;最后,从交互类别、视觉干扰以及运动视角三方面出发,总结了人物交互检测面临的挑战,并指出领域泛化、实时检测和端到端网络是未来发展的趋势. 展开更多

关键词 人物交互 视觉关系 目标检测 动作识别

在线阅读 下载PDF 职称材料

基于标签层次结构的视觉关系检测模型

6

作者 王元龙 雷鸣 +3 位作者 王智强 张虎 李茹 梁吉业 《电子学报》 EI CAS CSCD 北大核心 2023年第12期3496-3506,共11页

视觉关系检测是在目标识别的基础上,进一步检测出目标之间的关系,属于视觉理解和推理的关键技术.然而,由于关系标签视觉上的相似性以及数据不平衡问题造成少样本的尾部关系检测召回率较低.为了提高尾部关系的检测效果,本文将关系标签进... 视觉关系检测是在目标识别的基础上,进一步检测出目标之间的关系,属于视觉理解和推理的关键技术.然而,由于关系标签视觉上的相似性以及数据不平衡问题造成少样本的尾部关系检测召回率较低.为了提高尾部关系的检测效果,本文将关系标签进行粗细粒度划分构建了标签的层次结构表示,提出了基于标签层次结构的视觉关系检测模型.模型利用视觉关系之间的相似性以及数据带有的偏见性构建关系标签的层次结构表示,以此将关系区分为粗粒度关系和细粒度关系,使尾部关系在由粗粒度到细粒度的结构上获得更多的关注.同时,针对标签层次结构的性质设计其损失函数,该损失函数通过结构化信息逐层学习不同类别关系之间的差异,使模型更好的检测尾部细粒度关系.分别在公开数据集Visual Relationship Detection(VRD)和Visual Genome(VG)中验证了本文模型检测尾部关系的效果.与现有模型相比,在VRD数据集中平均召回率mR@20、mR@50和mR@100分别提高了0.62%、1.57%和2.47%;在VG数据集中,mR@20、mR@50和mR@100分别提高了0.67%、0.83%和1.15%. 展开更多

关键词 视觉关系检测 标签层次结构表示 长尾分布 粗粒度关系 细粒度关系

在线阅读 下载PDF 职称材料

知识引导的视觉关系检测模型

7

作者 王元龙 胡文博 张虎 《计算机应用》 CSCD 北大核心 2024年第3期683-689,共7页

视觉关系检测(VRD)任务是在目标识别的基础上,进一步检测目标对象之间的关系,属于视觉理解和推理的关键技术。由于对象之间交互组合,容易造成对象间关系组合爆炸的问题,从而产生很多关联性较弱的实体对,导致后续的关系检测召回率较低。... 视觉关系检测(VRD)任务是在目标识别的基础上,进一步检测目标对象之间的关系,属于视觉理解和推理的关键技术。由于对象之间交互组合,容易造成对象间关系组合爆炸的问题,从而产生很多关联性较弱的实体对,导致后续的关系检测召回率较低。针对上述问题,提出知识引导的视觉关系检测模型。首先构建视觉知识,对常见的视觉关系检测数据集中的实体标签和关系标签进行数据分析与统计,得到实体和关系间交互共现频率作为视觉知识;然后利用所构建的视觉知识,优化实体对的组合流程,降低关联性较弱的实体对得分,提升关联性较强的实体对得分,进而按照实体对的得分排序并删除得分较低的实体对,对于实体之间的关系也同样采用知识引导的方式优化关系得分,从而提升模型的召回率。在公开数据集视觉基因库(VG)和VRD中验证所提模型的效果:在谓词分类任务中,与现有模型PE-Net(Prototype-based Embedding Network)相比,在VG数据集上,召回率Recall@50和Recall@100分别提高了1.84和1.14个百分点;在VRD数据集上,相较于Coacher,Recall@20、Recall@50和Recall@100分别提高了0.22、0.32和0.31个百分点。 展开更多

关键词 视觉关系检测 实体对排序 组合爆炸 共现频率 知识引导

在线阅读 下载PDF 职称材料

一种残差置乱上下文信息的场景图生成方法 被引量：3

8

作者 林欣 田鑫 +2 位作者 季怡 徐云龙 刘纯平 《计算机研究与发展》 EI CSCD 北大核心 2019年第8期1721-1730,共10页

场景图在视觉理解中有着很重要的作用.现有的场景图生成方法对于主语、宾语以及主宾语间的视觉关系进行研究.但是,人类通过空间关系上下文、语义上下文和目标之间的互动信息来进行关系的理解和推理.为了获得更好的全局上下文表示,同时... 场景图在视觉理解中有着很重要的作用.现有的场景图生成方法对于主语、宾语以及主宾语间的视觉关系进行研究.但是,人类通过空间关系上下文、语义上下文和目标之间的互动信息来进行关系的理解和推理.为了获得更好的全局上下文表示,同时减少数据集偏差的影响,提出了一个新的场景图生成框架RSSQ(residual shuffle sequence model).该框架由目标解码、残差置乱和位置嵌入3部分构成.残差置乱模块由随机置乱和残差连接的双向LSTM的基本结构叠加而成,利用迭代方式实现随机打乱双向LSTM的隐藏状态以减少数据集偏差影响,利用残差连接提取共享的全局上下文信息.在位置嵌入模块中,通过对目标的相对位置和面积比例的编码则可以增强目标对之间的空间关系.在数据集Visual Genome的3个不同层次子任务的实验中,证明了提出的RSSQ方法因全局上下文改善和空间关系增强,在Recall@50和Recall@100指标评价下,相对于现有方法能生成更好的场景图. 展开更多

关键词 场景图 视觉关系 上下文 残差双向LSTM 目标检测

在线阅读 下载PDF 职称材料

结合注意力机制与特征融合的场景图生成模型 被引量：5

9

作者 黄勇韬 严华 《计算机科学》 CSCD 北大核心 2020年第6期133-137,共5页

视觉场景理解不仅可以孤立地识别单个物体,还可以得到不同物体之间的相互作用关系。场景图可以获取所有的(主语-谓词-宾语)信息来描述图像内部的对象关系,在场景理解任务中应用广泛。然而,大部分已有的场景图生成模型结构复杂、推理速... 视觉场景理解不仅可以孤立地识别单个物体,还可以得到不同物体之间的相互作用关系。场景图可以获取所有的(主语-谓词-宾语)信息来描述图像内部的对象关系,在场景理解任务中应用广泛。然而,大部分已有的场景图生成模型结构复杂、推理速度慢、准确率低,不能在现实情况下直接使用。因此,在Factorizable Net的基础上提出了一种结合注意力机制与特征融合的场景图生成模型。首先把整个图片分解为若干个子图,每个子图包含多个对象及对象间的关系;然后在物体特征中融合其位置和形状信息,并利用注意力机制实现物体特征和子图特征之间的消息传递;最后根据物体特征和子图特征分别进行物体分类和物体间关系推断。实验结果表明,在多个视觉关系检测数据集上,该模型视觉关系检测的准确率为22.78%~25.41%,场景图生成的准确率为16.39%~22.75%,比Factorizable Net分别提升了1.2%和1.8%;并且利用一块GTX1080Ti显卡可以在0.6 s之内实现对一幅图像的物体和物体间的关系进行检测。实验数据充分说明,采用子图结构明显减少了需要进行关系推断的图像区域数量,利用特征融合方法和基于注意力机制的消息传递机制提升了深度特征的表现能力,可以更快速准确地预测对象及其关系,从而有效解决了传统的场景图生成模型时效性差、准确度低的难题。 展开更多

关键词 场景图 视觉关系检测 注意力机制 消息传递 特征融合

在线阅读 下载PDF 职称材料

嵌入视觉关系掩码的多类别金具检测方法 被引量：1

10

作者 王巍 杨耀权 +2 位作者 王乾铭 翟永杰 赵振兵 《智能系统学报》 CSCD 北大核心 2023年第3期440-449,共10页

在对输电线路金具进行检测的过程中,由于受到复杂背景的影响,一些互相遮挡或者特征不明显的金具会隐匿在复杂环境难以精确检测。针对这一问题,提出了基于视觉关系掩码的多类别金具检测模型,通过挖掘和提取输电线路金具之间包含空间信息... 在对输电线路金具进行检测的过程中,由于受到复杂背景的影响,一些互相遮挡或者特征不明显的金具会隐匿在复杂环境难以精确检测。针对这一问题,提出了基于视觉关系掩码的多类别金具检测模型,通过挖掘和提取输电线路金具之间包含空间信息的视觉关系先验知识,构建视觉关系掩码和视觉关系检测网络,并将先验知识作为辅助信息融入视觉关系模块中,最终实现多类别金具的精确定位与识别。对具有14类金具的数据集进行多种定性和定量实验,结果表明,改进后的模型平均检测精度能提高到76.25%,检测效果也优于其他先进目标检测模型。 展开更多

关键词 目标检测 输电线路 金具 深度学习 视觉关系 先验知识 空间信息 辅助信息

在线阅读 下载PDF 职称材料

面向无人平台的视觉空间关系模型 被引量：1

11

作者 皇甫润南 田江鹏 +1 位作者 游雄 屠铱成 《测绘通报》 CSCD 北大核心 2023年第10期34-39,66,共7页

视觉空间关系是指通过视觉传感器获得的空间关系。当认知主体由人转变为无人平台时,显式地描述与记录空间关系是无人平台实现场景理解和空间推理的关键。本文聚焦无人平台视觉空间关系模型缺失现状,将地图学和机器视觉中关于空间关系的... 视觉空间关系是指通过视觉传感器获得的空间关系。当认知主体由人转变为无人平台时,显式地描述与记录空间关系是无人平台实现场景理解和空间推理的关键。本文聚焦无人平台视觉空间关系模型缺失现状,将地图学和机器视觉中关于空间关系的分类、模型和算法进行融合,提出了一种面向无人平台的视觉空间关系模型;构建了融合视觉空间关系模型的数据集,训练视觉空间关系预测模型,比较不同模型的视觉空间关系检测能力,验证了基于视觉空间关系模型所构建数据集的完备性及模型提升视觉关系检测能力的有效性。本文能够改善当前机器视觉领域空间关系不统一的问题,对提高无人平台视觉关系检测、实现空间关系记录和地图模型构建等方面具有一定的研究意义。 展开更多

关键词 视觉空间关系 无人平台 视觉关系检测 时空Transformer

原文传递

基于协同训练的半监督图文关系抽取方法

12

作者 王亚萍 王智强 +1 位作者 王元龙 梁吉业 《南京理工大学学报》 CAS CSCD 北大核心 2024年第4期451-459,共9页

为克服获取大量关系标记样本的昂贵代价,提出基于协同训练的半监督图文关系抽取模型,以利用大量无标记的数据来提升图文关系抽取的准确性。首先,基于图像和文本2种模态构建图像视图和文本语义视图,在标记数据集上训练2种不同视图的分类... 为克服获取大量关系标记样本的昂贵代价,提出基于协同训练的半监督图文关系抽取模型,以利用大量无标记的数据来提升图文关系抽取的准确性。首先,基于图像和文本2种模态构建图像视图和文本语义视图,在标记数据集上训练2种不同视图的分类器;然后,将2种视图下的数据分别交叉输入另一视图的分类器,充分挖掘标记数据和未标记数据的信息,输出更准确的分类结果;最后,2种视图下的分类器对未标记数据进行预测,以输出一致的结果。在公开数据集VRD和VG上的实验结果显示,与6种较新的关系检测方法相比,该文方法图像视图和语义视图参数在VRD数据集上分别提升了2.24%、1.41%,在VG数据集上提升了3.59%。 展开更多

关键词 协同训练 半监督 多模态 关系抽取 视觉关系检测

在线阅读 下载PDF 职称材料

基于多特征提取网络的视觉关系检测方法研究 被引量：3

13

作者 钟冠华 黄巍 《电脑与电信》 2022年第7期67-70,共4页

视觉关系检测的目的是检测出图像中目标间的关系,形成诸多三元组,帮助人们实现对图像的文本描述。采用图像特征、空间特征与语义特征等多个特征提取网络,确保多尺度特征提取,加强特征提取能力,提升视觉关系检测的准确率。

关键词 视觉关系检测 目标检测 特征提取

在线阅读 下载PDF 职称材料

融合视觉关系检测的电力场景自动危险预警 被引量：9

14

作者 高明 左红群 +4 位作者 柏帆 田清阳 葛志峰 董兴宁 甘甜 《中国图象图形学报》 CSCD 北大核心 2021年第7期1583-1593,共11页

目的借助深度学习强大的识别与检测能力,辅助人工进行电力场景下的危险描述与作业预警是一种较为经济和高效的电力安全监管手段。然而,目前主流的以目标检测技术为基础的预警系统只能给出部分危险目标的信息,忽视了电力设备的单目危险... 目的借助深度学习强大的识别与检测能力,辅助人工进行电力场景下的危险描述与作业预警是一种较为经济和高效的电力安全监管手段。然而,目前主流的以目标检测技术为基础的预警系统只能给出部分危险目标的信息,忽视了电力设备的单目危险关系和成对对象间潜在的二元危险关系。不同于以往的方法,为了拓展危险预警模块的识别能力与功能范畴,本文提出了一种在电力场景下基于视觉关系检测的自动危险预警描述生成方法。方法对给定的待检测图像,通过目标检测模块得到图中对象的类别名称和限界框位置;分别对图像进行语义特征、视觉特征和空间位置特征的抽取,将融合后的总特征送入关系检测模块,输出单个对象的一元关系和成对对象间的关系三元组;根据检测出的对象类别和关系信息,进行危险预测并给出警示描述。结果本文自主搜集了多场景下的电力生产作业图像并进行标注,同时进行大量消融实验。实验显示,结合了语义特征、空间特征和视觉特征的关系检测器在前5召回率Recall@5和前10召回率Recall@10上的精度分别达到86.80%和93.93%,比仅使用视觉特征的关系检测器的性能提高约15%。结论本文提出的融合多模态特征输入的视觉关系检测网络能够较好地给出谓词关系的最佳匹配,并减少不合理的关系预测,且具有一定零样本学习(zero-shot learning)能力。相关可视化结果表明,整体系统能够较好地完成电力场景下的危险预警描述任务。 展开更多

关键词 危险预警 目标检测 视觉关系检测 多模态特征融合 多标签余量损失

原文传递

基于语义连通图的场景图生成算法

15

作者 姜有亮 张锋军 +1 位作者 沈沛意 张亮 《南京师范大学学报（工程技术版）》 CAS 2022年第2期48-55,共8页

提出了基于语义连通图的场景图生成算法.将关系检测过程分为关系建议和关系推理两步;以目标检测算法得到的候选对象为节点集合,构建一个全连接图;使用物体的类别信息和相对空间关系计算物体之间存在关系的概率;通过设置阈值来删除图中... 提出了基于语义连通图的场景图生成算法.将关系检测过程分为关系建议和关系推理两步;以目标检测算法得到的候选对象为节点集合,构建一个全连接图;使用物体的类别信息和相对空间关系计算物体之间存在关系的概率;通过设置阈值来删除图中的无效连接,得到稀疏的语义连通图;使用图神经网络聚合物体节点的特征进行聚合,融合上下文信息.根据语义连通图的连接关系,结合更新后的主语和宾语特征以及两个物体联合区域的特征,构建关系特征,预测图中的每条边对应的关系类别. 展开更多

关键词 场景图生成 图卷积神经网络 目标检测 视觉关系检测 场景语义理解

在线阅读 下载PDF 职称材料

基于深度学习的视觉关系检测方法探讨 被引量：3

16

作者 马立志 《现代工业经济和信息化》 2021年第8期84-86,共3页

针对生产过程中零部件在工业生产线包装过程中存在检测速度较慢、自动化检测水平较低、检测准确率不高等问题进行了仔细的研究,并推出一种基于深度学习的工业零部件检测系统方案,以此来提高零部件检测效果。其设计原理在于改进网络共享... 针对生产过程中零部件在工业生产线包装过程中存在检测速度较慢、自动化检测水平较低、检测准确率不高等问题进行了仔细的研究,并推出一种基于深度学习的工业零部件检测系统方案,以此来提高零部件检测效果。其设计原理在于改进网络共享卷积层结构的方法,同时融合了区域建议网络和区域卷积网络共建的检测方法,针对目标零部件做出准确的定位和识别,还能够适应多种形状和规格的零部件检测。同时也探讨了通过联邦学习这样的方法进行深入探索的可行性。 展开更多

关键词 深度学习 视觉关系 检测方法 卷积神经网络 联邦学习

在线阅读 下载PDF 职称材料

多巴胺系统基因对注意网络的调控作用

17

作者 陈晨 张英 +1 位作者 刘嘉 胡思源 《心理科学》 CSSCI CSCD 北大核心 2018年第1期24-30,共7页

多巴胺是脑内重要的神经递质之一,与注意活动紧密相关。本文选取作用于突触前膜、间隙和后膜的多巴胺系统基因——多巴胺转运蛋白基因、儿茶酚氧化甲基转移酶基因和多巴胺受体基因,整合影像遗传学研究,探讨多巴胺基因对注意网络的调控... 多巴胺是脑内重要的神经递质之一,与注意活动紧密相关。本文选取作用于突触前膜、间隙和后膜的多巴胺系统基因——多巴胺转运蛋白基因、儿茶酚氧化甲基转移酶基因和多巴胺受体基因,整合影像遗传学研究,探讨多巴胺基因对注意网络的调控。元分析发现背侧和腹侧注意网络的主要脑区均有较大的基因调控效应,且腹侧网络的效应值显著大于背侧网络,表明多巴胺系统基因在全脑范围内调控注意网络,且对腹侧网络的调控作用强于背侧网络。 展开更多

关键词 注意网络 功能磁共振成像 影像遗传学 多巴胺系统 元分析

原文传递

基于施工场景的视觉关系检测方法

18

作者 王俊杰 农元君 +1 位作者 张立特 翟佩臣 《吉林大学学报（工学版）》 EI CAS CSCD 北大核心 2023年第1期226-233,共8页

鉴于施工现场中工人与施工机械及施工用具之间不合规的交互关系是引发安全事故的重要原因,提出了一种基于施工场景的视觉关系检测方法。首先,采用卷积神经网络搭建实体检测和关系检测分支,以提取出施工场景中的实体特征和关系特征;其次... 鉴于施工现场中工人与施工机械及施工用具之间不合规的交互关系是引发安全事故的重要原因,提出了一种基于施工场景的视觉关系检测方法。首先,采用卷积神经网络搭建实体检测和关系检测分支,以提取出施工场景中的实体特征和关系特征;其次,构建视觉模块、语义模块和空间模块对提取出的特征进行学习,使网络充分感知和理解视觉信息、语义信息与空间信息;最后,设计了一种图形对比损失函数,以提高模型的视觉关系检测性能。在自制的施工场景关系检测数据集上的实验结果表明,本文方法实现了75.89%、77.64%、78.93%的R@20、R@50、R@100召回率,具有良好的视觉关系检测性能,能精准地检测出施工场景中的目标及其交互关系。 展开更多

关键词 计算机应用技术 视觉关系检测 施工场景 卷积神经网 场景图 图像理解

原文传递

遥感目标空间关系检测方法 被引量：4

19

作者 农元君 王俊杰 +3 位作者 赵雪冰 张军航 耿慧 徐晓东 《光学学报》 EI CAS CSCD 北大核心 2021年第16期204-209,共6页

当前基于深度学习的遥感目标检测方法只能识别出遥感目标的类别及位置,无法检测出遥感目标间的空间关系。针对该问题,提出一种遥感目标空间关系检测方法。首先采用卷积神经网络构建视觉模块,以提取出遥感图像中的视觉特征;其次构建语义... 当前基于深度学习的遥感目标检测方法只能识别出遥感目标的类别及位置,无法检测出遥感目标间的空间关系。针对该问题,提出一种遥感目标空间关系检测方法。首先采用卷积神经网络构建视觉模块,以提取出遥感图像中的视觉特征;其次构建语义模块将提取出的视觉特征映射至语义嵌入空间中,以实现遥感目标视觉特征和语义特征的深度融合;最后将Softmax函数和视觉一致性损失函数引入传统的三元组损失函数中,设计一种改进的三元组损失函数。在自制的遥感目标空间关系检测的数据集中采用所提方法进行实验。实验结果表明,在前20、50和100个的预测结果中,所提方法的召回率分别为76.32%、78.54%和81.47%,说明所提方法具有良好的空间关系检测性能,能够精准检测出遥感图像中的遥感目标及其空间关系。 展开更多

关键词 遥感 遥感图像 空间关系检测 卷积神经网络 视觉模块 语义模块

原文传递

基于视觉推理的机器人多物体堆叠场景抓取方法 被引量：8

20

作者 张翰博 兰旭光 +3 位作者 周欣文 田智强 张扬 郑南宁 《中国科学：技术科学》 EI CSCD 北大核心 2018年第12期1341-1356,共16页

基于视觉的机器人抓取方法是研究智能机器人抓取问题的重要思路.本文提出了一种基于机器视觉推理的适用于多物体堆叠场景的机器人抓取方法,算法包含了场景理解和抓取规划两个步骤.在第一步的场景理解中,本文的算法包含两个主要部分:视... 基于视觉的机器人抓取方法是研究智能机器人抓取问题的重要思路.本文提出了一种基于机器视觉推理的适用于多物体堆叠场景的机器人抓取方法,算法包含了场景理解和抓取规划两个步骤.在第一步的场景理解中,本文的算法包含两个主要部分:视觉操作关系推理和抓取部位检测.在视觉操作关系推理中,本文提出了一种基于深度卷积网络的视觉操作关系网络(Visual Manipulation Relationship Network, VMRN),以对物体和操作关系进行实时推理.在视觉操作关系网络中,通过设计物体对池化层,实现了物体检测和操作关系推理的端对端训练,提升了算法的速度和性能.在第二步的抓取部位检测中,本文提出了基于有向锚点框的全卷积视觉抓取部位检测网络,实现了对物体抓取部位的实时检测,并在康奈尔抓取数据集上取得了目前最高的精度.在抓取规划中,通过结合场景深度信息和抓取部位检测结果,获取当前被抓取物体的抓取点和对应的抓取向量,并通过坐标系变换将Kinect坐标系的抓取向量映射为机器人坐标系的抓取向量,完成当前抓取.实验结果表明,本文提出的机器人抓取方法能够在多物体堆叠环境下按照正确顺序完成抓取任务,并成功抓取目标物体. 展开更多

关键词 机器人抓取 视觉操作关系推理 视觉抓取部位检测 视觉操作关系数据集

原文传递