期刊文献+
共找到17篇文章
< 1 >
每页显示 20 50 100
采用注意力与模板在线更新的可见光-红外目标跟踪网络
1
作者 韩向东 钟傲 +3 位作者 刘冲澳 孙延鑫 张向永 徐淋智 《西安交通大学学报》 北大核心 2025年第8期187-198,共12页
针对当前可见光-红外目标跟踪算法对红外可见光双模态特征交互与目标动态变化建模不足的问题,结合卷积掩码自编码器模型,提出一种基于注意力与模板在线更新的可见光-红外双模态目标跟踪网络。以卷积掩码自编码器模型为骨干网络,通过采... 针对当前可见光-红外目标跟踪算法对红外可见光双模态特征交互与目标动态变化建模不足的问题,结合卷积掩码自编码器模型,提出一种基于注意力与模板在线更新的可见光-红外双模态目标跟踪网络。以卷积掩码自编码器模型为骨干网络,通过采用双嵌入层配合共享权重的骨干网络结构提取可见光与红外特征,深入挖掘可见光与红外数据间的内在联系。通过强化模板与搜索图像的关联性,引入通道空间自注意力机制以增强模板和搜索图像间的交互,来提取模态间可区分的异质互补特征。提出模板在线更新模块,通过在线更新模板与设计模板分数头,利用置信度评分机制融合初始模板的稳定性与在线模板的适应性,解决目标随时间变化导致的模型漂移问题。实验结果表明,所提算法在GTOT和RGBT234公开数据集上的精确率和成功率分别达到93.3%/75.6%和87.2%/63.8%,可在目标不断变化情况下实现精确跟踪。可视化分析表明,所提算法在双模态热力图上可自适应互补,单一模态失效时仍能精准定位目标。 展开更多
关键词 目标跟踪 可见光-红外 注意力机制 模板在线更新 卷积掩码自编码器
在线阅读 下载PDF
用于RGBT跟踪的孪生混合信息融合算法 被引量:1
2
作者 黄颖 杨佳宇 +1 位作者 金家昊 万邦睿 《计算机应用》 CSCD 北大核心 2024年第9期2878-2885,共8页
可见光与热红外跟踪(又称RGBT(RGB-Thermal)跟踪)的核心是有效地利用不同模态的信息,针对决策级融合中单分支产生低质结果影响算法判定目标的问题,提出一个用于RGBT跟踪的孪生混合信息融合算法SiamMIF。首先,使用孪生主干网络(SBN)进行... 可见光与热红外跟踪(又称RGBT(RGB-Thermal)跟踪)的核心是有效地利用不同模态的信息,针对决策级融合中单分支产生低质结果影响算法判定目标的问题,提出一个用于RGBT跟踪的孪生混合信息融合算法SiamMIF。首先,使用孪生主干网络(SBN)进行多模态特征提取;其次,从信噪比的角度分析低质图像对双分支并行决策产生的影响,进而设计了一个信噪比驱动的信息交互模块(IIM)对低信噪比特征进行信息互补;再次,利用双流无锚跟踪头(ADH)对补偿后的特征进行分类回归;最后,采用自适应轻量决策模块(ALDM)对跟踪结果进行融合,并快速判定目标位置。在4个RGBT基准数据集GTOT、RGBT234、VOT-RGBT2019和LasHeR上的实验结果表明,所提算法在LasHeR数据集上的成功率和精确度分别为0.396和0.518,相较于APFNet(Attribute-based Progressive Fusion Network)提升9.4%和3.6%,在其他3个数据集上也能取得较好结果,且在GPU上的帧率能达到40 frame/s。 展开更多
关键词 RGBT跟踪 孪生神经网络 多模态融合策略 信息交互 无锚跟踪头
在线阅读 下载PDF
基于多模态双向信息增强的RGBT跟踪网络 被引量:1
3
作者 赵伟 刘磊 +2 位作者 王鲲鹏 涂铮铮 罗斌 《北京航空航天大学学报》 EI CAS CSCD 北大核心 2024年第2期596-605,共10页
可见光-热红外(RGBT)目标跟踪旨在挖掘可见光和热红外数据的互补优势,实现鲁棒的目标跟踪。目前主流方法通常引入模态权重来实现多模态信息融合,但简单地为各个模态分配权重无法充分挖掘可见光和热红外模态的互补优势。基于此,提出了一... 可见光-热红外(RGBT)目标跟踪旨在挖掘可见光和热红外数据的互补优势,实现鲁棒的目标跟踪。目前主流方法通常引入模态权重来实现多模态信息融合,但简单地为各个模态分配权重无法充分挖掘可见光和热红外模态的互补优势。基于此,提出了一种多模态双向信息增强的RGBT跟踪网络(MBIENet)。设计了一种特征聚合模块,用于聚合模态共享特征和模态特定特征以建模目标外观信息;提出了一种新的多模态双向调制融合模块,可有效融合模态互补信息,减少冗余特征和无用特征对跟踪器的影响;提出了一个轻量化的通道空间注意力模块,可自适应调整不同环境下不同模态的贡献。在GTOT、RGBT234和LasHeR数据集上的实验结果表明:所提跟踪算法的准确率和成功率优于当前主流的跟踪算法。 展开更多
关键词 可见光-热红外 目标跟踪 深度学习 多模态信息融合 多模态信息交互
原文传递
基于多尺度模态融合的RGB-T目标跟踪网络 被引量:1
4
作者 程竹轩 范慧杰 +1 位作者 唐延东 王强 《山东科技大学学报(自然科学版)》 CAS 北大核心 2024年第1期89-99,共11页
可见光-热红外(RGB-T)目标跟踪因受光照条件限制较小受到关注。针对不同尺度特征的分辨率与语义信息存在差异、可见光与热红外两种模态信息不一致的特点,以及现有网络在多模态融合策略上的不足,提出一种RGB-T目标跟踪网络。网络采用孪... 可见光-热红外(RGB-T)目标跟踪因受光照条件限制较小受到关注。针对不同尺度特征的分辨率与语义信息存在差异、可见光与热红外两种模态信息不一致的特点,以及现有网络在多模态融合策略上的不足,提出一种RGB-T目标跟踪网络。网络采用孪生结构,首先将主干特征提取网络输出的模板图像特征与搜索图像特征从单尺度拓展到多尺度,并对可见光与热红外模态在不同尺度上分别进行模态融合,然后将得到的融合特征通过注意力机制增强特征表示,最后通过区域建议网络得到预测结果。在GTOT与RGBT-234两个公开RGB-T数据集上的实验结果表明,该网络跟踪精度和成功率较高,可以应对复杂的跟踪场景,相比于其他网络具有更高的跟踪性能。 展开更多
关键词 目标跟踪 可见光与热红外 多尺度特征 模态融合 深度学习
在线阅读 下载PDF
基于多模态RGB-T的显著性目标检测算法
5
作者 刘东 毕洪波 +2 位作者 任思琪 于鑫 张丛 《吉林大学学报(信息科学版)》 CAS 2024年第3期573-578,共6页
针对RGB(Red Green Blue)模态与热度模态信息表征形式不一致,特征信息无法有效挖掘、融合问题,提出了一种新的联合注意力强化网络-FCNet(Feature Sharpening and Cross-modal Feature Fusion Net)。首先,通过双维度注意力机制提升图像... 针对RGB(Red Green Blue)模态与热度模态信息表征形式不一致,特征信息无法有效挖掘、融合问题,提出了一种新的联合注意力强化网络-FCNet(Feature Sharpening and Cross-modal Feature Fusion Net)。首先,通过双维度注意力机制提升图像特征映射能力;然后,利用跨模态特征融合机制捕获目标区域;最后,利用逐层解码结构消除背景干扰,优化检测目标。实验结果表明,该优化改进算法运算参数更少、运算时间更短,且模型整体检测性能均优于现有多模态检测模型性能。 展开更多
关键词 多模态 RGB-热 特征锐化模块 跨模态融合机制
在线阅读 下载PDF
可见光相机辅助的热红外相机几何定标
6
作者 林栋 杨保平 +2 位作者 田鹏义 崔晓杰 祝若鑫 《地理空间信息》 2024年第3期7-10,15,共5页
为提升热红外相机的几何定位精度,针对热红外相机空间分辨率低、影像对比度差、边缘特征模糊等问题,提出了可见光相机辅助的热红外相机几何定标方法。在近景摄影测量环境下,设计了一种兼顾可见光相机与热红外相机的新型三维几何定标场,... 为提升热红外相机的几何定位精度,针对热红外相机空间分辨率低、影像对比度差、边缘特征模糊等问题,提出了可见光相机辅助的热红外相机几何定标方法。在近景摄影测量环境下,设计了一种兼顾可见光相机与热红外相机的新型三维几何定标场,采用“先内定向、再外定向”的方法分步实现几何定标与应用测量。在倾斜航空摄影测量环境下,将几何定标与应用测量融为一体,在三维重建中考虑相机畸变对影像定位精度的影响,同时实现高精度的几何定标和三维重建。实验结果表明,该方法能大幅提升热红外相机的几何定标精度与稳定性,为高精度三维重建等应用提供支撑。 展开更多
关键词 热红外相机 可见光相机 几何定标 近景摄影测量 倾斜航空摄影测量
在线阅读 下载PDF
热像仪-RGB相机-IMU传感器的空间联合标定方法 被引量:4
7
作者 王鑫 李伟 +1 位作者 曾子铭 张吟龙 《仪器仪表学报》 EI CAS CSCD 北大核心 2020年第11期216-225,共10页
热像仪、RGB相机、惯性测量单元(IMU)在图像模态、感知精度和响应速度方面具有异质和互补的特性,在机器人和计算机视觉领域受到越来越多的关注。在热像仪、RGB相机和IMU传感器之间进行准确的标定是实现三者有效融合必不可少的过程。为此... 热像仪、RGB相机、惯性测量单元(IMU)在图像模态、感知精度和响应速度方面具有异质和互补的特性,在机器人和计算机视觉领域受到越来越多的关注。在热像仪、RGB相机和IMU传感器之间进行准确的标定是实现三者有效融合必不可少的过程。为此,提出了一种空间联合标定方法,将热像仪、RGB相机和IMU坐标系之间的空间关系关联在一起。为了保证联合标定的一致性,在棋盘格的角点处分别固定尺寸相同、直径约5 mm的LED阵列,作为热像仪的标定板。在提取热像仪标定图像光源中心环节,采用混合高斯模型来提取标定位置信息,以此来保证LED光源部分缺失情况下鲁棒的位置估计。再建立目标优化函数,优化热像仪图像中提取的热源中心重投影误差、RGB图像中提取的棋盘角角点重投影误差、加速度和角速度误差来联合估计外参。实验环节,在搭建的热像仪-RGB相机-IMU多模态感知平台,采集了大量的实验数据,对所收集的热像仪-RGB相机-IMU测量结果进行了深入分析,可靠且准确的空间标定结果验证了所提方法的有效性。 展开更多
关键词 热像仪 RGB相机 惯性测量单元 联合标定 混和高斯模型
原文传递
节水抗旱稻高通量表型组学研究平台的建设与应用 被引量:2
8
作者 高欢 徐小艳 +5 位作者 陈韵宇 刘鸿艳 陈亮 杨万能 罗利军 楼巧君 《上海农业学报》 2022年第4期46-55,共10页
发展节水抗旱稻对于在“资源节约、环境友好”基础上保障粮食安全具有重大意义。受限于抗旱性状的复杂性和缺乏精准抗旱鉴定平台,基因组序列等大量生物信息的潜力无法得到有效挖掘和应用。发展水稻抗旱表型组学可为稻种资源抗旱性评价... 发展节水抗旱稻对于在“资源节约、环境友好”基础上保障粮食安全具有重大意义。受限于抗旱性状的复杂性和缺乏精准抗旱鉴定平台,基因组序列等大量生物信息的潜力无法得到有效挖掘和应用。发展水稻抗旱表型组学可为稻种资源抗旱性评价、基因发掘与利用提供新思路。通过简略介绍国内外作物表型平台的研发和应用,重点阐述节水抗旱稻表型组学平台的建设和应用。目前,该平台集成了可见光RGB成像、红外成像、高光谱成像和激光雷达成像共4种采集单元,可对水稻的抗旱性进行连续无损的图像采集和分析鉴定,是国内外进行水稻抗旱高通量表型研究和应用较为先进和全面的设施之一。 展开更多
关键词 节水抗旱稻 高通量表型组 RGB 红外热成像 高光谱 激光雷达
在线阅读 下载PDF
医学红外热像中的伪彩色显示技术 被引量:2
9
作者 黄博 李子孺 《红外》 CAS 2011年第6期28-33,共6页
医用红外热像技术在现代医学和中医学中都有着重要应用。为了更直观、有效地反映人体的生理病理信息,对现有红外热像中的色标伪彩色序列进行了改进。设计了一种新的颜色路径。在新色标中,RGB的3个分量由13段线性函数表示。其中,R分量可... 医用红外热像技术在现代医学和中医学中都有着重要应用。为了更直观、有效地反映人体的生理病理信息,对现有红外热像中的色标伪彩色序列进行了改进。设计了一种新的颜色路径。在新色标中,RGB的3个分量由13段线性函数表示。其中,R分量可在图像处理中用于低温背景与人体边缘的检测,G分量便于对图像中人体的高、低温异常信息进行观察分析。该新色标不但适合观察局部的病灶区域,而且便于整体观察人体温度分布的平衡性,有助于对人体红外热像进行观测和分析。 展开更多
关键词 医用红外热像仪 伪彩色 色标 RGB分量
在线阅读 下载PDF
RGB-T目标跟踪综述 被引量:4
10
作者 丁正彤 徐磊 +4 位作者 张研 李飘扬 李阳阳 罗斌 涂铮铮 《南京信息工程大学学报(自然科学版)》 CAS 2019年第6期690-697,共8页
RGB-T目标跟踪是基于RGB目标跟踪问题发展而来的.为了提高复杂环境下的目标跟踪性能,学者们提出结合可见光和热红外的信息来克服单一成像受限的问题.本文首先介绍了RGB-T目标跟踪的研究背景,并指出该任务所面临的挑战,然后归纳并介绍了... RGB-T目标跟踪是基于RGB目标跟踪问题发展而来的.为了提高复杂环境下的目标跟踪性能,学者们提出结合可见光和热红外的信息来克服单一成像受限的问题.本文首先介绍了RGB-T目标跟踪的研究背景,并指出该任务所面临的挑战,然后归纳并介绍了目前已有的RGB-T目标跟踪的几类方法,包括传统方法和深度学习方法.最后,本文对现有的RGB-T数据集、评价指标进行了分析和对比,并指出RGB-T跟踪中值得研究的方面. 展开更多
关键词 可见光-热红外 多模态 目标跟踪
在线阅读 下载PDF
联合在线分类的双注意力RGBT孪生网络跟踪 被引量:2
11
作者 张兆宇 田春娜 +1 位作者 周恒 田西兰 《西安电子科技大学学报》 EI CAS CSCD 北大核心 2022年第6期76-85,共10页
可见光和热红外成像机理不同,因此可以捕获的目标信息也不同。基于可见光和热红外的双模视觉跟踪器,可以综合利用两种模态内在的信息关联性和互补性,降低单模态信息的局限性和不确定性,提高视觉系统的鲁棒跟踪能力。针对现有算法中图像... 可见光和热红外成像机理不同,因此可以捕获的目标信息也不同。基于可见光和热红外的双模视觉跟踪器,可以综合利用两种模态内在的信息关联性和互补性,降低单模态信息的局限性和不确定性,提高视觉系统的鲁棒跟踪能力。针对现有算法中图像融合或特征拼接的方式不能充分挖掘可见光与红外图像的关联和互补信息等问题,设计了一种端到端学习的红外与可见光双模孪生网络跟踪器,网络同时学习可见光和热红外图像的深度特征,通过模态内与模态间的双注意力机制,对两种模态的特征进行自适应融合,最终实现可见光和热红外双模视觉跟踪;同时,针对孪生网络对目标与语义背景区分能力不足的问题,引入在线分类模块,通过分类器在线学习,减少干扰物对跟踪的影响,适应目标在跟踪过程中的变化。实验结果表明,所提算法能够有效地提高跟踪器的性能,在可见光与热红外跟踪基准数据集GTOT上的精确率和成功率分别约为90.6%和73.8%,分别比基线算法的提高了约5.5%和4.3%。故所提出的方法相比其他先进的跟踪算法,总体性能更好。 展开更多
关键词 目标跟踪 可见光/热红外 孪生网络 注意力机制 深度学习
在线阅读 下载PDF
基于深度学习的RGB-T目标跟踪技术综述 被引量:7
12
作者 张天路 张强 《模式识别与人工智能》 EI CSCD 北大核心 2023年第4期327-353,共27页
RGB-热红外(RGB-Thermal,RGB-T)模态目标跟踪旨在利用RGB和热红外数据的互补性实现目标的稳健跟踪.目前基于深度学习的RGB-T目标跟踪前沿成果较多,但缺少系统且全面的综述性文献.因此,文中首先阐述RGB-T目标跟踪面临的挑战,分析总结目... RGB-热红外(RGB-Thermal,RGB-T)模态目标跟踪旨在利用RGB和热红外数据的互补性实现目标的稳健跟踪.目前基于深度学习的RGB-T目标跟踪前沿成果较多,但缺少系统且全面的综述性文献.因此,文中首先阐述RGB-T目标跟踪面临的挑战,分析总结目前主流的基于深度学习的RGB-T目标跟踪算法.具体来说,根据采用的基线(Baseline)方法不同,将已有方法划分为基于多域网络(Multi-domain Network,MDNet)的目标跟踪算法,基于孪生网络(Siamese Network)的目标跟踪算法和基于判别式相关滤波(Discriminative Correlation Filter,DCF)的目标跟踪算法.然后,介绍RGB-T目标跟踪任务中常用的数据集和评价指标,并在常用数据集上对比已有算法.最后,指出RGB-T目标跟踪领域未来可能的发展方向. 展开更多
关键词 目标跟踪 RGB-热红外(RGB-T) 深度学习 多域网络 孪生网络 判别式相关滤波
在线阅读 下载PDF
基于特征融合的RGBT双模态孪生跟踪网络 被引量:7
13
作者 申亚丽 《红外与激光工程》 EI CSCD 北大核心 2021年第3期228-234,共7页
热红外成像技术被广泛地应用于军事、遥感和安防等领域中的目标跟踪,但热红外图像对对比度较低、目标模糊等跟踪场景效果一般。因此,将热红外图像与可见光图像进行融合提高跟踪性能具有重要意义。与基于可见光或热红外图像的单模态跟踪... 热红外成像技术被广泛地应用于军事、遥感和安防等领域中的目标跟踪,但热红外图像对对比度较低、目标模糊等跟踪场景效果一般。因此,将热红外图像与可见光图像进行融合提高跟踪性能具有重要意义。与基于可见光或热红外图像的单模态跟踪算法相比,基于可见光/热红外(RGB/Thermal,RGBT)图像的双模态跟踪算法对光照变化、云雾遮挡具有更强的鲁棒性。提出了一种基于特征融合的RGBT双模态孪生跟踪网络架构。该网络将双模态图像中提取的深度特征进行融合,提高目标外观特征的判别力。该网络可以利用训练数据进行端到端的离线训练。公开数据集RGBT234上的实验结果表明,所提出的RGBT双模态孪生特征融合跟踪网络能够实现复杂场景下鲁棒持续的目标跟踪。 展开更多
关键词 可见光/热红外 双模态跟踪 孪生网络 特征融合
原文传递
潜艇热尾流浮升对海面红外特征影响及OpenGL仿真 被引量:1
14
作者 王亮 王成安 +3 位作者 周志权 王军 王好贤 王晨旭 《舰船电子工程》 2017年第12期56-58,共3页
潜艇的红外探测技术具有重大的军事意义。论文首先模拟了潜艇热尾流的排放过程,然后以OpenGL为工具,使用纹理映射技术并设置光照模型和RGB颜色模式,得到海面红外特征图像,最后分析了复杂天气条件如海风、海雾对海面场景的影响。结果表... 潜艇的红外探测技术具有重大的军事意义。论文首先模拟了潜艇热尾流的排放过程,然后以OpenGL为工具,使用纹理映射技术并设置光照模型和RGB颜色模式,得到海面红外特征图像,最后分析了复杂天气条件如海风、海雾对海面场景的影响。结果表明论文模拟的海面红外特征具有一定的真实性,对反潜研究具有指导意义。 展开更多
关键词 OPENGL 热尾流 海面红外特征 RGB
在线阅读 下载PDF
RGBT双模态加权相关滤波跟踪算法 被引量:3
15
作者 熊跃军 张海涛 邓黠 《信号处理》 CSCD 北大核心 2020年第9期1590-1597,共8页
与基于可见光的单模态跟踪算法相比,基于可见光/热红外(RGB-Thermal,RGBT)的双模态跟踪算法对光照变化具有更强的鲁棒性。但在实际应用场景中,双模态跟踪算法仍然会受到局部遮挡目标形变的影响。为了解决以上问题,本文提出了一种可见光... 与基于可见光的单模态跟踪算法相比,基于可见光/热红外(RGB-Thermal,RGBT)的双模态跟踪算法对光照变化具有更强的鲁棒性。但在实际应用场景中,双模态跟踪算法仍然会受到局部遮挡目标形变的影响。为了解决以上问题,本文提出了一种可见光/热红外RGBT双模态加权相关滤波跟踪算法。该算法首先利用可见光图像和热红外图像联合求解权重图,然后利用权重图引导相关滤波器求解过程,最后根据权重图推断前景目标是否被遮挡。该算法在公开数据集RGBT234上的结果表明,本文提出的RGBT双模态加权相关滤波跟踪算法能够有效处理目标局部遮挡和目标畸变等情况,实现复杂场景下鲁棒持续的目标跟踪。 展开更多
关键词 可见光/热红外 双模态跟踪 加权相关滤波器
在线阅读 下载PDF
热成像特征中期融合夜视密集人群计数
16
作者 任国印 吕晓琪 李宇豪 《应用光学》 CAS CSCD 北大核心 2022年第6期1088-1096,共9页
为了提高人群计数模型对尺度和光噪声的鲁棒性,设计了一种多模态图像融合网络。提出了一种针对夜间人群统计模型,并设计了一个子网络Rgb-T-net,网络融合了热成像特征和可见光图像的特征,增强了网络对热成像和夜间人群特征的判断能力。... 为了提高人群计数模型对尺度和光噪声的鲁棒性,设计了一种多模态图像融合网络。提出了一种针对夜间人群统计模型,并设计了一个子网络Rgb-T-net,网络融合了热成像特征和可见光图像的特征,增强了网络对热成像和夜间人群特征的判断能力。模型采用自适应高斯核对密度图进行回归,在Rgb-T-CC数据集上完成了夜视训练和测试。经验证网络平均绝对误差为18.16,均方误差为32.14,目标检测召回率为97.65%,计数性能和检测表现优于当前最先进的双峰融合方法。实验结果表明,所提出的多模态特征融合网络能够解决夜视环境下的计数与检测问题,消融实验进一步证明了融合模型各部分参数的有效性。 展开更多
关键词 夜视环境人群计数 RGB图像 热成像 Rgb-T特征融合
在线阅读 下载PDF
Robust image processing algorithm for computational resource limited smart apple sunburn sensing system
17
作者 Guobin Shi Rakesh Ranjan Lav R.Khot 《Information Processing in Agriculture》 EI 2020年第2期212-222,共11页
Heat and light stress causes sunburn to the maturing apple fruits and results in crop production and quality losses.Typically,when the fruit surface temperature(FST)rises above critical limits for a prolonged duration... Heat and light stress causes sunburn to the maturing apple fruits and results in crop production and quality losses.Typically,when the fruit surface temperature(FST)rises above critical limits for a prolonged duration,the fruit may suffer several physiological disorders including sunburn.To manage apple sunburn,monitoring FST is critical and our group at Washington State University is developing a noncontact smart sensing system that integrates thermal infrared and visible imaging sensors for real time FST monitoring.Pertinent system needs to perform in-field imagery data analysis onboard a single board computer with processing unit that has limited computational resources.Therefore,key objective of this study was to develop a novel image processing algorithm optimized to use available resources of a single board computer.Algorithm logic flow includes color space transformation,k-means++classification and morphological operators prior to fruit segmentation and FST estimation.The developed algorithm demonstrated the segmentation accuracy of 57.78%(missing error=12.09%and segmentation error=0.13%).This aided successful apple FST estimation that was 10–18C warmer than ambient air temperature.Moreover,algorithm reduced the imagery data processing time cost of the smart sensing systemfrom 87 s to 44 s using image compression approach. 展开更多
关键词 Apple sunburn Fruit surface temperature thermal-rgb imaging On-board image processing Kmeans++clustering Smart sensing systems
原文传递
上一页 1 下一页 到第
使用帮助 返回顶部