一种基于Spike Camera的彩色脉冲相机仿真

1

作者 马雪山 刘斌 +2 位作者 杨静 田娟 马雷 《现代计算机》 2022年第12期17-23,共7页

受到生物视觉机制的启发,一种新型的仿视网膜中央凹的视觉传感器Spike Camera被研制出来。相比传统基于帧的相机和其他事件相机,Spike Camera更适合处理超高速场景的视觉任务。目前物理设备推广受到限制,此类视觉类传感器的发展和应用... 受到生物视觉机制的启发,一种新型的仿视网膜中央凹的视觉传感器Spike Camera被研制出来。相比传统基于帧的相机和其他事件相机,Spike Camera更适合处理超高速场景的视觉任务。目前物理设备推广受到限制,此类视觉类传感器的发展和应用也受到影响。在本文中,我们实现了一种基于Spike Camera的仿真建模方法,将连续的视频帧转化成脉冲数据,再根据脉冲数据重构成图像帧。通过仿真程序,探索了在Spike Camera传感器上的彩色信息脉冲编码的方式。实验结果表明,相比其他彩色编码方式,使用单通道的RGB彩色脉冲编码能在损失很少的图像信息的情况下,极大地压缩脉冲数据,减少传输带宽。本文的研究结果对设计彩色脉冲相机具有重要参考意义。 展开更多

关键词 脉冲相机 彩色脉冲 传感器仿真

在线阅读 下载PDF 职称材料

类脑赋能视觉增强:原理、方法与前沿进展 被引量：1

2

作者 余磊 施柏鑫 +4 位作者 王威 余肇飞 郭宇飞 乔宁 夏桂松 《中国图象图形学报》 北大核心 2025年第6期1593-1615,共23页

类脑视觉感知仿效生物大脑处理视觉信息的机制,通过构建神经形态视觉模型来完成视觉感知任务。事件相机作为一种新型类脑神经形态视觉传感器,仅感知场景光强的动态变化,输出表示场景光强变化的事件脉冲(或简称“事件”)。这种特殊的成... 类脑视觉感知仿效生物大脑处理视觉信息的机制,通过构建神经形态视觉模型来完成视觉感知任务。事件相机作为一种新型类脑神经形态视觉传感器,仅感知场景光强的动态变化,输出表示场景光强变化的事件脉冲(或简称“事件”)。这种特殊的成像方式使得事件相机不仅具有高动态范围特性,还能对运动引发的场景亮度变化进行几乎连续(μs级)的异步响应。因此,融合事件脉冲不仅可以有效补偿由于目标运动过快导致的帧内和帧间信息缺失,还能填补过曝光区域的饱和失真,缓解真实复杂场景中的运动模糊、视频插帧、卷帘畸变和过曝光等视频降质问题。本报告将深入探讨以事件相机为代表的类脑脉冲视觉成像方法在视频增强任务中的理论原理和技术手段,总结和归纳近年来融合类脑视觉脉冲的视频增强算法的国内外最新进展。同时,针对该领域所面临的诸如数据处理效率较低、暗光条件性能不佳与空间分辨率不足等瓶颈和挑战做出了相对应的分析与讨论。 展开更多

关键词 事件相机 类脑脉冲视觉 视频增强 高动态范围(HDR) 运动模糊消除

原文传递

玉米穗茎兼收割台夹持输送装置参数优化 被引量：15

3

作者 张宗玲 韩增德 +3 位作者 刘立晶 李晓栋 郝付平 董哲 《农业机械学报》 EI CAS CSCD 北大核心 2018年第3期114-121,共8页

为探明玉米穗茎兼收割台夹持输送装置参数对作物损失率、割台性能的影响机理,设计了一种玉米穗茎兼收割台。通过对夹持输送装置的工作原理、工作条件及影响因素的分析,确定以夹持输送链夹角、输入轴链轮速度、割刀安装位置及机器作业速... 为探明玉米穗茎兼收割台夹持输送装置参数对作物损失率、割台性能的影响机理,设计了一种玉米穗茎兼收割台。通过对夹持输送装置的工作原理、工作条件及影响因素的分析,确定以夹持输送链夹角、输入轴链轮速度、割刀安装位置及机器作业速度为试验因素,以果穗损失率、植株在x轴及y轴的最大偏移量为试验指标,根据Box-Benhnken Design中心组合试验设计原理,进行了四因素三水平正交旋转组合田间试验,试验中利用高速摄像系统记录玉米植株姿态,利用Pro Analyst运动分析软件分析玉米植株的最大偏移量,利用Design-Expert软件对试验结果进行响应面分析,得到各因变量与自变量间的数学模型。试验结果表明:4个自变量与果穗损失率、x轴最大偏移量有二次非线性关系,其中割刀安装位置影响最大,夹持输送链夹角的影响最小,4个因素对y轴最大偏移量无显著影响;因素的交互项仅对果穗损失率有显著影响;最优参数组合为:夹持输送链夹角19.96°、输入轴链轮齿数22.09、割刀安装位置22.33 mm、机器作业速度1.31 m/s,此时果穗损失率为0.4%,x轴最大偏移量为24 mm。对最优参数组合圆整后,取夹持输送链夹角为20°,割刀安装位置为22 mm,机器作业速度为1.30 m/s进行田间验证试验,验证试验表明回归模型有很好的可靠性。优化后的果穗损失率较优化前降低2.4个百分点,低于标准规定的指标值。 展开更多

关键词 玉米收获机 穗茎兼收 夹持输送装置 参数优化 高速摄像 田间试验

在线阅读 下载PDF 职称材料

类脑导航的机理、算法、实现与展望 被引量：11

4

作者 朱祥维 沈丹 +6 位作者 肖凯 马岳鑫 廖祥 古富强 余芳文 高柯夫 刘经南 《航空学报》 EI CAS CSCD 北大核心 2023年第19期1-33,共33页

脑与神经科学近几十年来的快速发展,初步揭示了动物导航的神经机理。借鉴大脑神经结构及信息处理机制,研究类脑仿生智能导航系统,为复杂环境下低功耗高鲁棒的自主智能导航提供了新的灵感。在详细综述了动物空间导航神经机理基础上,概述... 脑与神经科学近几十年来的快速发展,初步揭示了动物导航的神经机理。借鉴大脑神经结构及信息处理机制,研究类脑仿生智能导航系统,为复杂环境下低功耗高鲁棒的自主智能导航提供了新的灵感。在详细综述了动物空间导航神经机理基础上,概述探讨了当前机器人仿生类脑导航智能算法,从利用脑启发的神经网络方法处理导航信息实现智能导航的角度,归纳为吸引子神经网络、深度强化学习以及脉冲神经网络等3类算法。接着梳理了类脑导航的实现途径,包括仿生智能传感器和智能类脑处理器平台。最后归纳并展望了类脑导航发展趋势,包括进一步探索生物界导航的脑神经机理及其信息处理过程、细分类脑导航概念内涵、评价指标完善的途径和统一实现框架。 展开更多

关键词 类脑导航 导航神经机理 导航细胞 连续吸引子网络 深度强化学习 脉冲神经网络 神经形态相机 类脑芯片

原文传递

基于深度相机的水稻穗层高度检测研究 被引量：3

5

作者 黄铭森 张波 +3 位作者 李洪昌 梁振伟 黄涛 任天成 《中国农机化学报》 北大核心 2024年第1期177-182,共6页

为实现水稻穗层高度检测,基于深度相机对水稻穗层高度计算方法开展研究,以期为水稻割台高度控制、收割机智能化提供技术支持。为选择一种适用于水稻穗层分割的颜色空间,分别在RGB、HSV、LAB和i1i2i3颜色空间中对成熟水稻图像进行3D可视... 为实现水稻穗层高度检测,基于深度相机对水稻穗层高度计算方法开展研究,以期为水稻割台高度控制、收割机智能化提供技术支持。为选择一种适用于水稻穗层分割的颜色空间,分别在RGB、HSV、LAB和i1i2i3颜色空间中对成熟水稻图像进行3D可视化,通过观察水稻穗层像素分布分析其可分离性;在此基础上,基于多阈值分割法、小联通区域移除、图像腐蚀等方法对水稻穗层进行提取;提出一种基于深度相机的水稻穗层高度(包括穗层最高高度H_(hs)、最低高度H_(ls))计算方法,并分别在实验室及田间进行验证试验。结果表明:水稻穗层在HSV颜色空间中具有较好的可分离性,所采用的图像分割、处理方法可有效提取水稻穗层;水稻穗层高度计算方法的实验室测试结果显示,H_(hs)与H_(ls)的计算误差均小于1.5%,田间测试结果显示H_(hs)与H_(ls)的计算误差分别为1.6%和18.2%。 展开更多

关键词 穗层 水稻 高度检测 深度相机 颜色空间

在线阅读 下载PDF 职称材料

基于普通器件实现快1000倍的相机与机器视觉 被引量：5

6

作者 Tiejun Huang Yajing Zheng +13 位作者 Zhaofei Yu Rui Chen Yuan Li Ruiqin Xiong Lei Ma Junwei Zhao Siwei Dong Lin Zhu Jianing Li Shanshan Jia Yihua Fu Boxin Shi Si Wu Yonghong Tian 《Engineering》 SCIE EI CAS CSCD 2023年第6期110-119,M0005,共11页

在数码相机中,我们发现了一个重大缺陷,即从胶片相机继承的图像和视频模型阻碍了相机捕捉快速变化的光子世界。我们提出了一种新的视觉形式,称为视象(vform),这是一个比特序列阵列,其中每个比特表示光子的累积是否达到了一个阈值,从而... 在数码相机中,我们发现了一个重大缺陷,即从胶片相机继承的图像和视频模型阻碍了相机捕捉快速变化的光子世界。我们提出了一种新的视觉形式,称为视象(vform),这是一个比特序列阵列,其中每个比特表示光子的累积是否达到了一个阈值,从而可以记录和重建任何时刻场景的光强。仅使用消费级CMOS传感器和集成电路,开发了一种比传统相机快1000倍的脉冲相机。将视象看作生物视觉中的脉冲序列,进一步开发了基于脉冲神经网络的机器视觉系统,它可以将机器的速度和生物视觉的机理结合起来,从而实现了比人类视觉快1000倍的高速目标检测和跟踪,并通过辅助裁判和目标瞄准系统证明了脉冲相机和超级视觉系统的效用。视象模型和芯片有望从根本上改变图像和视频的概念以及摄影、电影和视觉媒体等相关行业,并开启一个全新的基于脉冲神经网络的速度自由的机器视觉时代。 展开更多

关键词 脉冲神经网络 机器视觉 生物视觉 视觉系统 CMOS传感器 视觉媒体 胶片相机 脉冲序列

在线阅读 下载PDF 职称材料

基于动态视觉运动特征的脉冲神经网络识别方法 被引量：2

7

作者 董峻妃 姜润皓 +1 位作者 燕锐 唐华锦 《电子与信息学报》 EI CSCD 北大核心 2023年第8期2731-2738,共8页

针对现有脉冲神经网络(SNN)对动态视觉事件流识别精度低与实时性差等问题,该文提出一种基于动态视觉运动特征的脉冲神经网络识别方法。首先利用基于事件的运动历史信息表示与梯度方向计算提取事件流中的动态运动特征;然后引入时空池化... 针对现有脉冲神经网络(SNN)对动态视觉事件流识别精度低与实时性差等问题,该文提出一种基于动态视觉运动特征的脉冲神经网络识别方法。首先利用基于事件的运动历史信息表示与梯度方向计算提取事件流中的动态运动特征;然后引入时空池化操作来消除事件在时间和空间上的冗余,保留显著的运动特征;最后,将特征事件流输入脉冲神经网络进行学习与识别。在基准的动态视觉数据集上的实验结果表明,动态视觉运动特征可显著提升SNN对于事件流的识别精度与计算速度。 展开更多

关键词 动态视觉感知 事件相机 脉冲神经网络 动作识别 运动特征提取

在线阅读 下载PDF 职称材料

基于事件的端到端视觉位置识别弱监督网络架构 被引量：5

8

作者 孔德磊 方正 +2 位作者 李昊佳 侯宽旭 姜俊杰 《机器人》 EI CSCD 北大核心 2022年第5期613-625,共13页

传统的视觉位置识别(VPR)方法通常使用基于图像帧的相机,存在剧烈光照变化、快速运动等易导致VPR失败的问题。针对上述问题,本文提出了一种使用事件相机的端到端VPR网络,可以在具有挑战性的环境中实现良好的VPR性能。所提出算法的核心... 传统的视觉位置识别(VPR)方法通常使用基于图像帧的相机,存在剧烈光照变化、快速运动等易导致VPR失败的问题。针对上述问题,本文提出了一种使用事件相机的端到端VPR网络,可以在具有挑战性的环境中实现良好的VPR性能。所提出算法的核心思想是,首先采用事件脉冲张量(EST)体素网格对事件流进行表征,然后利用深度残差网络进行特征提取,最后采用改进的局部聚合描述子向量(VLAD)网络进行特征聚合,最终实现基于事件流的端到端VPR。将该方法在基于事件的驾驶数据集(MVSEC、DDD17)和人工合成的事件流数据集(Oxford RobotCar)上与典型的基于图像帧的视觉位置识别方法进行了比较实验。结果表明,在具有挑战性的场景(例如夜晚场景)中,本文方法的性能优于基于图像帧的视觉位置识别方法,其Recall@1指标提升约6.61%。据我们所知,针对视觉位置识别任务,这是首个直接处理事件流数据的端到端弱监督深度网络架构。 展开更多

关键词 视觉位置识别(VPR) 事件相机 事件脉冲张量(EST) 深度残差网络 三元组排序损失

原文传递

基于坐标注意力脉冲神经网络的注视估计方法

9

作者 王红霞 赵志国 《计量学报》 CSCD 北大核心 2024年第7期982-988,共7页

针对传统相机在拍摄人眼运动时易产生动态模糊、时间分辨率低等问题,采用事件相机近眼拍摄构建Spiking-Eye数据集,并提出一种坐标注意力的脉冲神经网络模型(CA-SpikingRepVGG)。模型读取编码后的事件数据,经过带坐标注意力的主干网络进... 针对传统相机在拍摄人眼运动时易产生动态模糊、时间分辨率低等问题,采用事件相机近眼拍摄构建Spiking-Eye数据集,并提出一种坐标注意力的脉冲神经网络模型(CA-SpikingRepVGG)。模型读取编码后的事件数据,经过带坐标注意力的主干网络进行特征提取,最后馈入检测头进行检测。实验结果显示:CA-SpikingRepVGG的平均检测精确率R_(P)达到了70.8%,与SpikingVGG-16比较,该模型的R_(P)提高了15.9%,召回率R_(r)提高了14.2%;仅需SpikingDensenet模型1/3的训练时间,比其R_(P)提高1.8%、R_(r)提高0.9%。结果表明:该模型在针对眼球运动这一场景下对人眼的检测追踪能力更强,可以很好地完成注视估计任务。 展开更多

关键词 机器视觉 目标检测 脉冲神经网络 注视估计 坐标注意力 召回率 事件相机

在线阅读 下载PDF 职称材料

基于生物突触可塑性的仿生分层脉冲神经网络事件相机对象识别系统

10

作者 周茜 郑鹏 李小虎 《生物医学工程学杂志》 EI CAS 北大核心 2023年第4期692-699,共8页

脉冲神经网络(SNNs)以稀疏脉冲时间编码、异步事件驱动的方式天然地适合处理事件相机输出的事件流数据。为了提高现有的仿生分层脉冲神经网络对事件相机对象的特征提取和分类性能,本文提出一种基于生物突触可塑性的仿生分层脉冲神经网... 脉冲神经网络(SNNs)以稀疏脉冲时间编码、异步事件驱动的方式天然地适合处理事件相机输出的事件流数据。为了提高现有的仿生分层脉冲神经网络对事件相机对象的特征提取和分类性能,本文提出一种基于生物突触可塑性的仿生分层脉冲神经网络事件相机对象识别系统。该系统首先基于脉冲神经元电位对原始事件流进行自适应分割以提高系统计算效率,然后使用基于生物突触可塑性的仿生分层脉冲神经网络对事件流数据进行多层的时空特征提取并分类。在基于Gabor滤波器的事件驱动卷积层提取初级视觉特征之后,网络使用基于无监督脉冲时间依赖突触可塑性(STDP)规则的特征层提取频繁出现的显著特征,以及基于奖励调节STDP规则的特征层学习诊断性特征。本文提出的网络在四个基准事件流数据集上的分类精度均优于现有的仿生分层脉冲神经网络,并且本文方法对于较短的事件流输入数据也有很好的分类能力,对输入事件流噪声也具有较强的鲁棒性。综上,本文提出的网络能够提高该类网络对事件相机对象的特征提取和分类性能。 展开更多

关键词 事件相机 对象识别 脉冲时间依赖突触可塑性(STDP) 奖励调节STDP 脉冲神经网络

原文传递

面向事件相机的轻量化脉冲识别网络 被引量：1

11

作者 刘昭辛 吴金建 +1 位作者 石光明 赵庆行 《中国科学：信息科学》 CSCD 北大核心 2023年第7期1333-1347,共15页

事件相机是一种用脉冲表达信息的仿生成像传感器,具有高时域分辨率、高动态范围、低功耗和高速率等优势.由于事件驱动特性,传统人工神经网络(artificial neural networks,ANN)无法直接处理事件相机输出的脉冲信号.而脉冲神经网络(spikin... 事件相机是一种用脉冲表达信息的仿生成像传感器,具有高时域分辨率、高动态范围、低功耗和高速率等优势.由于事件驱动特性,传统人工神经网络(artificial neural networks,ANN)无法直接处理事件相机输出的脉冲信号.而脉冲神经网络(spiking neural network,SNN)作为一种神经形态计算方法,具有高时域分辨率及事件驱动的特性,这与事件相机高度契合.但是,深层脉冲神经网络需要消耗大量存储空间以及神经元计算资源,严重限制了其在边缘计算场景的部署.本文基于特征维度映射原理,提出面向嵌入式系统的轻量化脉冲神经网络,降低存储需求、提高运行效率并提高网络性能.首先,通过分析网络参数量与网络拟合功能间的关系,明确了约束脉冲神经网络能力的参数瓶颈问题.随后,基于低维特征提取–融合策略提出一种通用轻量化特征提取结构SpikeFire,该模块在保证感受野和特征维度等基本性质不变的前提下大幅减少了网络参数.此外,模拟脑神经元复杂连接特性,模块中采用跳层连接,这既增加多尺度信息提取又有助于深层次网络的优化.最后,将本文所提轻量化网络部署在嵌入式硬件中,开发出了事件驱动的成像识别一体化系统.实验表明,无论是在公开数据集还是自建真实场景和极端成像场景中,所提方法在保证识别性能的前提下大幅减少了参数量并提高运行速度. 展开更多

关键词 脉冲神经网络 事件相机 轻量化网络 特征融合 嵌入式硬件

原文传递

基于事件相机的铝基片划痕检测研究

12

作者 吕和平 洪流 《数字制造科学》 2024年第2期140-145,共6页

由于铝基片生产过程中的生产环境复杂且光照干扰强,传统相机采用CCD或CMOS传感器无法满足当下的划痕智能质检需求,利用事件相机具有高动态、低延迟、低功耗的特点,可有效解决环境因素对数据采集的影响。脉冲神经网络(spiking neural net... 由于铝基片生产过程中的生产环境复杂且光照干扰强,传统相机采用CCD或CMOS传感器无法满足当下的划痕智能质检需求,利用事件相机具有高动态、低延迟、低功耗的特点,可有效解决环境因素对数据采集的影响。脉冲神经网络(spiking neural networks,SNN)以脉冲传递信息,具有很高的生物可解释性,脉冲神经网络和事件相机都模拟了生物脉冲,因此提出了一种最大池卷积脉冲神经网络(convolutional spiking neural network max-pooling,CSNN Max-Pooling)处理事件相机数据。最后实验数据表明该方法用于基于事件相机的铝基片划痕检测效果显著。 展开更多

关键词 事件相机 划痕检测 脉冲神经网络 事件帧

原文传递