MVP is a digital signal processor, which is of MIMD structure and fit for multimedia application. MVP has several processors in it, and its operation is characteristic of parallelism and pipeline; therefore, real-time...MVP is a digital signal processor, which is of MIMD structure and fit for multimedia application. MVP has several processors in it, and its operation is characteristic of parallelism and pipeline; therefore, real-time signal processing can be done on it. This paper presents the image processing system based on MVP, explains the principles of parallel task assignment and hardware pipeline design, and gives out the example of target tracking and edge detection.展开更多
脉冲神经网络(spiking neural network,SNN)作为第三代神经网络,其计算效率更高、资源开销更少,且仿生能力更强,展示出了对于语音、图像处理的优秀潜能.传统的脉冲神经网络硬件加速器通常使用加法器模拟神经元对突触权重的累加.这种设...脉冲神经网络(spiking neural network,SNN)作为第三代神经网络,其计算效率更高、资源开销更少,且仿生能力更强,展示出了对于语音、图像处理的优秀潜能.传统的脉冲神经网络硬件加速器通常使用加法器模拟神经元对突触权重的累加.这种设计对于硬件资源消耗较大、神经元/突触集成度不高、加速效果一般.因此,本工作开展了对拥有更高集成度、更高计算效率的脉冲神经网络推理加速器的研究.阻变式存储器(resi-stive random access memory,RRAM)又称忆阻器(memristor),作为一种新兴的存储技术,其阻值随电压变化而变化,可用于构建crossbar架构模拟矩阵运算,已经在被广泛应用于存算一体(processing in memory,PIM)、神经网络计算等领域.因此,本次工作基于忆阻器阵列,设计了权值存储矩阵,并结合外围电路模拟了LIF(leaky integrate and fire)神经元计算过程.之后,基于LIF神经元模型实现了脉冲神经网络硬件推理加速器设计.该加速器消耗了0.75k忆阻器,集成了24k神经元和192M突触.仿真结果显示,在50 MHz的工作频率下,该加速器通过部署三层的全连接脉冲神经网络对MNIST(mixed national institute of standards and techno-logy)数据集进行推理加速,其最高计算速度可达148.2 frames/s,推理准确率为96.4%.展开更多
随着运动体捕捉对嵌入式系统要求的提高,传统方法对分辨率、采集速度难以兼顾.把运动物捕捉分成对分辨率和速度侧重不同的运动检测和目标提取两个部分,利用有源像素结构APS-CMOS图像传感器可随机接入图像缓存的硬件特性,在数字信号处理(...随着运动体捕捉对嵌入式系统要求的提高,传统方法对分辨率、采集速度难以兼顾.把运动物捕捉分成对分辨率和速度侧重不同的运动检测和目标提取两个部分,利用有源像素结构APS-CMOS图像传感器可随机接入图像缓存的硬件特性,在数字信号处理(digital signal processing,DSP)平台上实现两个阶段特点各异的工作模式切换.这样就使得整个系统的采集速度和目标分辨率同时得到兼顾.而且,此方法使用一般器件就可实现传统方法需要高性能器件才能达到的技术指标.展开更多
文摘MVP is a digital signal processor, which is of MIMD structure and fit for multimedia application. MVP has several processors in it, and its operation is characteristic of parallelism and pipeline; therefore, real-time signal processing can be done on it. This paper presents the image processing system based on MVP, explains the principles of parallel task assignment and hardware pipeline design, and gives out the example of target tracking and edge detection.
文摘脉冲神经网络(spiking neural network,SNN)作为第三代神经网络,其计算效率更高、资源开销更少,且仿生能力更强,展示出了对于语音、图像处理的优秀潜能.传统的脉冲神经网络硬件加速器通常使用加法器模拟神经元对突触权重的累加.这种设计对于硬件资源消耗较大、神经元/突触集成度不高、加速效果一般.因此,本工作开展了对拥有更高集成度、更高计算效率的脉冲神经网络推理加速器的研究.阻变式存储器(resi-stive random access memory,RRAM)又称忆阻器(memristor),作为一种新兴的存储技术,其阻值随电压变化而变化,可用于构建crossbar架构模拟矩阵运算,已经在被广泛应用于存算一体(processing in memory,PIM)、神经网络计算等领域.因此,本次工作基于忆阻器阵列,设计了权值存储矩阵,并结合外围电路模拟了LIF(leaky integrate and fire)神经元计算过程.之后,基于LIF神经元模型实现了脉冲神经网络硬件推理加速器设计.该加速器消耗了0.75k忆阻器,集成了24k神经元和192M突触.仿真结果显示,在50 MHz的工作频率下,该加速器通过部署三层的全连接脉冲神经网络对MNIST(mixed national institute of standards and techno-logy)数据集进行推理加速,其最高计算速度可达148.2 frames/s,推理准确率为96.4%.
文摘随着运动体捕捉对嵌入式系统要求的提高,传统方法对分辨率、采集速度难以兼顾.把运动物捕捉分成对分辨率和速度侧重不同的运动检测和目标提取两个部分,利用有源像素结构APS-CMOS图像传感器可随机接入图像缓存的硬件特性,在数字信号处理(digital signal processing,DSP)平台上实现两个阶段特点各异的工作模式切换.这样就使得整个系统的采集速度和目标分辨率同时得到兼顾.而且,此方法使用一般器件就可实现传统方法需要高性能器件才能达到的技术指标.
