四元数神经网络将实值神经网络推广到了四元数代数中,其在偏振合成孔径雷达奇异点补偿、口语理解、机器人控制等任务中取得了比实值神经网络更高的精度或更快的收敛速度.四元数神经网络的性能在实验中已得到广泛验证,但四元数神经网络...四元数神经网络将实值神经网络推广到了四元数代数中,其在偏振合成孔径雷达奇异点补偿、口语理解、机器人控制等任务中取得了比实值神经网络更高的精度或更快的收敛速度.四元数神经网络的性能在实验中已得到广泛验证,但四元数神经网络的理论性质及其相较于实值神经网络的优势研究较少.从表示能力的角度出发,研究四元数神经网络的理论性质及其相较于实值神经网络的优势.首先,证明了四元数神经网络使用一个非分开激活的修正线性单元(rectified linear unit,ReLU)型激活函数时的通用近似定理.其次,研究了四元数神经网络相较于实值神经网络的逼近优势.针对分开激活的ReLU型激活函数,证明了单隐层实值神经网络需要约4倍参数量才能生成与单隐层四元数神经网络相同的最大凸线性区域数.针对非分开激活的ReLU型激活函数,证明了单隐层四元数神经网络与单隐层实值神经网络间的逼近分离:四元数神经网络可用相同的隐层神经元数量与权重模长表示实值神经网络,而实值神经网络需要指数多个隐层神经元或指数大的参数才可能近似四元数神经网络.最后,模拟实验验证了理论.展开更多
新型存算一体架构可在存储阵列内直接执行计算操作,有望突破冯·诺伊曼架构的能效瓶颈。文章聚焦于提升可编程线性随机存取存储器(programmable linear random-access memory, PLRAM)在神经网络推理中的计算精度,通过优化器件结构,...新型存算一体架构可在存储阵列内直接执行计算操作,有望突破冯·诺伊曼架构的能效瓶颈。文章聚焦于提升可编程线性随机存取存储器(programmable linear random-access memory, PLRAM)在神经网络推理中的计算精度,通过优化器件结构,显著拓宽晶体管I_(d)-V_(d)输出特性的线性范围。实验数据显示,与传统闪存芯片相比,改进型闪存芯片在相近的能耗下实现了更集中的推理误差分布,且各层芯片的推理精度均优于前代芯片,最终推理准确率达到94.6%,较传统闪存芯片提升了约4.5%。结果表明,扩展晶体管的线性工作区能够有效抑制前向推理过程中的非线性误差累积,从而显著提高模拟计算的可靠性与芯片推理精度,为后续高精度、低功耗神经网络加速器的设计提供新的器件优化方向。展开更多
文摘四元数神经网络将实值神经网络推广到了四元数代数中,其在偏振合成孔径雷达奇异点补偿、口语理解、机器人控制等任务中取得了比实值神经网络更高的精度或更快的收敛速度.四元数神经网络的性能在实验中已得到广泛验证,但四元数神经网络的理论性质及其相较于实值神经网络的优势研究较少.从表示能力的角度出发,研究四元数神经网络的理论性质及其相较于实值神经网络的优势.首先,证明了四元数神经网络使用一个非分开激活的修正线性单元(rectified linear unit,ReLU)型激活函数时的通用近似定理.其次,研究了四元数神经网络相较于实值神经网络的逼近优势.针对分开激活的ReLU型激活函数,证明了单隐层实值神经网络需要约4倍参数量才能生成与单隐层四元数神经网络相同的最大凸线性区域数.针对非分开激活的ReLU型激活函数,证明了单隐层四元数神经网络与单隐层实值神经网络间的逼近分离:四元数神经网络可用相同的隐层神经元数量与权重模长表示实值神经网络,而实值神经网络需要指数多个隐层神经元或指数大的参数才可能近似四元数神经网络.最后,模拟实验验证了理论.
文摘新型存算一体架构可在存储阵列内直接执行计算操作,有望突破冯·诺伊曼架构的能效瓶颈。文章聚焦于提升可编程线性随机存取存储器(programmable linear random-access memory, PLRAM)在神经网络推理中的计算精度,通过优化器件结构,显著拓宽晶体管I_(d)-V_(d)输出特性的线性范围。实验数据显示,与传统闪存芯片相比,改进型闪存芯片在相近的能耗下实现了更集中的推理误差分布,且各层芯片的推理精度均优于前代芯片,最终推理准确率达到94.6%,较传统闪存芯片提升了约4.5%。结果表明,扩展晶体管的线性工作区能够有效抑制前向推理过程中的非线性误差累积,从而显著提高模拟计算的可靠性与芯片推理精度,为后续高精度、低功耗神经网络加速器的设计提供新的器件优化方向。
