本文基于衍射神经网络平台,探究经典修正线性单元(rectified linear unit, ReLU)及其衍生激活函数对光学神经网络(ONNs)推理能力的影响,阐明非线性函数与衍射神经网络结合方式与其学习能力的关联。结果显示,衍射网络训练适应性强,但不...本文基于衍射神经网络平台,探究经典修正线性单元(rectified linear unit, ReLU)及其衍生激活函数对光学神经网络(ONNs)推理能力的影响,阐明非线性函数与衍射神经网络结合方式与其学习能力的关联。结果显示,衍射网络训练适应性强,但不当的非线性函数可能降低其性能。例如,在5层网络中,在每层后添加RTReLU(rectified translational linear unit)因光强衰减导致在MNIST测试集上的分类准确率降至91.4%,低于纯线性网络的92.6%;而每层添加PReLU(parametric rectified linear unit)则保留阈值后信息,使准确率提升至95.8%。在3层网络中,因为较少的网络深度降低了光强的损耗,在每层后添加RTReLU后推理能力优于线性网络。进一步发现,在网络中适当位置添加单个ReLU激活函数可大幅提升性能,如5层网络仅最后一层添加RTReLU可达峰值准确率96.6%。展开更多
文摘本文基于衍射神经网络平台,探究经典修正线性单元(rectified linear unit, ReLU)及其衍生激活函数对光学神经网络(ONNs)推理能力的影响,阐明非线性函数与衍射神经网络结合方式与其学习能力的关联。结果显示,衍射网络训练适应性强,但不当的非线性函数可能降低其性能。例如,在5层网络中,在每层后添加RTReLU(rectified translational linear unit)因光强衰减导致在MNIST测试集上的分类准确率降至91.4%,低于纯线性网络的92.6%;而每层添加PReLU(parametric rectified linear unit)则保留阈值后信息,使准确率提升至95.8%。在3层网络中,因为较少的网络深度降低了光强的损耗,在每层后添加RTReLU后推理能力优于线性网络。进一步发现,在网络中适当位置添加单个ReLU激活函数可大幅提升性能,如5层网络仅最后一层添加RTReLU可达峰值准确率96.6%。
