当向机器翻译模型输入序列时,随着序列长度的不断增长,会出现长距离约束即输入输出序列的长度被限制在固定范围内的问题,因此所建模型的能力会受到约束。序列到序列模型(sequence to sequence model)可以解决长距离约束问题,但单纯的序...当向机器翻译模型输入序列时,随着序列长度的不断增长,会出现长距离约束即输入输出序列的长度被限制在固定范围内的问题,因此所建模型的能力会受到约束。序列到序列模型(sequence to sequence model)可以解决长距离约束问题,但单纯的序列到序列模型无法对翻译中要参考词语前后或其他位置的内容来改善翻译质量的行为进行建模。为了弥补该缺陷,提出了注意力机制(attention mechanism)。针对以上问题,报告了机器翻译及部分模型的研究现状,简述了深度学习框架,分析了基于神经网络的机器翻译及注意力机制原理,并对使用PyTorch实现的序列到序列模型及注意力机制进行了研究,通过分析翻译的时间消耗和翻译后的词错率以及评价标准的值来评价模型。最终该模型在英法数据集上取得了一定的效果。展开更多
文摘当向机器翻译模型输入序列时,随着序列长度的不断增长,会出现长距离约束即输入输出序列的长度被限制在固定范围内的问题,因此所建模型的能力会受到约束。序列到序列模型(sequence to sequence model)可以解决长距离约束问题,但单纯的序列到序列模型无法对翻译中要参考词语前后或其他位置的内容来改善翻译质量的行为进行建模。为了弥补该缺陷,提出了注意力机制(attention mechanism)。针对以上问题,报告了机器翻译及部分模型的研究现状,简述了深度学习框架,分析了基于神经网络的机器翻译及注意力机制原理,并对使用PyTorch实现的序列到序列模型及注意力机制进行了研究,通过分析翻译的时间消耗和翻译后的词错率以及评价标准的值来评价模型。最终该模型在英法数据集上取得了一定的效果。
