面向神经机器翻译的长句切分方法及装置

机器翻译

基于encoder-decoder结构的NMT模型能够取得很好的翻译效果，但是，当源语句过长时，其翻译效果会有所下降。特别地，随着源语句的长度增加，其翻译效果在一定程度上会越来越差。

一种面向神经机器翻译的长句切分方法，其特征在于，包括： 在获得待翻译的源语句后，确定所述源语句的长度； 在所述长度大于预设长度的情况下，利用预先构建的切分模型对所述源语句进行切分，获得多个源子句；其中，各个所述源子句之间具有先后顺序； 将每个所述源子句输入至预先训练好的神经机器翻译NMT模型中进行翻译，获得每个所述源子句所对应的目标子句； 按照各个所述源子句的先后顺序，拼接所述源子句所对应的目标子句，获得所述源语句的目标语句； 其中，所述利用预先构建的切分模型对所述源语句进行切分，获得多个源子句，包括：将所述源语句作为待切分源语句；将所述待切分源语句输入至预先构建的切分模型中，获得所述待切分源语句中每个词单元所对应的切分概率；依据所述切分概率，在多个所述词单元中选取目标词单元作为切分点；将所述待切分源语句中所述切分点之后的语句作为新的待切分源语句，将所述新的待切分源语句输入至预先构建的切分模型中，直至所述新的待切分源语句的长度小于预设的最小子句长度；所述新的待切分源语句的长度小于预设的最小子句长度时，根据选取的各个所述切分点，在所述源语句中切分出源子句； 所述切分模型包括分割子模型、调序子模型及长度子模型； 相应地，将所述待切分源语句输入至预先构建的切分模型中，获得所述待切分源语句中每个词单元所对应的切分概率，包括： 将所述待切分源语句中的词单元输入至所述分割子模型，获得所述词单元的可分割概率；将所述待切分源语句中的词单元输入至所述调序子模型，获得所述词单元对应的子句与上一子句的不需要调序概率；其中，所述上一子句为所述待切分源语句的前一源子句；将所述待切分源语句中词单元对应的子句的长度输入至所述长度子模型，获得所述词单元对应的子句的长度满意概率；以及将所述可分割概率、所述不需要调序概率及所述长度满意概率三者的乘积作为词单元的切分概率。

由于输入NMT模型翻译的子句较短，NMT模型的翻译准确率较高，从而提高了语句翻译的准确率。