机器翻译是非常古老的人工智能问题,然而这个问题一度作为人工智能发展的瓶颈,一直不能达到理想的状态。
早期机器翻译采用“基于语言句法”的翻译方法,但是语言的变数是无限的,“基于语言句法”的方案一直无法达到理想的效果。
基于深度学习的“端到端”的模型在很大程度上解决了机器翻译的瓶颈。
“端到端”的模型将自然语言嵌入到一个语义空间中,人类使用不同种语言表达的语义相同的语句,在语义空间中具有相同或相似的坐标,只要对比语义空间中相同坐标的语句,即可完成相关的翻译。
FAIR的开源序列到序列(sequence-to-sequence)引擎现在可以在PyTorch使用了。FAIR今天发布了fairseq-py,这是一个用PyTorch实现的卷积seq2seq模型。fairseq-py是语言翻译以及其他 seq2seq 的NLP任务的一个很好的模型,新的工具包比以前的更高效率:生成翻译的速度比以前的提高了80%,训练速度提高了50%。