微软提出在CPU上高效解码的神经机器翻译模型

在最近一次机器学习热潮中，GPU 一直是承担神经网络模型训练和处理的主要计算设备，大多数模型都是针对 GPU 进行优化的。最近，微软研究院的 Jacob Devlin 等人发展了另一条路线，他们在神经机器翻译任务中选择 CPU 作为解码的主要计算芯片，并实现了超过 GPU 效能的结果。这或许能为我们优化模型性能带来新的思路。

论文：Sharp Models on Dull Hardware: Fast and Accurate Neural Machine Translation Decoding on the CPU

论文链接：http://cn.arxiv.org/abs/1705.01991

摘要：含有注意力机制的 sequence-to-sequence 模型近年来已经成为了机器翻译领域的新标准，但与基于短语的系统相比，这个模型也面临一个挑战——那就是训练和解码成本显著增加。这里我们专注于研究高效的解码，旨在精确度上与现有的神经翻译模型接近，同时在 CPU 解码速度和吞吐量上与短语解码器接近。

参考：https://www.jiqizhixin.com/articles/2017-05-21-3