机器翻译蓝灯鱼：tf2.0基于注意力的神经机器翻译训练发布过程

文档

蓝灯鱼 Tf2.0+基于注意力的神经机器翻译训练发布过程本篇是人工智能、机器翻译的干货文章面向从事人工智能的研发工程师和翻译领域的职业从业者。意在译员能更好的从计算机编程角度理解机器翻译的代码实现过程。同时也和机器翻译开发工程师共同分享源码的快乐。

实例是采用当下最新的tensorflow2.0+框架实现transforme r模型Attention注意力、MultiHeadAttention 多头注意力 、位置嵌入、掩码、按层提取翻译结果、 Flask服务发布。实例代码为完整代码拷贝即可运行如果有兴趣获得完整的.py代码请在公众号下留言获得代码文件。

本文章主要是tensorflow2.0官方教程的模拟整理而来喜欢原版和英文阅读的请参考官方教程。官方为葡萄牙语和英语的翻译只有训练和预测过程。未给出中文实例、也丌能发布应用。

实例用1000W数据训练后的结果参考

文档

文档

整个过程可以分一下几个步骤

1. 创建机器翻译模型训练数据。

2. 模型编写和超参数设置。

3. 训练模型。

4. 发布模型应用服务

5. 验证机器翻译模型结果

公共参数HyperParams.py

文档

1.创建机器翻译模型训练数据。生成源语言和目标语言的词典

文档

注意如果数据量过大会内存溢出。本人用1000W数据发生此情况另外利用jieba分词重新生成了subword的中文的词典。

2.模型编写和超参数设置。 transformer_model.py

文档

文档

文档

文档