文档
蓝灯鱼 Tf2.0+基于注意力的神经机器翻译训练发布过程本篇是人工智能、机器翻译的干货文章面向从事人工智能的研发工程师和翻译领域的职业从业者。意在译员能更好的从计算机编程角度理解机器翻译的代码实现过程。同时也和机器翻译开发工程师共同分享源码的快乐。
实例是采用当下最新的tensorflow2.0+框架实现transforme r模型Attention注意力、MultiHeadAttention 多头注意力 、位置嵌入、掩码、按层提取翻译结果、 Flask服务发布。实例代码为完整代码拷贝即可运行如果有兴趣获得完整的.py代码请在公众号下留言获得代码文件。
本文章主要是tensorflow2.0官方教程的模拟整理而来喜欢原版和英文阅读的请参考官方教程。官方为葡萄牙语和英语的翻译只有训练和预测过程。未给出中文实例、也丌能发布应用。
实例用1000W数据训练后的结果参考
文档
文档
整个过程可以分一下几个步骤
1. 创建机器翻译模型训练数据。
2. 模型编写和超参数设置。
3. 训练模型。
4. 发布模型应用服务
5. 验证机器翻译模型结果
公共参数HyperParams.py
文档
1.创建机器翻译模型训练数据。生成源语言和目标语言的词典
文档
注意如果数据量过大会内存溢出。本人用1000W数据发生此情况另外利用jieba分词重新生成了subword的中文的词典。
2.模型编写和超参数设置。 transformer_model.py
文档
文档
文档
文档
华为云818上云活动活动截止到8月31日。1、秒杀限时区优惠仅限一单!云服务器秒杀价低至0.59折,每日9点开抢秒杀抢购活动仅限早上9点开始,有限量库存的。2G1M云服务器低至首年69元。2、新用户折扣区优惠仅限一单!购云服务器享3折起加购主机安全及数据库。企业和个人的优惠力度和方案是不同的。比如还有.CN域名首年8元。华为云服务器CPU资源正常没有扣量。3、抽奖活动在8.4-8.31日期间注册并...
hosthatch在做美国独立日促销,可能你会说这操作是不是晚了一个月?对,为了准备资源等,他们拖延到现在才有空,这次是针对自己全球14个数据中心的VPS。提前示警:各个数据中心的网络没有一个是针对中国直连的,都会绕道而且ping值比较高,想买的考虑清楚再说!官方网站:https://hosthatch.com所有VPS都基于KVM虚拟,支持PayPal在内的多种付款方式!芝加哥(大硬盘)VPS5...
使用此源码可以生成QQ自动跳转到浏览器的短链接,无视QQ报毒,任意网址均可生成。新版特色:全新界面,网站背景图采用Bing随机壁纸支持生成多种短链接兼容电脑和手机页面生成网址记录功能,域名黑名单功能网站后台可管理数据安装说明:由于此版本增加了记录和黑名单功能,所以用到了数据库。安装方法为修改config.php里面的数据库信息,导入install.sql到数据库。...