机器翻译蓝灯鱼:tf2.0基于注意力的神经机器翻译训练发布过程

木头鱼在线翻译  时间:2021-04-26  阅读:()

文档

蓝灯鱼 Tf2.0+基于注意力的神经机器翻译训练发布过程本篇是人工智能、机器翻译的干货文章面向从事人工智能的研发工程师和翻译领域的职业从业者。意在译员能更好的从计算机编程角度理解机器翻译的代码实现过程。同时也和机器翻译开发工程师共同分享源码的快乐。

实例是采用当下最新的tensorflow2.0+框架实现transforme r模型Attention注意力、MultiHeadAttention 多头注意力 、位置嵌入、掩码、按层提取翻译结果、 Flask服务发布。实例代码为完整代码拷贝即可运行如果有兴趣获得完整的.py代码请在公众号下留言获得代码文件。

本文章主要是tensorflow2.0官方教程的模拟整理而来喜欢原版和英文阅读的请参考官方教程。官方为葡萄牙语和英语的翻译只有训练和预测过程。未给出中文实例、也丌能发布应用。

实例用1000W数据训练后的结果参考

文档

文档

整个过程可以分一下几个步骤

1. 创建机器翻译模型训练数据。

2. 模型编写和超参数设置。

3. 训练模型。

4. 发布模型应用服务

5. 验证机器翻译模型结果

公共参数HyperParams.py

文档

1.创建机器翻译模型训练数据。生成源语言和目标语言的词典

文档

注意如果数据量过大会内存溢出。本人用1000W数据发生此情况另外利用jieba分词重新生成了subword的中文的词典。

2.模型编写和超参数设置。 transformer_model.py

文档

文档

文档

文档

提速啦 韩国服务器 E3 16G 3IP 450元/月 韩国站群服务器 E3 16G 253IP 1100元/月

提速啦(www.tisula.com)是赣州王成璟网络科技有限公司旗下云服务器品牌,目前拥有在籍员工40人左右,社保在籍员工30人+,是正规的国内拥有IDC ICP ISP CDN 云牌照资质商家,2018-2021年连续4年获得CTG机房顶级金牌代理商荣誉 2021年赣州市于都县创业大赛三等奖,2020年于都电子商务示范企业,2021年于都县电子商务融合推广大使。资源优势介绍:Ceranetwo...

spinservers:圣何塞物理机7.5折,$111/月,2*e5-2630Lv3/64G内存/2T SSD/10Gbps带宽

spinservers美国圣何塞机房的独立服务器补货120台,默认接入10Gbps带宽,给你超高配置,这价格目前来看好像真的是无敌手,而且可以做到下单后30分钟内交货,都是预先部署好了的。每一台机器用户都可以在后台自行安装、重装、重启、关机操作,无需人工参与! 官方网站:https://www.spinservers.com 比特币、信用卡、PayPal、支付宝、webmoney、Payssi...

UCloud云服务器香港临时补货,(Intel)CN2 GIA优化线路,上车绝佳时机

至今为止介绍了很多UCLOUD云服务器的促销活动,UCLOUD业者以前看不到我们的个人用户,即使有促销活动,续费也很少。现在新用户的折扣力很大,包括旧用户在内也有一部分折扣。结果,我们的用户是他们的生存动力。没有共享他们的信息的理由是比较受欢迎的香港云服务器CN2GIA线路产品缺货。这不是刚才看到邮件注意和刘先生的通知,而是补充UCLOUD香港云服务器、INTELCPU配置的服务器。如果我们需要他...

木头鱼在线翻译为你推荐
followcss存在问题的应用软件名单(2020年第四批)空调iphone特斯拉苹果5css3圆角css实现圆角的几种方法是什么?iexplore.exe应用程序错误iexplore.exe - 应用程序错误怎么办阿??????重庆电信网速测试电信100M下载速度多少M,为什么我家里电信100M下载速度最快5M美妙,是不是严重缩水phpecho为什么在PHP中使用echo FALSE;什么也输出不了?应该如何输出FALSE?谢谢!chromeframechrome需要frame吗迅雷雷鸟100+怒放手机是迅雷做的么?迅雷之前不是出了一款雷鸟手机么?
域名服务器的作用 工信部域名备案 独享100m 网络星期一 gateone 免费mysql 免空 asp免费空间申请 徐正曦 adroit 国外免费asp空间 搜索引擎提交入口 服务器硬件防火墙 web服务器是什么 带宽租赁 百度云加速 华为k3 群英网络 测试网速命令 如何登陆阿里云邮箱 更多