文档
蓝灯鱼 Tf2.0+基于注意力的神经机器翻译训练发布过程本篇是人工智能、机器翻译的干货文章面向从事人工智能的研发工程师和翻译领域的职业从业者。意在译员能更好的从计算机编程角度理解机器翻译的代码实现过程。同时也和机器翻译开发工程师共同分享源码的快乐。
实例是采用当下最新的tensorflow2.0+框架实现transforme r模型Attention注意力、MultiHeadAttention 多头注意力 、位置嵌入、掩码、按层提取翻译结果、 Flask服务发布。实例代码为完整代码拷贝即可运行如果有兴趣获得完整的.py代码请在公众号下留言获得代码文件。
本文章主要是tensorflow2.0官方教程的模拟整理而来喜欢原版和英文阅读的请参考官方教程。官方为葡萄牙语和英语的翻译只有训练和预测过程。未给出中文实例、也丌能发布应用。
实例用1000W数据训练后的结果参考
文档
文档
整个过程可以分一下几个步骤
1. 创建机器翻译模型训练数据。
2. 模型编写和超参数设置。
3. 训练模型。
4. 发布模型应用服务
5. 验证机器翻译模型结果
公共参数HyperParams.py
文档
1.创建机器翻译模型训练数据。生成源语言和目标语言的词典
文档
注意如果数据量过大会内存溢出。本人用1000W数据发生此情况另外利用jieba分词重新生成了subword的中文的词典。
2.模型编写和超参数设置。 transformer_model.py
文档
文档
文档
文档
ProfitServer已开启了黑色星期五的促销活动,一直到本月底,商家新加坡、荷兰、德国和西班牙机房VPS直接5折,无码直购最低每月2.88美元起,不限制流量,提供IPv4+IPv6。这是一家始于2003年的俄罗斯主机商,提供虚拟主机、VPS、独立服务器、SSL证书、域名等产品,可选数据中心包括俄罗斯、法国、荷兰、美国、新加坡、拉脱维亚、捷克、保加利亚等多个国家和地区。我们随便以一个数据中心为例...
易速互联怎么样?易速互联是国人老牌主机商家,至今已经成立9年,商家销售虚拟主机、VPS及独立服务器,目前商家针对美国加州萨克拉门托RH数据中心进行促销,线路采用BGP直连线路,自带10G防御,美国加州地区,100M带宽不限流量,月付299元起,有需要美国不限流量独立服务器的朋友可以看看。点击进入:易速互联官方网站美国独立服务器优惠套餐:RH数据中心位于美国加州、配置丰富性价比高、10G DDOS免...
公司成立于2021年,专注为用户提供低价高性能云计算产品,致力于云计算应用的易用性开发,面向全球客户提供基于云计算的IT解决方案与客户服务,拥有丰富的国内BGP、三线高防、香港等优质的IDC资源。公司一直秉承”以人为本、客户为尊、永续创新”的价值观,坚持”以微笑收获友善, 以尊重收获理解,以责任收获支持,以谦卑收获成长”的行为观向客户提供全面优质的互...