文档
蓝灯鱼 Tf2.0+基于注意力的神经机器翻译训练发布过程本篇是人工智能、机器翻译的干货文章面向从事人工智能的研发工程师和翻译领域的职业从业者。意在译员能更好的从计算机编程角度理解机器翻译的代码实现过程。同时也和机器翻译开发工程师共同分享源码的快乐。
实例是采用当下最新的tensorflow2.0+框架实现transforme r模型Attention注意力、MultiHeadAttention 多头注意力 、位置嵌入、掩码、按层提取翻译结果、 Flask服务发布。实例代码为完整代码拷贝即可运行如果有兴趣获得完整的.py代码请在公众号下留言获得代码文件。
本文章主要是tensorflow2.0官方教程的模拟整理而来喜欢原版和英文阅读的请参考官方教程。官方为葡萄牙语和英语的翻译只有训练和预测过程。未给出中文实例、也丌能发布应用。
实例用1000W数据训练后的结果参考
文档
文档
整个过程可以分一下几个步骤
1. 创建机器翻译模型训练数据。
2. 模型编写和超参数设置。
3. 训练模型。
4. 发布模型应用服务
5. 验证机器翻译模型结果
公共参数HyperParams.py
文档
1.创建机器翻译模型训练数据。生成源语言和目标语言的词典
文档
注意如果数据量过大会内存溢出。本人用1000W数据发生此情况另外利用jieba分词重新生成了subword的中文的词典。
2.模型编写和超参数设置。 transformer_model.py
文档
文档
文档
文档
digital-vm在日本东京机房当前提供1Gbps带宽、2Gbps带宽、10Gbps带宽接入的独立服务器,每个月自带10T免费流量,一个独立IPv4。支持额外购买流量:20T-$30/月、50T-$150/月、100T-$270美元/月;也支持额外购买IPv4,/29-$5/月、/28-$13/月。独立从下单开始一般24小时内可以上架。官方网站:https://digital-vm.com/de...
BuyVM 商家算是有一些年头,从早年提供低价便宜VPS主机深受广大网友抢购且也遭到吐槽的是因为审核账户太过于严格。毕竟我们国内的个人注册账户喜欢账户资料乱写,毕竟我们看英文信息有些还是比较难以识别的,于是就注册信息的时候随便打一些字符,这些是不能通过的。前几天,我们可以看到BUYVM商家有新增加迈阿密机房,而且商家有提供大硬盘且不限制流量的VPS主机,深受有一些网友的喜欢。目前,BUYVM商家有...
继阿里云服务商推出轻量服务器后,腾讯云这两年对于轻量服务器的推广力度还是比较大的。实际上对于我们大部分网友用户来说,轻量服务器对于我们网站和一般的业务来说是绝对够用的。反而有些时候轻量服务器的带宽比CVM云服务器够大,配置也够好,更有是价格也便宜,所以对于初期的网站业务来说轻量服务器是够用的。这几天UCLOUD优刻得香港服务器稳定性不佳,于是有网友也在考虑搬迁到腾讯云服务器商家,对于轻量服务器官方...