rds for mysql如何对MySQL数据库中的数据进行实时同步

rds for mysql  时间:2022-02-17  阅读:()

如何对MySQL数据库中的数据进行实时同步

前提条件 您需要在您RDS for MySQL所在的云账号下开通阿里云数据传输服务。并 点击此处 下载dts-ads-writer插件到您的一台服务器上并解压(需要该服务器可以访问互联网,建议使用阿里云ECS以最大限度保障可用性)。服务器上需要有Java 6或以上的运行环境(JRE/JDK)。 操作步骤 1. 在分析型数据库上创建目标表,数据更新类型为实时写入,字段名称和MySQL中的建议均相同; 2. 在阿里云数据传输的控制台上创建数据订阅通道,并记录这个通道的ID; (见: /document_detail/dts/Getting-Started/data-subscription.html), 3. 配置dts-ads-writer/app.conf文件,配置方式如下: 所有配置均保存在app.conf中,运行前请保证配置正确;修改配置后,请重启writer 基本配置: { "essId": "", // 拥有数据订阅通道的云账号的essId, 必须配置 "essKey": "", // 拥有数据订阅通道的云账号的essKey, 必须配置 "dtsTunnelId": "", // 数据订阅通道的id, 必须配置; 注意是id,不是通道名称 "adsUserName": "", // 访问您的分析型数据库的用户名(essId), 必须配置 "adsPassword": "", // 访问您的分析型数据库的密码(essKey), 必须配置 "adsJdbcUrl": "", // 访问分析型数据库的jdbc连接串, 必须配置(格式jdbc:mysql://ip:port/dbname) "tables": [ { "source": { "primaryKeys": [""] // 主键定义, 必须配置; 注意RDS和分析型数据库中的主键定义必须一致 "db": "", // 源头RDS的db名称, 必须配置 "table": "", // 源头RDS的table名称, 必须配置 "skipColumns": ["col1"] // 可选,若在此配置了RDS表某列名,则该列不会同步 }, "target": { "table": "" // 分析型数据库表的table名称, 必须配置 }, "columnMapping": { "": "" // rds表和ads表的列对应关系:key为rds的列名, value为分析型数据库的列名,选填,不填则按照列名一一对应 } } ] } tables节点的配置示例, 表示rds_db库下的rds_table表对应ads_table表,并且rds_table表的col1列对应ads_table表的col1_ads列, rds_table表的col2列对应ads_table表的col2_ads列 "tables": [ { "source": { "primaryKeys": [ "col1", "col2" ], "db": "rds_db", "table": "rds_table" }, "target": { "table": "ads_table" }, "columnMapping": { "col1": "col1_ads", "col2": "col2_ads" } } ] 注意事项: 1)RDS for MySQL表和分析型数据库中表的主键定义必须完全一致;如果不一致会出现数据不一致问题。如果需要调整RDS/分析型数据库表的主键,建议先停止writer进程; 2)一个插件进程中分析型数据库db只能是一个,由adsJdbcUrl指定; 3)一个插件进程只能对应一个数据订阅通道;如果更新通道中的订阅对象时,需要重启进程 4)RDS for MySQL中DDL操作不做同步处理; 5)更新app.conf需要重启插件进程才能生效; 6)如果工具出现bug或某种其它原因需要重新同步历史数据,只能回溯最近24小时的数据(在阿里云数据传输的控制台中修改消费位点); 7)插件的最大同步性能与运行插件的服务器的互联网带宽和磁盘IOPS成正比。 4. 运行dts-ads-writer/bin/startup.sh(sh bin/startup.sh); 5. 配置监控程序监控进程存活和日志中的常见错误码。 logs目录下的日志中的异常信息均以ErrorCode=XXXX ErrorMessage=XXXX形式给出,可以进行监控

10gbiz七月活动首月半价$2.36/月: 香港/洛杉矶CN2 GIA VPS

10gbiz怎么样?10gbiz 美国万兆带宽供应商,主打美国直连大带宽,真实硬防。除美国外还提供线路非常优质的香港、日本等数据中心可供选择,全部机房均支持增加独立硬防。洛杉矶特色线路去程三网直连(电信、联通、移动)回程CN2 GIA优化,全天低延迟。中国大陆访问质量优秀,最多可增加至600G硬防。香港七星级网络,去程回程均为电信CN2 GIA+联通+移动,大陆访问相较其他香港GIA线路平均速度更...

ucloud香港服务器优惠活动:香港2核4G云服务器低至358元/年,968元/3年

ucloud香港服务器优惠降价活动开始了!此前,ucloud官方全球云大促活动的香港云服务器一度上涨至2核4G配置752元/年,2031元/3年。让很多想购买ucloud香港云服务器的新用户望而却步!不过,目前,ucloud官方下调了香港服务器价格,此前2核4G香港云服务器752元/年,现在降至358元/年,968元/3年,价格降了快一半了!UCloud活动路子和阿里云、腾讯云不同,活动一步到位,...

A400互联1H/1G/10M/300G流量37.8元/季

A400互联是一家成立于2020年的商家,本次给大家带来的是,全新上线的香港节点,cmi+cn2线路,全场香港产品7折优惠,优惠码0711,A400互联,只为给你提供更快,更稳,更实惠的套餐。目前,商家推出香港cn2节点+cmi线路云主机,1H/1G/10M/300G流量,37.8元/季,云上日子,你我共享。A400互联优惠码:七折优惠码:0711A400互联优惠方案:适合建站,个人开发爱好者配置...

rds for mysql为你推荐
什么是免费虚拟主机现在什么虚拟机是免费的什么是免费虚拟主机虚拟主机是什么东东呢?域名和虚拟主机关于域名与虚拟主机的问题域名和虚拟主机什么是虚拟主机与域名解析免费ftp虚拟主机哪可以申请免费的FTP空间服务器跟虚拟主机虚拟主机和服务器一样吗?有何区别?星外虚拟主机系统什么是vps,vps能够安装虚拟主机管理系统吗?有没有独立的IP。泉州虚拟主机试用试用的虚拟主机被备案了到期会不会取消备案中国云网 虚拟主机虚拟主机的速度有多快?大宇云虚拟主机数据库虚拟主机数据库怎么用
云南虚拟主机 vps租用 dns是什么 jsp主机 监控宝 网站实时监控 免费smtp服务器 好看qq空间 阿里云浏览器 建立邮箱 vip购优惠 metalink 上海联通宽带测速 360云服务 万网主机管理 西安服务器托管 1美元 网络速度 北京主机托管 服务器防御 更多