数字化校园数据清洗与整合平台建设方案
1.1.1.平台概述
数据清洗与整合平台实现共享数据中心的数据采集与分发提供对被交换信息进行清洗、转换、装载入库等数据交换服务即清理脏数据完成对数据的整理确保数据一致性、完整性和正确性。
各业务系统通过清洗与整合系统与共享数据中心平台进行数据交换与共享各业务系统独立运行互不影响某一业务系统故
障不会造成对其
它系统的影响。
工貝
4(IE>
(NotfliG»pB]l
图数据清洗与整合平台DCI
1.1.2.平台功能
共享数据中心库的数据来源目前来说主要是由国标即基础代码表的数据和从已有的应用系统中集成过来这个过程就是数据DCI过程。已有的应用系统的数据是不符合数据规范的DCI过程就是实现从不规范的数据源内通过整合转化成规范的数据保证数据的准确。 DCI是数据集成并保证“一数一源”重要手段。通过DCI可以方便、快捷地实现数据源到中心数据库的DCI过程。
1.支持主流的各种数据库 包括Oracle系列、 SQLServer系
列、DB2 MySQL等,同时支持Excel文件数据访问
2.方便的图形化流程操作几乎不需要编写复杂的
SQL。
通过拖动和连线的方式就可以定义DCI任务不需要复杂
的编程和配置
3.强大的任务定义能力。我们可以为每一个DCI任务定义不
同的任务类型更为重要的是我们可以自由地设定任务的
运行时间和周期
4.准确的数据变化感知。无论源数据发生了什么变化
包括插入新数据、更新旧数据、删除数据等都可以被-DCI所感知并在目标库中做出相应的变化实现准确的数据同步
5.灵活的数据映射。对于简单的值映射可以直接通过简单设置即可如想将性别字段值0和1映射成目标值A和B,可进行简便操作
6.对于复杂的数据编程 -DCI提供了JavaS cript语言可以实现更为强大的编程逻辑和功能
7.强大的数据库管理能力。 -DCI提供了对数据库更为复杂的操作包括去除重复的记录、 自动流水号生成、记录的连接、记录的过滤等这些所有的操作均可通
过简单的配置实现而不需要编写复杂的 SQL语句
成立于2006年的荷兰Access2.IT Group B.V.(可查:VAT: NL853006404B01,CoC: 58365400) 一直运作着主机周边的业务,当前正在对荷兰的高性能AMD平台的VPS进行5折优惠,所有VPS直接砍一半。自有AS208258,vps母鸡配置为Supermicro 1024US-TRT 1U,2*AMD Epyc 7452(64核128线程),16条32G D...
火数云怎么样?火数云主要提供数据中心基础服务、互联网业务解决方案,及专属服务器租用、云服务器、专属服务器托管、带宽租用等产品和服务。火数云提供洛阳、新乡、安徽、香港、美国等地骨干级机房优质资源,包括BGP国际多线网络,CN2点对点直连带宽以及国际顶尖品牌硬件。专注为个人开发者用户,中小型,大型企业用户提供一站式核心网络云端服务部署,促使用户云端部署化简为零,轻松快捷运用云计算!多年云计算领域服务经...
racknerd从成立到现在发展是相当迅速,用最低的价格霸占了大部分低端便宜vps市场,虽然VPS价格便宜,但是VPS的质量和服务一点儿都不拉跨,服务器稳定、性能给力,尤其是售后方面时间短技术解决能力强,估计这也是racknerd这个品牌能如此成功的原因吧! 官方网站:https://www.racknerd.com 多种加密数字货币、信用卡、PayPal、支付宝、银联、webmoney,可...