etlETL的特色功能

etl  时间:2021-08-19  阅读:()

ETL的全称

ETL是美国电子测试实验室(ElectricalTestingLaboratories)的简称。

ETL试验室是由美国发明家爱迪生在1896年一手创立的,在美国及世界范围内享有极高的声誉。

同UL、CSA一样,ETL可根据UL标准或美国国家标准测试核发ETL认证标志,也可同时按照UL标准或美国国家标准和CSA标准或加拿大标准测试核发复合认证标志。

右下方的表示适用于美国,左下方的表示适用于加拿大,同时具有和则在两个国家都适用。

任何电气、机械或机电产品只要带有ETL标志就表明此产品已经达到经普遍认可的美国及加拿大产品安全标准的最低要求,它是经过测试符合相关的产品安全标准;而且也代表着生产工厂同意接收严格的定期检查,以保证产品品质的一致性,可以销往美国和加拿大两国市场。

ETL也要求其生产场地已经过检验,并且申请人同意此后对其工厂进行定期的跟踪检验,以确保产品始终符合此要求。

ETL学习笔记之一:ETL是什么?

对于数据仓库以及ETL的知识,我基本上是个门外汉。

一切都得从头开始,记个笔记,方便自已了解学习进度。

首先,我们来了解最基本的定义: 嗯,也有人将ETL简单称为数据抽取。

至少在未学习之前,领导告诉我的是,你需要做一个数据抽取的工具。

其实呢,抽取是ETL中的关键环节,顾名思义,也就将数据从不同的数据源中抓取(复制)出来。

太简单了!上面的解释无首无尾,有点象能让你吃饱的第七个烧饼, 仔细一想,抽取是不可能单独存在,我们需要将与之关联的一些其它环节拿出来。

于是,得到ETL的定义: 将数据抽取(Extract)、转换(Transform)、清洗(Cleansing)、装载(Load)的过程。

好的,既然到了这一个层次,我们完全会进一步展开联想,引出上面这个抽象事件的前因后果, 抽取源:大多数情况下,可以认为是关系数据库,专业一点,就是事务处理系统(OLTP)。

当然,广义一点,可能会是其它数据库或者是文件系统。

目的地:OK,我们希望是数据仓库。

数据仓库是啥?在学习之前,它对我来说是个抽象的怪物,看过一些简单的资料之后,才了解这个怪物一点都不怪。

堆积用来分析的数据的仓库。

是了,是用来分析的,于是,它区别于OLTP中的数据存储。

在我看来,有两个原因。

一:性能 将需要分析的数据从OLTP中抽离出来,使分析和事务处理不冲突。

咦?这不是数据仓库的效果吗?是了, 数据仓库,大多数情况下,也就是通过ETL工具来生成地。

二:控制 用户可以完全控制从OLTP中抽离出来的数据,拥有了数据,也就拥有了一切。

嗯,OLAP分析,数据挖掘等等等……。

最后,总结一下, 嗯,时不我待,我没有办法一切从头开始, 鸭子要变成一盘菜,并不是举手将之置于油锅之劳。

etl工程师是做什么的?工作内容是什么?

etl工程师是从事系统编程、数据库编程与设计,要掌握各种常用的编程语言的专业技术人员。

也叫数据库工程师。

工作内容: 见岗位职责: 1. 海量数据的ETL开发,抽取成各种数据需求。

2. 参与数据仓库架构的设计及开发 。

3. 参与数据仓库ETL流程优化及解决ETL相关技术问题。

4、熟悉主流数据库技术,如oracle、Sql server、PostgeSQL等。

4、精通etl架构,有一定的etl开发经验,了解日常作业的部署和调度。

5、会数据etl开发工具,如Datastage,Congos,Kettle等。

ETL的特色功能

ETL过程在很大程度上受企业对源数据的理解程度的影响,也就是说从业务的角度看数据集成非常重要。

一个优秀的ETL设计应该具有如下功能: 合理的业务模型设计对ETL至关重要。

数据仓库是企业唯一、真实、可靠的综合数据平台。

数据仓库的设计建模一般都依照三范式、星型模型、雪花模型,无论哪种设计思想,都应该最大化地涵盖关键业务数据,把运营环境中杂乱无序的数据结构统一成为合理的、关联的、分析型的新结构,而ETL则会依照模型的定义去提取数据源,进行转换、清洗,并最终加载到目标数据仓库中。

模型的重要之处在于对数据做标准化定义,实现统一的编码、统一的分类和组织。

标准化定义的内容包括:标准代码统一、业务术语统一。

ETL依照模型进行初始加载、增量加载、缓慢增长维、慢速变化维、事实表加载等数据集成,并根据业务需求制定相应的加载策略、刷新策略、汇总策略、维护策略。

对业务数据本身及其运行环境的描述与定义的数据,称之为元数据(metadata)。

元数据是描述数据的数据。

从某种意义上说,业务数据主要用于支持业务系统应用的数据,而元数据则是企业信息门户、客户关系管理、数据仓库、决策支持和B2B等新型应用所不可或缺的内容。

元数据的典型表现为对象的描述,即对数据库、表、列、列属性(类型、格式、约束等)以及主键/外部键关联等等的描述。

特别是现行应用的异构性与分布性越来越普遍的情况下,统一的元数据就愈发重要了。

“信息孤岛”曾经是很多企业对其应用现状的一种抱怨和概括,而合理的元数据则会有效地描绘出信息的关联性。

而元数据对于ETL的集中表现为:定义数据源的位置及数据源的属性、确定从源数据到目标数据的对应规则、确定相关的业务逻辑、在数据实际加载前的其他必要的准备工作,等等,它一般贯穿整个数据仓库项目,而ETL的所有过程必须最大化地参照元数据,这样才能快速实现ETL。

618云上Go:腾讯云秒杀云服务器95元/年起,1C2G5M三年仅288元起

进入6月,各大网络平台都开启了618促销,腾讯云目前也正在开展618云上Go活动,上海/北京/广州/成都/香港/新加坡/硅谷等多个地区云服务器及轻量服务器秒杀,最低年付95元起,参与活动的产品还包括短信包、CDN流量包、MySQL数据库、云存储(标准存储)、直播/点播流量包等等,本轮秒杀活动每天5场,一直持续到7月中旬,感兴趣的朋友可以关注本页。活动页面:https://cloud.tencent...

spinservers春节优惠:$149/月10Gbps圣何塞服务器-2*E5-2630Lv3 CPU,256G内存,2*1.6T SSD硬盘

spinservers是Majestic Hosting Solutions LLC旗下站点,商家提供国外服务器租用和Hybrid Dedicated等产品,数据中心包括美国达拉斯和圣何塞机房,机器默认10Gbps端口带宽,高配置硬件,支持使用PayPal、信用卡、支付宝或者微信等付款方式。农历春节之际,商家推出了几款特别促销配置,最低双路E5-2630Lv3机器每月149美元起,下面列出几款机器...

HostMem,最新优惠促销,全场75折优惠,大硬盘VPS特价优惠,美国洛杉矶QuadraNet机房,KVM虚拟架构,KVM虚拟架构,2核2G内存240GB SSD,100Mbps带宽,27美元/年

HostMem近日发布了最新的优惠消息,全场云服务器产品一律75折优惠,美国洛杉矶QuadraNet机房,基于KVM虚拟架构,2核心2G内存240G SSD固态硬盘100Mbps带宽4TB流量,27美元/年,线路方面电信CN2 GT,联通CU移动CM,有需要美国大硬盘VPS云服务器的朋友可以关注一下。HostMem怎么样?HostMem服务器好不好?HostMem值不值得购买?HostMem是一家...

etl为你推荐
公告格式通知格式范文点对点短信是什么国内点对点短信多少钱一条?网络接入网络拒绝接入怎么解决?u盾证书U盾证书在哪里?支付宝安全证书下载怎么下载支付宝安装控件网通玩电信游戏卡怎么办玩英雄联盟家里是网通的,玩电信区很卡怎么办照片ps是什么意思PS照片是什么意思?网络黑科技华为有哪些黑科技?人工电源网络手机开机显示选择网络是怎么回事?呼叫中心系统方案我们要自己建一个呼叫中心,用于做客户服务。请问应该怎么做规划方案呢?
免费域名空间申请 汉邦高科域名申请 locvps 全球付 bash漏洞 火车票抢票攻略 win8升级win10正式版 大容量存储 网通代理服务器 hnyd html空间 亚洲小于500m 个人域名 腾讯云分析 无限流量 下载速度测试 国外网页代理 如何登陆阿里云邮箱 杭州电信宽带 cdn免备案空间 更多