数据性能需求

国家职业技术技能标准职业编码:2-02-10-11大数据工程技术人员(2021年版)制定中华人民共和国人力资源和社会保障部中华人民共和国工业和信息化部职业编码:2-02-10-11I说明为贯彻落实《关于深化人才发展体制机制改革的意见》,推动实施人才强国战略,促进专业技术人员提升职业素养、补充新知识新技能,实现人力资源深度开发,推动经济社会全面发展,根据《中华人民共和国劳动法》有关规定,人力资源社会保障部联合工业和信息化部组织有关专家,制定了《大数据工程技术人员国家职业技术技能标准》(以下简称《标准》).
一、本《标准》以《人力资源社会保障部办公厅市场监管总局办公厅统计局办公室关于发布人工智能工程技术人员等职业信息的通知》(人社厅发〔2019〕48号)为依据,按照《国家职业技术技能标准编制技术规程》有关要求,坚持"以职业活动为导向、以专业能力为核心"的指导思想,在充分考虑科技进步、社会经济发展和产业结构变化对大数据工程技术人员专业要求的基础上,以客观反映大数据技术发展水平及其对从业人员的专业能力要求为目标,对大数据工程技术从业人员的专业活动内容进行规范细致描述,明确了各等级专业技术人员的工作领域、工作内容以及知识水平、专业能力和实践要求.
二、本《标准》为首次制定,依据有关规定将本职业分为初级、中级、高级三个等级,包括职业概况、基本要求、工作要求、权重表和附录等五个方面内容.
三、本《标准》的编制工作在人力资源社会保障部专业技术人员管理司、工业和信息化部人事教育司、中国就业培训技术指导中心的指导下,由工业和信息化部教育与考试中心具体组织实施.
四、本《标准》主要起草单位有:工业和信息化部教育与考试中心、新大陆科技集团技术研究院、北京大学、中国电子技术标准化研究院、西安电子科技大学、杭州数梦工场科技有限公司、腾讯科技(深圳)有限责任公司、新华三技术有限公司.
主要起草人有:谭志彬、陈钟、张正球、鲍亮、邓立、吴子颖、吴东亚、陈海、龚玉涵、姚明、张耀华、李冰、念灿华、陈旭、胡国华、张融、刘朝晖、罗盛、肖李晨.
五、本《标准》主要审定人员有:朱小燕、虞文明、穆勇、朱敏、张群.
六、本标准的开发得到了左仁贵、邵昕、刘鹏、张良均、张淑平、宋胜利、李祥林的支持和帮助,在此表示感谢.
职业编码:2-02-10-11II七、本《标准》经人力资源社会保障部、工业和信息化部批准,自颁布之日起施行.
职业编码:2-02-10-111大数据工程技术人员国家职业技术技能标准(2021年版)1职业概况1.
1职业名称大数据工程技术人员1.
2职业编码2-02-10-111.
3职业定义从事大数据采集、清洗、分析、治理、挖掘等技术研究,并加以利用、管理、维护和服务的工程技术人员.
1.
4专业技术等级本职业共设三个等级,分别为初级、中级、高级.
初级、中级分为三个职业方向:大数据处理、大数据分析、大数据管理.
高级不分职业方向.
1.
5职业环境条件室内,常温.
1.
6职业能力特征具有较强的学习能力、计算能力、表达能力及分析、推理和判断能力.
1.
7普通受教育程度大学专科学历(或高等职业学校毕业).
1.
8职业培训要求1.
8.
1培训期限大数据工程技术人员需按照本《标准》的职业要求参加有关课程培训,完成规定学时,取得学时证明.
初级128标准学时,中级128标准学时,高级160标准学时.
1.
8.
2培训教师职业编码:2-02-10-112承担初级、中级理论知识或专业能力培训任务的人员,应具有相关职业中级及以上专业技术等级或相关专业中级及以上职称.
承担高级理论知识或专业能力培训任务的人员,应具有相关职业高级专业技术等级或相关专业高级职称.
1.
8.
3培训场所设备理论知识培训在标准教室或线上平台进行;专业能力培训在具有相应软、硬件条件的培训场所进行.
1.
9专业技术考核要求1.
9.
1申报条件——取得初级培训学时证明,并具备以下条件之一者,可申报初级专业技术等级:(1)取得技术员职称.
(2)具备相关专业大学本科及以上学历(含在读的应届毕业生).
(3)具备相关专业大学专科学历,从事本职业技术工作满1年.
(4)技工院校毕业生按国家有关规定申报.
——取得中级培训学时证明,并具备以下条件之一者,可申报中级专业技术等级:(1)取得助理工程师职称后,从事本职业技术工作满2年.
(2)具备大学本科学历,或学士学位,或大学专科学历,取得初级专业技术等级后,从事本职业技术工作满3年.
(3)具备硕士学位或第二学士学位,取得初级专业技术等级后,从事本职业技术工作满1年.
(4)具备相关专业博士学位.
(5)技工院校毕业生按国家有关规定申报.
——取得高级培训学时证明,并具备以下条件之一者,可申报高级专业技术等级:(1)取得工程师职称后,从事本职业技术工作满3年.
(2)具备硕士学位,或第二学士学位,或大学本科学历,或学士学位,取得中级专业技术等级后,从事本职业技术工作满4年.
职业编码:2-02-10-113(3)具备博士学位,取得中级专业技术等级后,从事本职业技术工作满1年.
(4)技工院校毕业生按国家有关规定申报.
1.
9.
2考核方式分为理论知识考试以及专业能力考核.
理论知识考试、专业能力考核均实行百分制,成绩皆达60分(含)以上者为合格,考核合格者获得相应专业技术等级证书.
理论知识考试以闭卷笔试、机考等方式为主,主要考核从业人员从事本职业应掌握的基本要求和相关知识要求;专业能力考核以开卷实操考试、上机实践等方式为主,主要考核从业人员从事本职业应具备的技术水平.
1.
9.
3监考人员、考评人员与考生配比理论知识考试中的监考人员与考生配比不低于1:15,且每个考场不少于2名监考人员;专业能力考核中的考评人员与考生配比不低于1:5,且考评人员为3人(含)以上单数.
1.
9.
4考核时间理论知识考试时间不少于90min,专业能力考核时间不少于150min.
1.
9.
5考核场所设备理论知识考试在标准教室进行;专业能力考核在具有相应软、硬件条件的考核场所进行.
职业编码:2-02-10-1142基本要求2.
1职业道德2.
1.
1职业道德基本知识2.
1.
2职业守则(1)遵纪守法,爱岗敬业.
(2)精益求精,勇于创新.
(3)爱护设备,安全操作.
(4)遵守规程,执行工艺.
(5)认真严谨,忠于职守.
2.
2基础知识2.
2.
1基础理论知识(1)操作系统知识(2)计算机网络知识(3)编程基础知识(4)数据结构与算法知识(5)数据库知识(6)软件工程知识(7)云计算知识(8)大数据知识2.
2.
2技术基础知识(1)大数据系统环境安装、配置和调试知识(2)大数据平台架构知识(3)软件应用开发知识(4)接口开发与功能模块设计知识(5)数据采集与数据预处理知识(6)数据计算与数据指标知识(7)常用数据分析与挖掘方法(8)常用数据报表与可视化技术方法(9)数据管理知识(10)数据运营及技术指导知识职业编码:2-02-10-1152.
2.
3安全知识(1)大数据应用、设备与外部服务组件安全管理知识(2)大数据服务用户身份鉴别与访问控制管理相关知识(3)大数据服务数据活动安全管理知识(4)大数据服务基础设施安全管理知识(5)大数据系统应急响应管理知识2.
2.
4其他相关知识(1)环境保护知识(2)文明生产知识(3)劳动保护知识(4)资料保管保密知识2.
2.
5相关法律、法规知识(1)《中华人民共和国劳动法》相关知识(2)《中华人民共和国安全生产法》相关知识(3)《中华人民共和国网络安全法》相关知识(4)《关于加强网络信息保护的决定》相关知识(5)《关键信息基础设施安全保护条例》相关知识(6)《网络安全等级保护条例》相关知识(7)《数据安全管理办法》相关知识(8)《电信和互联网用户个人信息保护规定》相关知识职业编码:2-02-10-1163工作要求本标准对初级、中级、高级的专业能力要求和相关知识要求依次递进,高级别涵盖低级别的要求.
3.
1初级大数据处理方向的职业功能包括大数据系统搭建、大数据平台管理与运维、大数据技术服务、大数据处理与应用,大数据分析方向的职业功能包括大数据系统搭建、大数据平台管理与运维、大数据技术服务、大数据分析与挖掘,大数据管理方向的职业功能包括大数据平台管理与运维、大数据技术服务、大数据管理.
职业功能工作内容专业能力要求相关知识要求1.
大数据系统搭建1.
1硬件系统搭建1.
1.
1能根据施工方案,进行需求沟通并确认设备参数1.
1.
2能参照施工方案,对大数据机架及大型设备进行机房空间规划并部署服务器1.
1.
3能根据组网规划方案,对各服务器或需联通网络设备进行组网布置1.
1.
4能根据现场设施及电力系统,对设备进行上电测试及点亮测试1.
1.
1硬件设备功能知识1.
1.
2服务器组网知识1.
1.
3服务器配置知识1.
2软件系统部署1.
2.
1能根据系统部署方案,安装集群环境、硬件环境、虚拟化环境所需的各类系统1.
2.
2能根据软件部署方案使用脚本部署产品或用原生方法安装各类大数据功能组件1.
2.
3能根据节点连接信息配置大数据集群1.
2.
4能根据集群功能对组件进行启动调试1.
2.
1操作系统安装及操作知识1.
2.
2云计算及虚拟化部署知识1.
2.
3大数据组件安装知识1.
2.
4大数据集群配置知识1.
2.
5大数据组件基础操作知识2.
大数据平台管理与运维2.
1平台管理2.
1.
1能对现有大数据集群的各类组件进行应用变更或版本更迭2.
1.
2能根据上线计划,按时完成功能上线2.
1.
3能对提交代码的版本进行管理2.
1.
1应用变更管理知识2.
1.
2代码仓库托管知识2.
1.
3功能持续集成知识2.
1.
4代码版本控制知识职业编码:2-02-10-1172.
2系统运维2.
2.
1能使用工具对集群的软硬件运行状态进行监控管理2.
2.
2能使用工具对大数据集群的各类组件、服务的运行状态进行监控管理2.
2.
3能使用工具对作业运行情况和资源占用情况进行监控管理2.
2.
4能根据故障报告,参与故障排查,处理故障问题2.
2.
5能根据容灾计划,定期备份和迁移关键数据2.
2.
1管理平台操作知识2.
2.
2系统环境监控知识2.
2.
3常见故障排查知识2.
2.
4容灾备份知识2.
3安全维护2.
3.
1能根据权限规范,使用工具配置和管理用户权限2.
3.
2能针对各类突发的外部攻击或异常事件进行应急处理2.
3.
3能对安全系统进行升级和维护2.
3.
1权限管理知识2.
3.
2常见异常处理知识2.
3.
3网络攻防知识3.
大数据技术服务3.
1技术咨询3.
1.
1能根据团队既定计划,收集市场目标信息3.
1.
2能配合销售团队制作宣讲材料及解决方案展示材料3.
1.
3能配合工程师解决客户技术咨询问题并提供参考信息3.
1.
1大数据行业应用知识3.
1.
2大数据技术体系知识3.
2解决方案设计3.
2.
1能根据已有的产品解决方案调整输出具体的项目解决方案3.
2.
2能进行产品演示和讲解产品特性3.
2.
3能根据客户沟通反馈整理需求文档3.
2.
4能根据客户需求提供产品咨询及软件架构3.
2.
1大数据基础理论知识3.
2.
2大数据行业发展知识3.
2.
3大数据软件架构知识4.
大数据处理与应用4.
1数据采集4.
1.
1能根据业务需求进行在线、离线数据采集4.
1.
2能根据调度策略使用框架设置调度作业4.
1.
3能根据存储策略进行数据存储4.
1.
1网络爬虫知识4.
1.
2离线数据采集知识4.
1.
3实时数据采集知识4.
1.
4作业调度知识4.
1.
5文件系统数据存储知识4.
1.
6关系型数据库知识4.
1.
7非关系型数据库知识职业编码:2-02-10-1184.
2数据预处理4.
2.
1能根据业务需求对遗漏数据、噪音数据、不一致数据等进行清洗4.
2.
2能根据业务需求对多源数据进行整合4.
2.
3能根据业务规则对数据格式进行转换4.
2.
4能根据数据归一性原则对数据进行单位、数值规约4.
2.
1数据清洗知识4.
2.
2数据ETL知识4.
2.
3数据库基础操作知识4.
2.
4SQL函数知识4.
2.
5结构化、半结构化与非结构化知识4.
3数据计算4.
3.
1能根据业务需求编写批量、实时数据计算作业4.
3.
2能根据数据特征计算数据标签并进行汇总4.
3.
3能根据数据指标规则计算关键业务指标4.
3.
1分布式计算知识4.
3.
2内存计算知识4.
3.
3数据结构封装知识4.
3.
4关键业务指标知识4.
4数据查询4.
4.
1能根据数据平台构建联机事务分析系统并进行即席查询4.
4.
2能根据检索引擎创建索引库并进行数据检索4.
4.
3能使用交互式查询工具创建数据接口并提供对外服务接口4.
4.
4能使用交互式查询平台制作报表及展示图表4.
4.
1OLAP系统应用知识4.
4.
2数据检索知识4.
4.
3交互式计算知识4.
4.
4报表制作知识5.
大数据分析与挖掘5.
1数据预处理5.
1.
1能根据业务需求对遗漏数据、噪音数据、不一致数据等进行清洗5.
1.
2能根据业务需求对多源数据进行整合5.
1.
3能根据业务规则对数据格式进行转换5.
1.
4能根据数据归一性原则对数据进行单位、数值规约5.
1.
5能根据数据特征及规律,选择合适方法对数据进行采样5.
1.
1数据清洗知识5.
1.
2数据ETL知识5.
1.
3数据库基础操作知识5.
1.
4SQL函数知识5.
1.
5结构化、半结构化与非结构化知识5.
2数据分析5.
2.
1能结合业务场景使用工具对数据集进行概要、描述性统计分析5.
2.
2能在描述结果基础上,对数据进行特征和规律的分析与推测5.
2.
3能结合业务场景编写数据统计报告5.
2.
1描述性统计知识5.
2.
2统计工具使用知识5.
2.
3线性相关及回归相关知识5.
3数据挖掘5.
3.
1能评估挖掘需求并使用工具对数据进行特征工程处理5.
3.
2能调用常规模型进行模型训练5.
3.
1特征工程知识5.
3.
2机器学习基础知识5.
3.
3数据挖掘类库应职业编码:2-02-10-1195.
3.
3能根据合适评价指标对模型进行验证和调参5.
3.
4能根据合适评价指标对模型进行测试并输出最终模型的性能评估分数用知识5.
4数据可视化5.
4.
1能选择关键指标抽取数据并进行图表展示5.
4.
2能使用可视化组件库进行可视化页面开发并配置交互模式5.
4.
3能根据产品反馈对可视化页面及图表进行调整和美化5.
4.
1BI工具使用知识5.
4.
2前端页面开发知识5.
4.
3可视化平台配置及使用知识6.
大数据管理6.
1数据管理6.
1.
1能对大数据全生命周期进行监控,定义、管理元数据,并提供访问元数据接口服务6.
1.
2能对数据质量进行评估及有效管控,校正异常数据和缺失数据6.
1.
3能根据安全审计要求,对数据活动的主题、操作及对象等数据相关属性进行审核,确保数据活动过程和相关操作符合安全要求6.
1.
1数据标准知识6.
1.
2数据血缘知识6.
1.
3数据质量知识6.
1.
4数据审计知识6.
2数据管理评估6.
2.
1能够编写或者受理评估申请6.
2.
2能依据DCMM规则和组织需求确定评估范围6.
2.
3能协助企业实施DCMM成熟度自评6.
2.
1数据管理能力成熟度评估模型知识职业编码:2-02-10-11103.
2中级大数据处理方向的职业功能包括大数据应用开发、大数据系统搭建、大数据平台管理与运维、大数据技术服务、大数据处理与应用,大数据分析方向的职业功能包括大数据应用开发、大数据系统搭建、大数据平台管理与运维、大数据技术服务、大数据分析与挖掘,大数据管理方向的职业功能包括大数据平台管理与运维、大数据技术服务、大数据管理.
职业功能工作内容专业能力要求相关知识要求1.
大数据应用开发1.
1应用服务开发1.
1.
1能根据系统所使用的组件接口,开发相应的数据访问层业务代码1.
1.
2能根据大数据存储系统结构,设计对接业务库表结构1.
1.
3能根据产品业务需求,开发相应数据或计算接口1.
1.
4能根据流程图梳理代码逻辑,优化接口及功能模块1.
1.
1大数据组件应用程序接口知识1.
1.
2模型层接口开发知识1.
1.
3服务层接口开发知识1.
2系统测试1.
2.
1能根据测试用例,对系统进行接口、功能、压力等黑盒测试并输出缺陷、测试报告1.
2.
2能根据测试用例,对代码进行逻辑、分支等白盒测试并输出缺陷、测试报告1.
2.
3能根据相应测试需求,开发自动化测试脚本1.
2.
1测试技术知识1.
2.
2测试用例设计知识1.
2.
3测试脚本开发知识2.
大数据系统搭建2.
1硬件系统搭建2.
1.
1能根据配置需求,规划及选型硬件配置设施2.
1.
2能根据机房环境和配置清单,制定工程实施方案2.
1.
3能根据物理硬件特性,制定组网规划方案2.
1.
4能根据硬件设备条件,进行底层及驱动配置2.
1.
5能根据现场施工情况进行故障处理指导2.
1.
1网络架构和规划知识2.
1.
2服务器底层配置知识2.
2软件系统部署2.
2.
1能根据应用需求,规划系统部署方案2.
2.
2能根据性能需求,对各运行系统进行配置和调优2.
2.
3能根据软件部署方案,编写自动化部署脚本,并完成部署2.
2.
4能根据集群组件进行高可用及容灾配置2.
2.
5能根据集群功能对各组件进2.
2.
1自动化脚本开发知识2.
2.
2集群配置知识2.
2.
3集群高可用及容灾知识职业编码:2-02-10-1111行联通调试3.
大数据平台管理与运维3.
1平台管理3.
1.
1能根据集群功能变更需求,制定组件升级及功能迁移方案3.
1.
2能对上线功能进行测试,评估上线可行性,制定上线计划3.
1.
3能对大数据平台中的各个组件使用权限进行管理3.
1.
1集群技术知识3.
1.
2安全访问控制知识3.
2系统运维3.
2.
1能编写脚本对集群软硬件、组件与服务、作业运行情况进行监控及管理操作3.
2.
2能对集群的运行性能、读写性能等指标进行调优3.
2.
3能根据故障报告,排查故障原因,处理故障问题,并编写自动化运维脚本3.
2.
4能制定容灾计划,对异常服务进行故障转移3.
2.
1性能调优知识3.
2.
2故障排查知识3.
2.
3容灾管理知识3.
3安全维护3.
3.
1能根据权限管理规范,编写日志监控脚本进行权限安全管理3.
3.
2能根据漏洞报告和测试报告开发相应安全补丁3.
3.
3能针对各类突发的外部攻击或异常事件制定应急处理方案3.
3.
4能对安全系统进行开发、升级和维护工作3.
3.
1安全补丁开发知识3.
3.
2异常处理知识3.
3.
3安全工具产品知识4.
大数据技术服务4.
1技术咨询4.
1.
1能收集目标市场信息,分析行业需求4.
1.
2能配合销售团队进行产品宣讲和解决方案展示4.
1.
3能独立解决客户技术咨询问题并提供技术方案4.
1.
4能参与项目架构设计并提出参考意见4.
1.
1大数据架构知识4.
1.
2大数据技术趋势知识4.
2解决方案设计4.
2.
1能根据项目需求,在产品功能和技术架构相关技术文档基础上调整输出项目解决方案4.
2.
2能进行产品调研、演示和产品特性讲解4.
2.
3能结合业务情况主导或辅助原型项目交付4.
2.
4能与业务部门合作挖掘客户需求并输出解决方案4.
2.
1大数据行业背景知识4.
2.
2市场营销知识4.
2.
3项目管理知识4.
3指导与培训4.
3.
1能制定技术员、助理工程师对应的人才培养计划4.
3.
1大数据技术知识4.
3.
2技术教学知识职业编码:2-02-10-11124.
3.
2能制作培训资源4.
3.
3能使用培训材料开展对技术员、助理工程师的专业能力培训5.
大数据处理与应用5.
1数据采集5.
1.
1能根据业务需求进行在线、离线数据采集,并配置数据缓存及消息队列5.
1.
2能根据业务需求参与制定数据迁移方案5.
1.
3能制定调度策略5.
1.
4能根据业务特性,制定数据存储策略5.
1.
1信息系统配置知识5.
1.
2数据监测与迁移知识5.
1.
3数据存储策略知识5.
2数据建模5.
2.
1能根据数据建模规范设计数据模型5.
2.
2能根据存储系统选型编写并优化数据模型实现脚本5.
2.
3能根据业务需求对数据模型进行优化5.
2.
1数据仓库知识5.
2.
2层次建模知识5.
2.
3维度建模知识5.
2.
4读写性能知识5.
3数据预处理5.
3.
1能根据数据质量要求制定数据清洗策略及评估方案5.
3.
2能根据业务要求制定数据整合方案5.
3.
3能根据业务需求及性能要求设计数据结构及格式调整方案5.
3.
4能根据归一性需求制定数据规约方案5.
3.
5能根据业务需求编写自定义数据预处理函数5.
3.
1信息技术文档编制知识5.
3.
2数据序列化知识5.
3.
3数据压缩知识5.
4数据计算5.
4.
1能根据业务需求编写批量、实时数据计算作业并优化作业参数5.
4.
2能根据业务规则设计相应标签库并进行标签管理5.
4.
3能根据业务规则设计相应数据指标计算算法5.
4.
1常用算法与数据结构知识5.
4.
2数据画像知识5.
4.
3数据倾斜知识5.
5数据查询5.
5.
1能使用大规模并行分析数据库优化联机事务分析系统性能5.
5.
2能使用计算引擎优化数据查询效率5.
5.
3能通过计算平台构建检索分析系统5.
5.
1大规模并行分析数据库知识5.
5.
2数据立方知识5.
5.
3查询引擎知识5.
5.
4数据分词知识6.
大数据分析与挖掘6.
1数据预处理6.
1.
1能根据数据质量要求制定数据清洗策略及评估方案6.
1.
2能根据业务要求制定数据整合方案6.
1.
3能根据业务需求及性能要求6.
1.
1数据格式线性变换知识6.
1.
2数据清洗需求分析方法6.
1.
3数据清洗方案设职业编码:2-02-10-1113设计数据结构及格式调整方案6.
1.
4能根据归一性需求制定数据规约方案6.
1.
5能根据业务需求编写自定义数据预处理函数6.
1.
6能根据数据特征及规律,制定数据采样方案计知识6.
2数据分析6.
2.
1能根据分析需求进行数据准备6.
2.
2能根据业务需求构建合适的分析模型6.
2.
3能使用合适的算法实现分析模型并对拟合结果进行优化6.
2.
4能分析数据的主成分及因子等相关特征,重构数据内容6.
2.
5能针对数据结果进行归纳并输出分析报告6.
2.
1多元统计分析知识6.
2.
2判别分析知识6.
2.
3聚类分析知识6.
2.
4主成分分析知识6.
2.
5因子分析知识6.
2.
6时间序列分析知识6.
3数据挖掘6.
3.
1能评估挖掘需求并选择合适方法对数据进行特征工程处理6.
3.
2能使用算法库及工具创建数据挖掘模型并进行模型训练6.
3.
3能选择合适评价指标对模型进行验证及调优6.
3.
4能选择合适评价指标对模型进行测试并输出最终模型的性能评估报告6.
3.
5能使用编程语言对模型进行部署和重构6.
3.
1模型训练知识6.
3.
2模型测试知识6.
3.
3模型部署知识6.
4数据可视化6.
4.
1能根据业务需求及分析结果,制定数据展示方案6.
4.
2能设计数据可视化实现方式6.
4.
3能与产品、运营人员合作美化数据报表及数据展示页面6.
4.
4能开发并优化数据可视化组件库6.
4.
5能对数据可视化结果进行业务分析并输出分析报告6.
4.
1数据可视化设计知识6.
4.
2可视化组件库开发知识7.
大数据管理7.
1数据管理7.
1.
1能制定数据标准管理制度,通过制度约束、系统控制等手段,提高平台治理水平7.
1.
2能制定数据质量管理规范,确保平台数据质量符合规范7.
1.
3能制定数据生命周期管理规范、数据血缘关系管理规范7.
1.
1数据标准管理知识7.
1.
2数据质量管理知识7.
1.
3数据生命周期管理知识7.
1.
4数据安全知识职业编码:2-02-10-11147.
1.
4能制定安全审计要求,确保数据活动过程和相关操作符合安全要求7.
2数据管理评估7.
2.
1能独立开展DCMM调研访谈,收集、解读评估材料7.
2.
2能运用评估表等工具进行DCMM评估7.
2.
3能分析企业数据管理现状,识别数据管理问题及改进项,给出数据管理能力成熟度等级建议7.
2.
1DCMM评估方法7.
2.
2数据治理知识职业编码:2-02-10-11153.
3高级职业功能工作内容专业能力要求相关知识要求1.
大数据应用开发1.
1大数据组件技术研发1.
1.
1能根据相关论文、材料实现存储、计算功能的分布式并行算法1.
1.
2能根据算法构造存储、读写或处理工具的海量数据计算引擎1.
1.
3能根据应用需求开发基于计算引擎的算子、函数或方法1.
1.
4能根据算子、函数或方法,构造队列或流程,实现计算作业功能1.
1.
1分布式算法1.
1.
2计算引擎开发知识1.
2应用服务开发1.
2.
1能根据系统架构,规划各项组件接口规范1.
2.
2能根据业务功能,设计接口权限及参数规范1.
2.
3能对整体系统进行数据打通方案设计1.
2.
4能对整体系统进行库表结构设计及优化1.
2.
5能对整体系统的数据传输、缓存、推送设计方案1.
2.
1软件应用接口开发知识1.
2.
2数据通信知识1.
2.
3数据缓存知识1.
2.
4消息中间件知识1.
3系统测试1.
3.
1能根据产品说明文档,规划系统测试计划1.
3.
2能根据测试计划,协调人力、设备等测试资源1.
3.
3能根据测试需求,编制测试脚本1.
3.
4能根据性能需求,进行系统深度性能优化测试1.
3.
1自动化测试脚本技术1.
3.
2测试工具开发方法2.
大数据系统搭建2.
1硬件系统搭建2.
1.
1能根据安全施工规范,整体规划硬件设施安全方案2.
1.
2能根据应用需求,规划网络配置实施方案2.
1.
3能根据产品特性,制定统一施工标准2.
1.
4能根据系统部署方案,与产品开发部门整体规划硬件承载、配置及扩展方案2.
1.
5能根据不同硬件设施,制定故障处理规范及流程2.
1.
1安全施工规范2.
1.
2硬件产品知识2.
1.
3故障管理知识2.
2软件系统部署2.
2.
1能根据权限安全规范,制定软件权限安全方案2.
2.
2能根据系统组件关系,配置组件使用权限2.
2.
1权限安全规范2.
2.
2软件产品交付知识2.
2.
3联邦集群知识职业编码:2-02-10-11162.
2.
3能根据产品特性,制定部署及升级策略2.
2.
4能根据集群组件特性,制定高可用及容灾策略2.
2.
5能根据调试结果,制定部署优化方案2.
2.
4异地多活知识3.
大数据平台管理与运维3.
1平台管理3.
1.
1能评估应用变更风险,发布应用变更计划,管控变更流程,总结变更报告3.
1.
2能根据软件部署方式,制定各类组件应用变更或版本更迭方案3.
1.
3能制定代码管理规范并配置代码仓库管理系统3.
1.
4能制定各部门平台功能使用权限规范3.
1.
1风险管理知识3.
1.
2应用变更知识3.
1.
3代码管理知识3.
1.
4权限管理知识3.
2系统运维3.
2.
1能规划监控指标,制定监控管理规范3.
2.
2能开发监控脚本3.
2.
3能对系统性能进行调优3.
2.
4能使用数据挖掘方法挖掘潜在故障3.
2.
5能对故障事故进行复盘,编写故障预防规范3.
2.
6能定期组织容灾备份演练3.
2.
1性能指标知识3.
2.
2负载均衡知识3.
2.
3故障分析方法3.
2.
4容灾备份知识3.
3安全维护3.
3.
1能根据安全规范制定风险预警等级3.
3.
2能明确安全需求,审核并制定权限管理规范和数据分类分级3.
3.
3能制定应急管理策略并定期组织安全演练3.
3.
4能根据漏洞测试报告和突发事件应对策略,评估系统潜在风险3.
3.
5能构建系统安全机制并完成对安全系统的开发工作3.
3.
1安全规范知识3.
3.
2应急管理知识4.
大数据技术服务4.
1技术咨询4.
1.
1能建立目标市场分析模型,分析行业需求4.
1.
2能整体输出产品解决方案4.
1.
3能独立解决客户技术咨询难题,并提供技术解决方案4.
1.
4能参与项目架构设计与产品设计,并提出建设性意见4.
1.
1大数据架构分析知识4.
1.
2大数据产品设计知识职业编码:2-02-10-11174.
2解决方案设计4.
2.
1能根据产品功能设计和技术架构,输出产品的配套文档,并根据项目需求针对性设计项目解决方案4.
2.
2能与业务部门合作引导和挖掘客户需求,并输出解决方案4.
2.
3能挖掘行业普遍需求,提炼产品价值特征,整理竞品分析报告4.
2.
4能主动分析与挖掘市场情况,对市场策略制定提出建议4.
2.
1项目管理方法4.
2.
2需求分析技术4.
3指导与培训4.
3.
1能结合技术发展方向,调研大数据先进技术并进行技术团队建设4.
3.
2能分析现有大数据产品技术体系及可优化方向,并向技术团队培训4.
3.
3能整理大数据产品操作手册,并指导技术或非技术人员产品使用方法4.
3.
1技术调研方法4.
3.
2团队组建知识4.
3.
3产品操作手册制作方法4.
4流程优化与管理4.
4.
1能建立业务需求收集业务指标数据,并根据实际数据建立业务分析模型4.
4.
2能根据数据分析情况指导业务开展及流程优化4.
4.
3能管理不同业务部门的开发生产活动4.
4.
1流程优化知识4.
4.
2运营管理知识5.
大数据处理与应用5.
1数据采集5.
1.
1能根据业务场景制定数据采集策略并监控采集情况5.
1.
2能根据业务场景制定数据迁移策略并监测迁移情况5.
1.
3能根据业务及性能需求设计消息传输及推送方案5.
1.
4能根据业务需求及依赖关系设计调度方案5.
1.
5能根据业务需求及存储应用设计存储策略5.
1.
1数据采集与迁移策略5.
1.
2依赖调度原理知识5.
1.
3存储架构知识5.
2数据建模5.
2.
1能制定数据建模流程规范5.
2.
2能根据业务需求,对模型进行优化5.
2.
3能跨团队部门协作,系统性分析并解决各类数据平台相关的运行或数据问题5.
2.
4能根据设计方法,构建面向服务或数据的数据建模体系架构5.
2.
1数据平台设计知识5.
2.
2数据建模知识5.
2.
3SOA/DOA体系结构知识职业编码:2-02-10-11185.
3数据预处理5.
3.
1能根据质量要求,制定数据清洗流程规范5.
3.
2能根据数据处理需求,制定统一数据预处理方案5.
3.
3能根据作业存在风险,制定预处理异常处理机制5.
3.
4能根据系统特性,优化预处理系统性能指标5.
3.
1数据清洗流程规范5.
3.
2语法树解析知识5.
4数据计算5.
4.
1能根据业务需求设计离线或实时数据计算算法5.
4.
2能制定数据标签库管理及规范5.
4.
3能制定数据计算开发流程及规范5.
4.
4能根据业务规则对关系对象进行图计算5.
4.
1数据算法设计方法5.
4.
2数据分区及缓存知识5.
4.
3外部程序管道知识5.
4.
4图计算知识5.
5数据查询5.
5.
1能制定数据查询操作流程及规范5.
5.
2能深入计算引擎对底层代码进行优化以提升查询性能5.
5.
3能制定对外数据接口规范及权限5.
5.
1计算引擎优化知识5.
5.
2索引优化知识5.
5.
3驱动器与执行器知识6.
大数据分析与挖掘6.
1数据分析6.
1.
1能结合理论和业务实际,进行大数据分析相关算法研究6.
1.
2能针对研究结果设计分析算法并指导算法模型实现6.
1.
3能针对现有算法提出新的改进和优化方法,建立新的分析体系6.
1.
1大数据分析算法6.
1.
2综合评价方法知识6.
2数据挖掘6.
2.
1能根据理论研究及数学原理,构建并行挖掘算法6.
2.
2能根据挖掘性能及业务特征,优化挖掘算法6.
2.
3能根据业务特性,制定合适的挖掘模型评价指标6.
2.
4能对挖掘模型使用的多源异构数据源进行适配6.
2.
1大数据挖掘算法6.
2.
2机器学习知识6.
2.
3语义分析知识6.
3数据可视化6.
3.
1能根据业务分析需求及分析结果,指导数据展示方案制定6.
3.
2能研发并设计前端图表展示功能代码6.
3.
3能完成可视化组件开发、封装及优化6.
3.
4能对数据可视化结果进行业务分析并输出分析报告6.
3.
1前端展示需求分析方法6.
3.
2前端优化技术职业编码:2-02-10-11197.
大数据管理7.
1数据规划7.
1.
1能结合企业发展目标制定数据战略7.
1.
2能根据主流的企业架构框架设计大数据框架7.
1.
3能定制企业级数据管理解决方案,制定技术路线和标准规范7.
1.
4能推动企业实施数据管理7.
1.
5能定制定元模型标准7.
1.
6能制定数据资产管理规则,注册入库数据资产信息,并进行数据资产维护7.
1.
1整体规划知识7.
1.
2经营管理知识7.
1.
3产品优化知识7.
1.
4系统架构知识7.
1.
5数据资产管理知识7.
2数据管理评估7.
2.
1能编写、分析DCMM评估报告7.
2.
2能解读DCMM模型并组织现场评估7.
2.
3能建立企业数据管理组织和制度7.
2.
4能指导企业实施DCMM改进7.
2.
1DCMM评估报告的结构和内容7.
2.
2企业业务流程优化和再造知识7.
2.
3成熟度模型改进知识职业编码:2-02-10-11204权重表4.
1理论知识权重表专业技术等级项目初级(%)中级(%)高级(%)大数据处理方向大数据分析方向大数据管理方向大数据处理方向大数据分析方向大数据管理方向基本要求职业道德5555555基础知识20202515152510相关知识要求大数据应用开发---1515-15大数据系统搭建2020-1515-10大数据平台管理与运维20202520202010大数据技术服务10102010102015大数据处理与应用25--20--10大数据分析与挖掘-25--20-15大数据管理--25--3010合计1001001001001001001004.
2专业能力要求权重表专业技术等级项目初级(%)中级(%)高级(%)大数据处理方向大数据分析方向大数据管理方向大数据处理方向大数据分析方向大数据管理方向专业技术要求大数据应用开发---1515-15大数据系统搭建3030-1515-10大数据平台管理与运维20202025252020大数据技术服务10102015152020大数据处理与应用40--30--10大数据分析与挖掘-40--30-15大数据管理--60--6010合计100100100100100100100职业编码:2-02-10-1121附录——参考文献[1]GB/T35589-2017《信息技术大数据技术参考模型》相关知识[2]GB/T35295-2017《信息技术大数据术语》相关知识[3]GB/T38673-2020《信息技术大数据大数据系统基本要求》相关知识[4]GB/T37721-2019《信息技术大数据分析系统功能要求》相关知识[5]GB/T37722-2019《信息技术大数据存储与处理系统功能要求》相关知识[6]GB/T36073-2018《数据管理能力成熟度评估模型》相关知识