数据友情链接查询

智慧城市运营中心(IOC)中心库模块项目建议书深圳市广通软件有限公司对本文件资料享受著作权及其它专属权利,未经书面许可,不得将该等文件资料(其全部或任何部分)披露予任何第三方,或进行修改后使用.
二〇一九年四月目录1.
项目概况41.
1.
编制单位41.
2.
项目背景41.
3.
建设目标51.
4.
建设内容61.
5.
建设依据71.
6.
建设原则82.
需求分析92.
1.
数据采集汇聚平台及归集库需求92.
1.
1.
多源接入92.
1.
2.
统一归集102.
1.
3.
统一调度102.
1.
4.
多租户管理112.
1.
5.
归集库建设112.
2.
数据治理管控平台及中心库112.
2.
1.
实行数据资源登记112.
2.
2.
提升数据资源质量122.
2.
3.
具备城市大数据治理能力,整合各业务系统的"烟囱"数据122.
2.
4.
构建数据服务能力122.
2.
5.
端到端治理能力及可视化132.
2.
6.
中心库建设132.
2.
7.
平台虚拟化143.
总体设计方案143.
1.
总体架构143.
2.
高性能设计173.
2.
1.
总体架构的高性能设计173.
2.
2.
应用服务器的高性能设计183.
2.
3.
数据库的高性能设计193.
2.
4.
多级缓存与静态化203.
3.
关键技术路线213.
3.
1.
B/S结构213.
3.
2.
基于Hadoop的大数据平台框架233.
3.
3.
基于JavaEE开发243.
3.
4.
基于SOA架构思想的共享服务模式253.
3.
5.
采用XML格式作为消息传递标准263.
3.
6.
基于XML的信息交换323.
3.
7.
基于REST架构343.
3.
8.
基于云服务架构344.
各子系统建设方案354.
1数据采集汇聚平台建设354.
1.
1.
概述354.
1.
2.
系统功能354.
2数据填报系统建设774.
2.
1.
概述774.
2.
2.
系统功能774.
3数据治理管控平台建设794.
3.
1.
概述794.
3.
2.
系统功能794.
4.
综合集成门户建设934.
4.
1.
建设目标934.
4.
2.
平台功能944.
5.
运行管理平台建设1064.
5.
1.
监控平台1064.
5.
2.
运维平台1104.
5.
3.
数学模型建模系统1154.
5.
4.
定制化服务系统1184.
6信息安全与支撑平台建设1214.
6.
1信息安全1214.
6.
2支撑平台134项目概况编制单位编制单位:深圳市广通软件有限公司项目背景华为一直致力于为各级城市提供智慧城市整体解决方案,打造智慧城市神经系统,包括智慧城市中央神经系统与周围神经系统,构建智慧城市数字平台.
基于标准化、模块化架构,协同业界伙伴构建智慧城市数字平台,是华为智慧城市解决方案的核心竞争力.

数据归集和中心库数据治理是打造智慧城市中央神经系统--智慧城市运营中心(IOC)方案的最关键一环,智慧城市运营中心南向整合城市政府各委办局业务系统过来的数据,北向直接支撑智慧城市大数据分析各专题库、指标库等构建,是整体架构承上启下的关键层.

华为智慧城市业务团队结合多个成功项目积累的客户需求与经验,设计了智慧城市运营中心解决方案架构,制定了中心库模块建设需求,邀请深圳市广通软件有限公司参与智慧城市运营中心(IOC)中心库模块产品和服务框招,华为将与深圳市广通软件有限公司携手共同构建可销售、可复制、可交付的智慧城市运营中心中心库,达成市场销售目标.

深圳市广通软件有限公司是一家以软件开发、系统集成和技术服务为核心,提供行业应用软件、通用及个人软件、电子商务、网络应用集成、电信及有线电视系统集成和信息服务的国家高新技术企业.
目前已在深圳、武汉、沈阳三地建立了研发中心,并在全国十几个主要城市设立了分公司及分子机构.

公司目前已具备计算机信息系统集成三级资质、ISO9000质量管理体系认证、ISO27001信息安全管理体系认证、涉及国家秘密的计算机信息系统集成乙级资质、CMMI3认证等多项资质.
公司已与华为达成战略合作伙伴关系,共同提出智慧城市联合解决方案,并长期与华为合作,就共享交换平台、基础库平台等一系列产品与华为进行了多个实际项目合作,且高质量的完成了产品和服务交付.
在智慧城市运营中心(IOC)领域,公司也与华为在江苏盛泽、山东临沂、山东城阳、贵州贵阳等项目展开了合作,公司在这些项目中将继续提供高质量的产品和服务,顺利完成交付.
依托实际项目经验及在中心库模块产品能力和服务能力,我司积极参与本次华为智慧城市运营中心(IOC)中心库模块产品及服务解决方案框招,给出具体的方案建议.

建设目标基于华为在IOC数据归集、数据治理与中心库建设产品需求构建智慧城市中心库.
具体目标如下:建设数据采集汇聚平台及归集库建设数据治理管控平台及中心库为客户提供数据归集汇聚、数据治理实施等产品服务建设内容基于华为在IOC数据归集、数据治理与中心库建设产品需求构建智慧城市中心库.
具体建设内容如下:建设数据采集汇聚平台及归集库数据采集汇聚需要将政务数据、行业数据、互联网数据和其他等各类不同来源、不同类型的数据资源采集并存储到统一的大数据平台中形成归集库,为数据分析挖掘和数据共享提供基础资源.
2、建设数据治理管控平台及中心库数据治理主要实现数据采集之后的数据集成、数据质量、数据开发和数据服务,将零散的数据通过治理开发形成统一的数据资源.
大数据治理实现从小数据共享交换到多源异构大数据汇聚的跨界融合问题,保障数据质量和数据安全,确保数据资源在授权范围内"可见、可得、可用、可溯源、可审计".
通过治理管控平台的作用,产生中心库,作为各个业务应用的数据来源.

3、为客户提供数据归集汇聚、数据治理实施等产品服务依据华为中心库设计规范和服务相关要求,基于华为云平台和大数据平台FusionInsight提供产品部署、数据归集汇聚、数据治理等服务,实现对各类城市数据从归集、存储、治理、分析与应用的全过程端到端实时监控、管理、审计、质量控制,形成归集库和中心库,为IOC上层应用提供数据支撑.

建设依据《关于印发〈国家电子政务总体框架〉的通知》(国信〔2006〕2号)《国务院办公厅关于印发"互联网+政务服务"技术体系建设指南的通知》国办函〔2016〕108号《国家电子政务工程建设项目管理暂行办法》;《中国云科技发展"十二五"专项规划》;;《国家行政机关公文处理办法》(国发[2000]23号);《基于XML的电子公文格式规范》;(GB/T19667.
2-2005)《政务信息资源目录体系国家标准》;(GBT_21063.
5-2007)《政务信息资源交换体系国家标准》;(GB/T21063.
1-.
4-2007)《电子文件归档与管理规范》(GB/T18894-2002)《计算机信息系统安全保护等级划分准则》(GB17859-1999〕《信息安全技术信息系统安全等级保护基本要求》(GB/T22239-2008)以上所有规程、规范以实施的最新版本为准.
建设原则依据"统一规划、统一标准、统一设计、数据共享"等设计原则,综合考虑基础数据、业务数据等各类数据的存储与管理要求,实现对现有数据资源的分类、梳理和归并,进而形成可以共享使用的标准化、规范化信息,同时提供对结构化和非结构化数据查询、统计、分析功能,为各类管理提供数据支撑和技术保障.

本项目设计遵循以下原则:数据的一致性与标准性:除遵循数据库设计的软件行业标准外,还要遵循国家、地方标准及行业的习惯性事实标准.
此外,设计将充分考虑已建系统的数据,确保与现有数据的一致性和标准性.
数据的实用性与完整性:设计需充分考虑实际情况和应用特点,遵循"先进性与实用性并重"的原则,保证数据的实用性.
通过约束条件控制,检验进入数据库中的数据值,防止数据重复冗余,确保数据的完整性.

数据的独立性和可扩展性:设计时需要做到数据具有独立性,独立于应用程序,使设计及结构的变化不影响程序,反之亦然.
另外,数据库设计要考虑其扩展性能,使得系统增加新应用或新需求时,不至于引起整个中心结构的大变动.

数据的安全性:通过设计合理和有效的备份和恢复策略,确保遭遇突发事故时,能在最短的时间内恢复.
同时,通过做好对数据的访问授权设计,保证数据不被非法访问.
数据分级管理机制:根据系统访问角色,将用户分成决策分析用户、系统管理用户、运行浏览用户和运行调度用户等几个角色,分别赋予角色访问数据的权限和使用系统功能的权限,严格控制角色登录,实现数据的分级管理.

需求分析数据采集汇聚平台及归集库需求数据采集汇聚需要将政务数据、行业数据、互联网数据和其他等各类不同来源、不同类型的数据资源采集并存储到统一的大数据平台中,为数据分析挖掘和数据共享提供基础资源,要求满足如下需求:多源接入将海量结构化和非结构化数据,根据不同的数据类型和应用需求,采集到大数据平台中;数据接入类型包括但不限于GIS数据、城市数据、规划数据、物联网传感器数据、视频数据、专项应用数据、日志数据、认证信息、档案信息等.
系统必须支持的数据源包含但不限于如下类型:序号数据源实时类别数据源数据结构1实时数据流数据(事件流、消息流等)2准实时数据结构化数据(Oracle、MySql等数据库)非结构化数据(文件,包含PDF、Excel、CSV、txt、xml等)3离线数据结构化数据(Oracle、MySql等数据库)非结构化数据(文件(PDF、Excel、CSV)统一归集完成数据统一归集,需要具备能力包括业务系统数据接入能力、批量文件接入能力、准实时数据接入能力、实时消息接入能力.
统一归集需要做到统一归集库表管理、归集连接管理、归集任务管理、归集作业管理、归集流程监控以及归集数据写入等功能.
并在其基础上形成统一的归集库.

统一调度平台对数据接入需要能够进行统一调度,统一分配资源,统一的数据接入过程的展现、监控等管理功能.
提供可视化的工作流设计功能,有效整合大数据中心的作业任务,基于作业的依赖关系,组织成有序的作业链,灵活定义作业调度策略,实现数据采集汇聚整体数据生产线任务的自动化处理.

多租户管理平台需要支持基于多租户的统一接入、统一归集、统一调度管理,适用不同组织在进行数据采集汇聚时的安全.
归集库建设数据采集汇聚平台采集政务数据、行业数据、互联网数据和其他等各类不同来源、不同类型的数据资源采集并存储到统一的大数据平台中形成归集库,为数据分析挖掘和数据共享提供基础资源.
提供归集库建库管理及相关服务功能.

数据治理管控平台及中心库进入大数据时代,传统数据管理迫切需要升级到大数据治理.
大数据治理主要实现数据采集之后的数据集成、数据质量、数据开发和数据服务,将零散的数据通过治理开发形成统一的数据资源.
大数据治理实现从小数据共享交换到多源异构大数据汇聚的跨界融合问题,保障数据质量和数据安全,确保数据资源在授权范围内"可见、可得、可用、可溯源、可审计".
数据治理平台需满足以下需求:实行数据资源登记从各部门归集的数据集中存储于市大数据平台,部门拥有本部门归集数据采集权和使用权,负责相应的数据资源梳理和编目工作,按照应用数据资源和实有数据资源相互对照的原则,与"权力清单"进行比对,建立本部门数据资源清单.
各部门向资源中心报送数据资源清单,资源中心按照"一数一源、一源多用"原则进行确权和登记,定期盘点和更新.

提升数据资源质量划分数据源单位和信息资源中心之间的数据质量管理责任,以元数据为核心建立"自动化为主、人工为辅"的数据质量审查机制,确保对数据资源连续利用全过程中的数据质量控制,确保数据资源质量达到"真实、准确、完整、一致、及时".

具备城市大数据治理能力,整合各业务系统的"烟囱"数据并不仅仅是通用的大数据存储计算系统(Hadoop、Spark等),通用大数据存储和计算系统是城市大数据治理平台的一个技术支撑,城市大数据治理平台需要管理围绕城市大数据的各个方面,包括数据获取、数据清洗、数据整合、数据存储、数据建模、数据计算、数据维护、数据运营等.

构建数据服务能力城市大数据治理平台不仅仅是智慧运行中心的核心平台,也可以对整个智慧城市体系的其他业务系统提供数据相关服务,可以作为智慧城市系统架构中的大数据管理和服务部分.
根据智慧运行中心对接各部门信息系统产生的多类数据的特征和数据量,需要有针对性的构建相应的数据接入、处理、存储和分析能力,满足不同类型的数据需求,并可以对未来新增的数据需求做平滑扩展.

端到端治理能力及可视化针对城市大数据平台数据环境建设对应的数据治理与管控体系,主要应用流程调度控制、展现数据血脉关系、稽核过程配置、稽核流程监控、问题处理流程化、质量评估报告设计等技术构建数据治理与管控体系,包括数据集成、元数据管理、数据服务、工作流调度自动化、数据安全、数据服务、数据建模管理等.
实现对各类城市数据从采集、存储、整合与计算、共享与服务、分析与应用的全过程的端到端实时监控、管理、审计、质量控制等管理,保证城市数据的完整性、准确性、一致性、及时性,及早的发现数据的质量缺陷,确保城市大数据的可靠性.

通过"数据模型标准化、数据关系脉络化、数据加工可视化、数据质量度量化、数据服务自动化",全业务流程实时监控,让大数据变得业务化、可视化、易使用、易获得、高质量,促进数据资产的价值创造.

中心库建设通过治理管控平台的作用,产生中心库,作为各个业务应用的数据来源.
中心库建设至少先解决数据统一治理,解决一数一源问题,同时后续逐步统一数据字典.
同时在数据模型上,将不同的委办局来的相同数据实体进行整合.
平台虚拟化数据治理与管控平台支持多租户方式使用,在一个平台上虚拟出若干个平台,每个虚拟化的平台归属一个租户,且对应的租户管理员具有独立的系统资源管理,角色、用户和权限管理.
租户之间的数据对象可相互共享查看或导出.
平台有一个系统超级管理员,系统超级管理员管理各个租户管理员.

1、多用户管理:系统超级管理员创建租户管理员,租户管理员管理已租赁的平台.
2、共享中心:租户平台数据对象在租户间共享.
3、共享管理:共享管理为本租户上的元数据对象共享到其他租户的设置管理.
总体设计方案总体架构智慧城市运营中心(IOC)中心库产品总体框架包括"两大体系、五个层次",以标准规范与管理制度和安全与运维保障体系为运行保障,通过支撑层、数据层、平台层、服务层、应用层五个层次构建整个平台.
总体架构如下图所示(1)支撑层支撑层主要是支撑整个智慧城市运营(IOC)中心库产品运行的各业务子系统,包括信息安全与支撑平台、运行管理平台、综合集成门户、大数据服务支撑平台等.
(2)数据层数据层是本平台的核心部分,在统一的标准规范与质量体系要求的基础上建设,将分布在政务网、互联网、物联网以及各行业的数据资源汇聚形成归集库,同时通过数据治理提取有价值的数据形成中心库.
(3)平台层平台层主要通过数据数据采集汇聚平台、数据填报系统、数据治理管控平台等系统建设,实现信息资源目录梳理、数据模型的构建,数据的采集汇聚、数据的治理管控等,建立信息资源库,提升数据的使用价值.

(4)服务层服务层提供基础数据的获取、比对、订阅服务,并可实现可编排数据服务,对外提供服务接口.
(5)应用层应用层是智慧城市运营中心(IOC)中心库建设应用的领域,为各类城市智慧化应用,如:态势感知、运行监测、决策分析、事务协同、应急事务联动指挥等提供基础数据支撑.
(6)业务标准与规范体系智慧城市运营中心(IOC)中心库建设和运行遵循统一的标准规范体系,它是平台各系统得以顺利建设和正常运行的基本保障.
标准规范体系的建设包括制定业务标准规范、技术标准规范、管理标准规范、数据标准规范等.

(7)安全与运维保障体系安全与运维保障体系贯穿于智慧城市运营中心(IOC)中心库建设的各个层面,平台各系统的建设都必须釆取相应的安全保障措施,保证平台安全可靠运行.
高性能设计总体架构的高性能设计1、可采用2台商用的硬件(如F5)实现四层负载均衡,也可采用软件方式实现四层或七层负载均衡.
但不管采用硬件或软件的,都要基于心跳机制实现主、备的负载均衡服务以防止单点故障.
2、关系数据库集群通常基于ORACLERAC实现ORACLE数据库的集群,基于MysqlCluster实现MySql数据库的集群,本项目支持使用华为Paas平台提供的关系数据库集群.
3、基于MapReduce原理实现并行计算框架构,基于GoogleGFS原理实现分布式文件系统.
4、构建多级缓存机制,在应用服务器端可缓存常用的、小容量数据,公用数据可缓存在集中服务器(主、备方式)由各应用服务器统一使用,当缓存的数据量非常大时可建立分布式缓存集群.
应用服务器的高性能设计应用服务器集群使用2台Web服务器(主、备方式)做负载均衡,分发客户端访问请求至后端的应用服务器集群.
应用服务器集群需解决会话(SESSION)共享问题.
可通过应用服务器本身提供的会话复制机制来实现会话共享问题,或是采用粘性(Sticky)会话模式,即同一个用户的访问请求都被派送到同一台服务器.
另外一种方式是使用独立的服务器来存储所有访问涉及到的会话,应用服务器统一从这里读取会话数据.

系统拆分单个应用系统变得越来越来越庞大,业务越来越复杂,随着数据量和并发量的不断提升,最终会导致简单的使用集群也不能解决性能问题.
因此需按照业务功能,将应用系统拆分成更小的应用系统,再将这些更小的应用系统在应用服务器集群中部署和运行.

数据库的高性能设计读写分离让主数据库(写库)处理事务性增、删、改操作,而从库(读库)只处理查询操作,把事务性操作导致的变更从主数据库同步到从数据库中.
对于读远远大于写操作的应用来说,采用读写分离,再结合缓存的模式,会大大提高应用性能的性能.

数据库拆分把一个数据库切分成多个部分放到不同的数据库,从而缓解单一数据库的性能问题.
对于表多数据也多的业务型数据库可以采取垂直切分,将关系紧密的表的表切分出来放在一个数据库中.
但如果是一些表少数据多的主题库或共享库,则可以采取水平切分,即把表的数据按某种规则(比如按日期或ID散列)切分到多个数据库.
也可综合使用垂直和水平切分,从而将原有数据库切分成类似矩陈列一样可以无限扩充的数据库.

多级缓存与静态化多级缓存将应用系统经常要使用的数据或对象缓存在内存中,但下次需要使用时,可以不必从数据库中读取数据或重新创建对象.
减少系统开销,提高系统效率.
构建多级缓存机制,在应用服务器端可缓存常用的、小容量数据,公用数据可缓存在集中服务器(主、备方式)由各应用服务器统一使用,当缓存的数据量非常大时可建立分布式缓存集群.
根据规则将缓存存储到不同的集群中.
同一个集群中的每台缓存服务器数据保存同步,防止单点故障.
动态页面静态化效率最高、消耗最小的就是纯静态化的HTML页面,所以我们要采用技术手段使WEB应用的动态页面静态化.
关键技术路线B/S结构B/S(Browser/Server)结构即浏览器和服务器结构.
它是随着Internet技术的兴起,对C/S结构的一种变化或者改进的结构.
在这种结构下,用户工作界面是通过WWW浏览器来实现,极少部分事务逻辑在前端(Browser)实现,但是主要事务逻辑在服务器端(Server)实现,形成所谓三层3-tier结构.
这样就大大简化了客户端电脑载荷,减轻了系统维护与升级的成本和工作量,降低了用户的总体成本(TCO).
以目前的技术看,局域网建立B/S结构的网络应用,并通过Internet/Intranet模式下数据库应用,相对易于把握、成本也是较低的.
它是一次性到位的开发,能实现不同的人员,从不同的地点,以不同的接入方式(比如LAN,WAN,Internet/Intranet等)访问和操作共同的数据库;它能有效地保护数据平台和管理访问权限,服务器数据库也很安全.
特别是在JAVA这样的跨平台语言出现之后,B/S架构管理软件更是方便、快捷、高效.
B/S模式管理信息系统基本上克服了CS模式管理信息系统的不足,其主要表现在:1、系统开发、维护和升级的经济性对于大型的管理信息系统,软件开发、维护与升级的费用是非常高的,B/S模式所具有的框架结构可以大大节省平台开发建设费用,同时,B/S模式对前台客户机的要求并不高,可以避免盲目进行硬件升级造成的巨大浪费.
2、B/S模式提供了一致的用户界面B/S模式的应用软件都是基于Web浏览器的,这些浏览器的界面都很相似.
对于无用户交互功能的页面,用户接触的界面都是一致的,从而可以降低软件的培训费用.
3、B/S模式具有很强的开放性,在B/S模式下,外部的用户亦可通过通用的浏览器进行访问.
4、B/S模式的结构易于扩展由于Web的平台无关性,BS模式结构可以任意扩展,可以从一台服务器、几个用户的工作组级扩展成为拥有成千上万用户的大型系统.
5、B/S模式具有更强的信息系统集成性在B/S模式下,集成了解决企事业单位各种问题的服务,而非零散的单一功能的多系统模式,因而它能提供更高的工作效率.
B/S模式提供灵活的信息交流和信息发布服务,B/S模式借助Internet强大的信息发布与信息传送能力可以有效地解决企业内部的大量不规则的信息交流.
B/S模式整体架构图:(图:B/S模式整体架构图)基于Hadoop的大数据平台框架结合当前国内外主流大数据平台软件均能够满足海量存储、快速计算、可视化运维等通用性需求的现实情况,大数据服务支撑平台应满足两类需求:一是当前建设的综合性需求,即综合考虑平台的可替代性、与相关业务应用的适配性、规模化承载实践、平台安全支撑能力等因素,满足现阶段应用建设需求;二是长远发展的主流性需求,即要紧密结合当前大数据平台技术飞速发展、尚未形成平台标准的特点,尽可能地使所选择的大数据平台能够保持业界主流和引领地位,满足今后一个时期扩展建设的需求.

同时考虑到未来汇聚的公共数据信息量大、数据类型多种多样,从大规模数据、复杂关联查询、即席查询的需求考虑,基础支撑平台技术选型上要求采用有基于开源社区的Hadoop技术为基础进行搭建,以具备开放融合的数据采集、数据存储、数据分析的服务能力.
支持并兼容业界主流的华为FunsionInsight平台基于JavaEE开发基于目前主流的JavaEE架构,采用三层架构的模式实现.
JavaEE是SUN公司提出的一套企业级JAVA技术应用平台和规范,经过业界多年的使用验证,已经趋于成熟,是一套有效的实用的系统架构平台.
三层架构的实现模式,就是把系统分为表示逻辑层、业务逻辑层、实体数据层三层表现方式,实现系统高内聚、低耦合的目标.
使系统具有扩展性、健壮性、可维护性、可复用性等多种优点.
集中表现在:可移植性:跨操作系统、跨数据库、跨应用服务器;开发人员可以开发运行在支持JavaEE平台的任何系统之上的产品.
不需要额外的付出,其产品就可以运行在多种系统平台上;可扩展性:应用软件的可扩展性、应用系统的可扩展性、物理系统的可扩展性;可移植性组件技术使IT应用独立于供应商,使IT机构不再依赖某一个供应商;安全服务:权限认证、安全日志、数据加密;采用JavaEE平台可以保护政府的投资,因为它是一个工业标准,而不是某个供应商特有的结构;这个分布式计算的标准开发平台保证了所有开发的应用系统都是建立在成熟的平台之上;可重用性:JavaEE的组件技术使系统的可重用性大为提高;运行效率:高并发下的高效率、大数据量下的高效率、批量数据处理的高效率.
基于SOA架构思想的共享服务模式采用面向服务架构(SOA,Service-OrientedArchitecture),松耦合的设计分析方法,完成政务大数据平台的分析与设计,保证系统的灵活性、可扩展性和良好的维护性.
所以系统整体设计需要灵活的适应各业务场景变化及新增需求快速响应及扩展、设计以业务角色驱动的系统模型、提供给不同工作岗位、相同岗位不同工作内容的人员的个性化服务需求.

采用XML格式作为消息传递标准XML(extensiblemarkuplanguage扩展标记语言)是由SGML(standardgeneralizedmarkuplanguage)对应internet的需求定义的一种通用文档语言,它的提出主要是解决那些在HTML中无法完成的应用,主要包括以下四类:需要WEB客户在两个或多个异种数据库间操作的应用.
由WEB客户分担相当比例的WEB服务器处理任务的应用.
需要向WEB客户呈现同一数据对不同用户的不同显示的应用.
智能WEB代理试图使发现的信息和个人用户的需求相符合.
XML主要有三个元素:DTD(documenttypedefinition)或XMLschema(XML模式)、XSL(extensiblestylesheetlanguage可扩展样式语言)和XLINK(extensiblelinklanguage可扩展链接语言).
DTD和XML模式规定了XML文件的逻辑结构,定义了XML文件中的元素、元素的属性以及元素和元素属性之间的关系;namespace(域名)实现统一的XML文档数据表示以及数据的相互集成;XSL是用于规定XML文档呈现样式的语言,它使得数据与其表现形式相互独立;而XLINK将进一步扩展WEB上已有的简单链接.
XML实际上是一种元语言,可以用来创建其它语言,这些语言可以描述数据结构:以围绕它们的标记符及其属性描述的数据元素的层次结构.
因为XML数据有这种"自描述的"特性,它比传统的以行和列为格式的数据容易理解,因而比较容易开发、维护和共享.
XML还提供在应用程序和系统之间传输结构化数据的方法.
像客户信息、信息查询这类数据能够转换成XML并在应用程序间共享,而无需改变原来遗留下来的系统.
这个优点非常适合将来系统信息共享和综合利用的需求.
XML词汇,也称数据格式,是标准的用于特殊的应用程序或工业的元素集合.
该词汇是能够使应用程序和商业合作伙伴之间产生互操作性的公用语言.
公用数据字典相当于XML词汇的工作,为了对词汇进行统一管理,因此引入了数据字典的概念,数据字典是XML词汇的数据库表示,XML词汇是公用数据字典在WEB中的具体表现.
XSLT是XSL的一部分,是一种用来进行XML文档间相互转换的语言,通过XSLT,可实现异构系统、异构数据库间的信息转换和沟通.
XML是一种可以对信息进行自我描述的语言.
它允许定义一套符合自己需载体.
标记用于界定内容.
XML语法允许自行定义任意复杂的标记结构.
XML使用普通的文本,而不是二进制的数据格式,因此具有跨系统的优点.
XML的优点在于:规范、简单.
XML文档有一套严谨而简洁的语法结构.
这为XML解析器获取文档所含信息提供了前提.
可扩展性.
应用者可以按照需求定义自己的标记,而不像html一样其标记都是预先定义的.
自描述性.
自描述性使其非常适用于不同应用间的数据交换,而且这种交换是不以预先规定一组数据结构定义为前提,因此具备很强的开放性.
XML意义在于它可以把所有信息都存在于文档中,采用http的方式传输;而远程的应用程序又可以从中提取需要的信息.
因而,XML为异构数据库系统在Web方式下的应用提供了有利条件.
XML实质上是一种将多个数据库和数据库模型集成为一种统一的数据库视图的方法,它在分布的数据库和应用之间放置一个中间件层,该层与每一个后台的数据库用其自带的接口相连,并将分布的数据库映射为一种统一的虚拟数据库模型,而这种虚拟模型只在中间件中存在.
各应用就可以使用该虚拟数据库去访问需要的信息.
同时,该数据聚合软件也可以通过将相关数据映射和导入实体数据库,进行数据库更新.

这种基于XML的数据集成框架如下图所示:(图:XML数据集成层次示意图)整个集成框架可以分为三个层次:其中最底层为信息抽取层,中间为中介层,最上层为用户接口层.
a)信息抽取层信息抽取层处于系统的最低层,是系统的数据提供者,主要功能是提取和集成分布在多个异构数据源(数据库,知识库及构件库)上的信息.
这一层采用Wrapper(包装器)技术实现将一个从中介层得到的查询,翻译成能在经过封装的数据源上执行的操作,将查询结果抽取并打包到一个XML文档,最后将该文档返回给中介层.
信息抽取层的Wrapper组件由两部分组成:Wrapper生成器和Wrapper实例(简称Wrapper).
如下图所示,一个Wrapper位于中介层和一个数据源的中间,它通常为中介层查询异构信息源集合提供一个公共接口.
每个Wrapper都要为某个特定的数据源制定相应的接口,这个功能是由Wrapper生成器完成的.
(图:Wrapper生成器和Wrapper)Wrapper生成器用于为查询某个确定的站点或站点集合构建Wrapper.
Wrapper的输入是用一种Wrapper规范语言书写的规格说明,包括关于将要为之生成的Wrapper的数据源的元信息,该元信息描述了如何从一个数据源请求服务以及如何抽取和解释从数据源返回的信息.
规格说明还必须能够表达以下内容:数据源接口、数据模型、从用户到数据源本地操作的查询映射、数据源的查询能力.
通常为一个数据源生成一个有效的Wrapper所必须的信息是使用DTD来描述的.
Wrapper生成器的输出是一个可以执行的Wrapper,该Wrapper能够接受由Wrapper规范语言定义的查询.
b)中介层中介层(MediationLayer)的主要功能有两方面:一方面对上接受用户通过DOM客户端API向系统提交的或应用程序发出的查询,将其转换成对XML的查询,并将查询结果返回给用户或应用程序;另一方面对下将XML查询分发给各个包装器,并将查询结果通过DTD说明再转换成XML格式.
c)用户接口层用户接口层(UserInterfaceLayer)在中介层之上,负责将用户的查询命令提交给中介层,获得并解释查询结果树,并将结果显示给用户.
XMLDOM(DocumentObjectModel,文档对象模型)是为合法的格式良好的XML文档设计的一套API(ApplicationProgrammingInterface,应用程序接口),它同时定义了这些文档的逻辑结构,访问及操作方法.
由于数据显示与内容分开,XML定义的数据允许指定不同的显示方式,使数据更合理的表现出来.
本地的数据能够以客户配置,使用者选择或其他标准决定的方式动态的表现出来.
CSS和XSL为数据的显示提供了公布的机制.
在此设计中,XML作为实现跨系统信息交换和提高异构系统之间的互操作性的最佳解决方案的提出,极大地促进了数据交换应用的发展.
而基于XML强大的可扩展性而提出的XML安全服务标准,使我们可以在考虑XML数据信息交换的安全控制问题上,完全采用基于XML标准的体系结构,继承XML的灵活性和可扩展性.
而且,SOA架构中业务请求和应答的描述标准均支持采用XML的格式,如在Web服务体系中的Web服务描述语言(WSDL)、简单对象访问协议(SOAP)等协议标准,均是基于XML数据格式的.
因此在业务接口规范的选择上,我们根据国家《政务信息资源交换体系》标准采用XML格式.
基于XML的信息交换信息交换就是将各类信息进行统一的封装、传输、路由与交换的技术或标准.
信息交换是应用支撑层的基础功能,在此基础上才能实现其它功能(如业务注册与发现、流程控制等).
由于本指南采用XML信息表示方式,所以这里定义的信息交换实际上是指XML信息交换.
信息交换作为一个协议层次(称为信息交换层)单独提出来,是有一定现实意义的.
一方面,各种不同的应用系统需要进行数据交换,如果没有统一的报文封装格式,每个系统需要创建和维护多种报文格式以便与其它应用系统交流;另一方面,底层物理网络的多样性(Internet、GSM、PSTN等),需要有一种统一的机制实现不同网络之间的数据交换,既能屏蔽物理网络协议,又能实现不同物理网络之间的信息融合.
信息交换主要解决下面几个问题:信息的统一封装:只有统一了封装格式,才可能进行统一的交换.
就像邮政信函业务,其前提条件是大家必须按规定格式填写信封.
统一编址问题:统一的地址编码是屏蔽物理网络的内在需求,也是进行统一信息交换的基础.
如何设计一套统一的、简单易用、易扩展、易管理的地址编码体系,是实现信息交换的关键.
信息的可靠传输:信息交换层是为上层应用提供信息交换服务的,所以将信息可靠地传输到目的地址是基本要求.
也就是说,信息交换层必须实现通信中间件(或消息中间件)的功能,而现有的IP/TCP/HTTP协议并没有实现此功能.
信息路由问题:在一个大的信息交换网络中,可能会有许多信息交换节点,当某个信息需要通过多个节点到达目的地时,就出现了路由寻址的问题.
信息交换与传输的效率问题:信息交换关心的是信息的传输与交换,而不是信息本身的含义.
为了实现高速的信息交换,需要将信息的表示与交换分开,同时采用专门的信息交换设备来提高性能.
信息交换应该具有充分的灵活性,可根据实际需要组建多节点交换网络以提高总体交换性能.
另外,信息在传输过程中需要通过压缩来提高传输速度.

信息交换的可管理性问题:提供日志、审计、会话管理、信息交换事务的一致性等.
为了解决上面这些问题,XML信息交换包由包头(信封)和包体(信体)组成,信息交换层只关心包头的内容.
包头依照《电子政务信息资源交换体系国家标准》的消息寻址协议进行定义,用于交换传输子系统的寻址与定位,包体包含其他应用支撑层的信息或应用层各种与具体业务相关的数据.

基于云平台基于REST架构REST描述了一个架构样式的互联系统,如:Web应用程序.
REST约束条件作为一个整体应用时,将生成一个简单、可扩展、有效、安全、可靠的架构.
由于它简便、轻量级以及通过HTTP直接传输数据的特性,RESTfulWeb服务成为基于SOAP服务的一个最有前途的替代方案.
用于web服务和应用程序的多层架构可以实现可重用性、简单性、可扩展性、和组件可响应性的清晰分离.
开发人员可以轻松使用Ajax和RESTfulWeb服务一起创建丰富的界面.
基于云服务架构云服务主要用于支撑显示层、也可以直接让用户调用,并主要有五种技术:REST:通过REST技术,能够非常方便和优雅的将中间层所支撑的部分服务提供给调用者.
多租户:能让一个单独的应用实例可以为多个组织服务,而其保持良好的隔离性和安全性,并且通过这种技术,能有效地降低应用的购置和维护成本.
并行处理:为了处理海量数据,需要利用庞大的集群进行规模巨大的并行处理,Hadoop中的MapReduce是这方面的代表.
应用服务器:在原有的应用服务器基础上为云计算做了一定程度的优化,比如用Tomcat、Jetty应用服务器.
分布式缓存:通过分布式缓存技术,不仅能有效的降低对后台服务器的压力,而其还能加快相应的反应速度,最著名的分布式缓存例子莫过于Memcached.
虚拟化:可以理解为基础设施层的"多租户",因为通过虚拟化技术,能够在一个物理服务器上生成多个虚拟机,并且能在这些虚拟机之间能实现全面的隔离,这样不仅能减低服务器的购置成本,而其还能同时降低服务器的运维成本,成熟的虚拟化技术有VMware的ESX和开源的Xen.

各子系统建设方案数据采集汇聚平台建设概述数据采集汇聚平台提供批量数据采集、实时数据采集、流式数据采集、互联网数据采集、物联网数据采集等多种数据采集模式,将分布在政务网、互联网、物联网以及各行业的数据资源按照统一的标准规范汇聚形成归集库,为构建基础库、主题库、专题库以及各类城市智慧化应用提供基础数据支撑.

系统功能数据采集汇聚管理数据源管理依据数据采集的使用场景进行数据源分类管理,数据源分类主要包括关系型数据库、非关系数据库以及ftp文件服务器等,数据源管理主要是配置数据源的连接信息,提供数据源的连接测试功能.
关系型数据库提供包括但不限于Oracle、mysql、PG、GP、达梦等数据源的增删改查&连接测试的能力,同时能够依据使用场景进行数据源分类管理.
非关系型数据库提供Hive、LibrA、CirroData等的增删改查&连接测试的能力,同时能够依据使用场景进行数据源分类管理.
ftp文件服务器提供FTP数据源的增删改查&连接测试的能力,同时能够依据使用场景进行数据源分类管理.
批量数据采集支持相关数据源批量数据采集支持常见关系统型数据库批量数据采集,如Oracle、MppDB、Mysql数据源的数据到目标存储;支持文件系统的数据库批量数据采集,如:Hadoop、FTP服务器文件数据源的数据到目标存储;支持不同数据同步方式的数据采集全量数据采集,类似于数据迁移或数据复制,它将数据源中的表或视图的数据原封不动的从数据库中抽取出来,并转换成目标存储可以识别的格式;增量数据采集,只采集自上次采集以来数据库中要采集的表中新增或修改的数据.
数据采集任务管理支持按照目录结构实现数据采集任务的管理,提供了便捷的数据检索能力.
实时数据采集消息队列的实时数据采集支持以kafka或其它消息队列作为实时数据源进行实时数据采集,一方面实时采集数据写入oracle、mysql、hdfs、Hive等数据源中;另一方面支持将目标结果重新投递至kafka指定的主题中.

在数据采集任务的步骤中,选择支持kafka消息队列文件系统的输入、输出步骤;系统也支持异构系统之间的数据采集,输入、输出数据源可以分别采用消息队列、文件系统、关系型数据库.
外部数据源WebAPI实时数据采集归集库的数据来源有部分是来源于业务系统,而这部分数据需要通过调用对方接口的方式来获取归集到归集库,或业务系统开发完成后公布了标准接口提供给第三方授权访问.
接口系统支持RESTful、Webservcie、XML/JSON解析等多种数据解析方式.
接口配置接口配置主要用于配置接口的URL地址、接口提供单位、接口传参、接口返回值,接口输出等信息,以便接口启动后通知接口调用引擎通过URL,参数获取到指定返回参数的数据,输入到接口配置的输出对象数据库表中,实现数据归集功能.

定时接口调用定时接口调用主要是控制数据的同步周期.
它可以是一次性的接口调用服务,也支持周期性的接口调用服务.
同步周期主要包括以秒计算间隔、以分钟计算间隔、每天、每周、每月等.
定时接口任务启动后,系统将自动按照周期的任务调度机制定时获取接口返回的数据,输出到接口数据对象(数据表)中,实现数据的入库操作、包括入库oracle、mysql、Hive、HBase、MPP等.

脚本开发与外部数据源进行适配采集数据对于一些特殊的外部数据源,没有提供接口或者非标准规范的接口,系统提供可编程的接口方式,通过编写脚本进行适配采集数据,采集的数据可以给后端消费,实现数据的入库操作、包括入库oracle、mysql、Hive、HBase、MPP等.

支持可视化拖拽流式采集任务开发数据采集系统支持可视化拖拽流式采集任务开发,系统各元素如转换、步骤、节点连接、任务、启停等均提供标准图标,可以拖拽到图形编辑框进行组合、属性定义、任务启动等操作,完成任务的全流程过程.
;步骤节点中提供了列展开、字段转换、事件过滤等算子,可以定义相关属性及编写脚本代码.
流式数据采集流式数据采集应用主要是实现物联网数据库采集.
流式数据通常是高吞吐量的数据,且实时性要求比较高,实现以SparkStreaming为代表的流处理大数据系统,将实时数据通过流处理,逐条加载至高性能内存数据库中,支持通过kafka接入(通常是kafka高可用集群),从kafka将实时流接入到postgreSQL、MySQL、SQLServer等各类关系型数据库以及Hive、Hbase、HDFS等大数据存储,保证实时流数据准确、可靠的存入归集库.

增量数据采集采集自上次采集以来数据库中要采集的表中新增或修改的数据,将业务系统中的变化数据按一定的频率准确地捕获到,不能对业务系统造成太大的压力,影响现有业务.
时间戳增量增量数据采集针对不同的源系统(Oracle、SQLServer,MySQL等)能识别增量数据,通过源表上增加一个时间戳字段,系统中更新修改表数据的时候,同时修改时间戳字段的值.
时间戳增量数据采集,当进行数据抽取时,通过比较上次抽取时间与时间戳字段的值来决定抽取哪些数据.
按一定的周期从源系统中抽取当前周期内产生的增量数据,上一次操作的最终结束时间,作为我下次增量采集的开始时间.

增量数据实时采集:抓取源数据的相关日志到kafka,通过sparkstreaming处理数据,发现变更的记录时直接将该记录同步到目标数据源.
互联网数据采集互联网数据主要通过网络爬虫工具从互联网上采集数据,主要包括但不限于从网媒、报刊(电子版)、新闻客户端(APP)、微博、微信公众号、论坛、博客等互联网数据中提取其中有效的部分用于上层应用进行数据挖掘分析或可视化呈现.

可视化编排调度数据映射数据映射一方面需要需要建立数据源与目标资源之间的指标标识,此标识一般作为主键,是唯一区分源到目标资源之间数据新增与更新的标示,以免数据重复插入;另一方面需要建立数据源指标与目标资源指标之间的映射关系,需设定哪些指标需要更新,哪些指标不需要更新,以便进行数据抽取与转换.

任务管理归集任务是指从各部门数据库采集数据并导入到目标数据库(如:PowerDB、Oracle、SQLServer、MySQL、Postgresql等)的过程.
归集任务目录管理归集任务目录创建,分类管理归集任务.
分类的方式从编目系统同步,即与编目系统保持相同的目录结构树,便于业务人员维护管理.
任务管理子系统提供定时调用目录同步接口的能力,从而形成统一的目录呈现.

归集任务创建归集任务的创建分成创建任务、选择源数据库和表、选择目的数据库和表、设置清洗规则、进行表字段映射、输入抽取条件、配置任务执行周期、保存任务整个过程.
作业管理作业管理功能主要包括作业创建、作业修改、作业删除域批量删除、作业查看、作业分类等管理.
可视化任务编排调度将所有需要运行的任务按照依赖关系组织起来,以有向无环图显示所有任务执行的顺序和依赖关系,节点表示任务,带箭头的连接线表示任务的依赖关系.
任务的触发条件可以依据直接上游任务(父节点)执行状态设置.
当上游任务都执行成功时触发本节点任务的执行.
提供基于大数据集群的任务调度的功能.
任务调度任务调度将调度流程与数据加工流程相结合,支持任务定时、嵌入、手工调度,实现流程调度多样化.
当出现影响后续加工的关键问题时数据加工流程就会停止,待问题处理完毕后ETL流程会自动继续执行.

提供调度任务的启动、停止等功能,支持任务调度的执行、重试、补做等基础功能.
可视化任务调度监控支持调度任务的执行状态的查询,包括正在执行、执行出错、执行完成.
提供图形化的工作流监控界面,可以看到作业流的执行状态、执行开始(结束)时间和所属域信息.
提供任务的所有执行记录查看功能,包括用户、具体操作、操作类型、节点标识、操作时间、IP地址.
调度任务按照任务名称、类型、任务状态、执行时长、任务执行时间范围等条件,对调度任务执行实例的成功率、失败率统计分析.
日志管理实现应用级的操作日志和审计功能,即记录操作员进入和退出的时间,记录每项重要的操作.
提供对各类操作痕迹的审计追踪功能,确保用户的每个行为都能产生必要的操作痕迹,并能以防抵赖的方式提供事后的审计验证支持.

系统日志能够将系统消息存入文件或定向发送到日志主机上,通过对系统日志内容的分析、归纳统计,使管理员了解系统目前的状态.
指定对外发送原始日志信息或经过统计分析后的结果日志到指定的用户或用户组.
数据集成管理数据集成平台是面向数据仓库,提供数据集成和统一调度的全面、一致、历史兼容的集成平台,提供无需编码的全图形化数据开发环境,完成ETL过程设计、维护、运行、监控,将分散的、异构数据源进行抽取、清洗、转换、集成,最后加载数据仓库或数据集市;支持向元数据管理提供数据加工后的数据映射关系提供流程化的数据集成指引,一键式部署及建库初始化,数据集成实现全流程监控.
具备基本的数据集成任务调度能力,并支持将数据集成的任务注册到统一的任务调度组件,并接受统一任务调度组件的任务触发数据集成数据集成平台是面向数据仓库,提供数据集成和统一调度的全面、一致、历史兼容的集成平台,提供无需编码的全图形化数据开发环境,完成ETL过程设计、维护、运行、监控,将分散的、异构数据源进行抽取、清洗、转换、集成,最后加载数据仓库或数据集市.

数据集成平台功能设计如下:转换DB连接:建立数据源连接以及连接数据库,包括源数据库和目标数据库,可以选择系统已建立的数据源或者新增数据源;Hadoopclusters:建立kafka、hdfs、Hive等数据源,包括源数据服务器和目标数据服务器,可以选择系统已建立的数据源或者新增数据源;Steps步骤:任务执行的步骤,包括任务的开始节点、数据操作节点;Hops节点连接:连接两个节点的带单向箭头的连线,指定了步骤节点执行的顺序及依赖;步骤任务执行的步骤在节点中定义了任务的开始、输入、输出的数据采集操作等;输入:支持数据库表输入、文本文件输入、hadoop文件输入输出支持数据库表插入/更新、新增、Excle输出、SQL文件输出、数据同步、报表、hadoop文件输出.
支持向元数据管理提供数据加工后的数据映射关系.
节点连接连接两个步骤节点的带单向箭头的连线.
任务1、任务周期配置,配置数据采集任务周期,支持全量数据同步及增量数据同步.
2、任务启动,任务启动后,系统自动按开始时间及周期调度执行.
3、具备基本的数据集成任务调度能力,并支持将数据集成的任务注册到统一的任务调度组件,并接受统一任务调度组件的任务触发.
4、提供流程化的数据集成指引,一键式部署及建库初始化.
任务执行日志记录数据采集任务执行各步骤的完成时间和完成情况.
数据集成实现全流程监控.
工作台管理依据华为IOC数据模型规范分层要求,以及对表和字段的规范要求,提供综合管理界面及开发工具,实现信息资源的综合管理.
综合管理目录资源管理目录资源主要按照华为命名规范,定义目录资源表名生成规则,配合表名生成规则增加相应的目录资源属性(如:数据来源、主管单位、专题分类等),按照指定的规则自动生成表名,同时也支持表名修改与表名重复性校验功能.

支持基础数据层实体原子拆分,将属于同一个实体,但来自不同委办局的实体属性数据整合到统一的模型中,整合后的实体属性按某种原则对数据进行切分为原子(非严格定义:描述实体某特定信息的属性集合),原子保持与源系统(委办局)一致的数据粒度,方便记录该原子信息的来源,便于实现"一数一源"管理,原子的切分原则以方便"一数一源"管理为主,也就是说一个原子下的所有属性信息都以来自某个委办局为准.

数据流向管理IOC数据架构根据数据处理流程及结果状态划分为三大数据分区:归集库、中心库和专题库.
其数据模型流向如下图所示:委办局缩写维护委办局缩写是资源编目时表命名规则的重要组成部分,委办局缩写维护主要对各个委办局单位缩写进行补充、更新与维护.
专题缩写维护专题缩写是专题库资源编目时表命名规则的重要组成部分,专题缩写维护主要对各个专题业务缩写进行新增、更新与维护.
设计规范各分区表命名规范IOC归集库统一O_表类型_委办局拼音首字母缩写作为前缀,委办局的缩写要求为3个字母,前缀的规范定义用大写字母,具体表名与委办局数据来源的表名保持一致,用小写字母.
历史表(LS):O_LS_委办局缩写_xx表,如政务大厅历史表:O_LS_ZWB_zwdt切片表(QP):O_QP_委办局缩写_xx表_日期,如时间为20180201政务大厅切片表:O_QP_ZWB_zwdt_20180201(注:如果还有其他以更细粒度时间为单位生成的临时切片表,则表命名方式类似,只是时间粒度更细,同时,这些临时切片表,合并入日切片表后会进行删除,同时日切片表合并入历史表后,也会删除)归档表(GD):O_GD_委办局缩写_xx表,如政务大厅归档表:O_GD_ZWB_zwdt各委办局的名字缩写如下:政府办公厅ZFB发展和改革委员会FGW经济贸易和信息化委员会JMW科技创新委员会KCW财政委员会CZW规划和国土资源委员会GTW市场和质量监督管理委员会SZJ人居环境委员会RJW交通运输委员会JYW卫生和计划生育委员会WJW教育局JYJ公安局GAJ民政局MZJ司法局SFJ人力资源和社会保障局RSJ文体旅游局WTY审计局SJJ国有资产监督管理委员会GZW住房和建设局ZJJ水务局SWJ安全生产监督管理局AJJ统计局TJJ城市管理局CGJ气象局(台)QXJ政府口岸办公室KAB政府法制办公室FZB政府外事办公室WSB政府应急管理办公室YJB交通警察局JJJ社会保险基金管理局SBJ政务服务管理办公室ZWB政府发展研究中心ZFY机关事务管理局JSJ建筑工务署JGS档案局DAJ无线电管理局DGJ政府采购中心CGZ投资推广署TTS公立医院管理中心YGJ住房公积金管理中心GJJ………注1:各地项目在实施过程中,如碰到新的来源部门,遵照上面的描述方式(按常用委办局缩写名称的拼音首字母)定义好来源缩写,补充到上面的表格中,实际的表设计与定义的名称保持一致.
注2:如果出现重码的情况,则采用增加顺序号的方式,中间用"_"分割.
如先前定义了"标志"的中文简拼"BZ",则后来定义"备注"的中文简拼为"BZ_1".
该方式适用于下面所有库表重码的定义.
对非结构化数据:数据按数据来源(委办局、外部机构、互联网等分类分目录存放),统一在文件名前加前缀"O_委办局缩写".
IOC中心库标准层统一S_委办局拼音首字母缩写作为前缀,委办局的缩写要求为3个字母,前缀的规范定义用大写字母,具体表名与归集库保持一致,用小写字母,标准层的数据表名和归集库的数据表名差别只在首字母,归集库以O_开始,标准层以S_开始.

历史表(LS):S_LS_委办局缩写_xx表,如政务大厅历史表:S_LS_ZWB_zwdt切片表(QP):S_QP_委办局缩写_xx表_日期,如时间为20180201政务大厅切片表:S_QP_ZWB_zwdt_20180201归档表(GD):S_GD_委办局缩写_xx表,如政务大厅归档表:S_GD_ZWB_zwdt基础数据层统一B_表类型_作为前缀,前缀的规范定义用大写字母,具体表名用小写字母实体表(ST):为方便政务数据"一数一源"的管理,实体数据可能会由多个原子表组成,因此实体表的命名分为2层:实体原子表统一B_ST_YZ_作为前缀,前缀的规范定义用大写字母,具体原子表名用小写字母,示例如下:实体原子表(ST_YZ):B_ST_YZ_xx实体_xx原子,以实体人为例:实体人的基本信息原子:B_ST_YZ_ren_jbxx实体人的工作信息原子:B_ST_YZ_ren_gzxx实体原子聚合表或视图统一B_ST_JH_作为前缀,前缀的规范定义用大写字母,具体原子表名用小写字母,示例如下:实体原子聚合表(ST_JH):B_ST_JH_xx实体,以实体人为例:B_ST_JH_ren;实体法人为:B_ST_JH_faren如果该实体只有一个信息来源,不需要区分原子,则统一用B_ST_JH_xx来表示该实体;明细表(MX):B_MX_xx明细,如政务窗口事项办理明细:B_MX_cksxxxx公共维度表(GWD):B_GWD_表,如区域维度表:B_GWD_qyxxx参考数据表(CK):B_CK_xx参考,如网格参考数据:B_CK_wgxxx注:如还有其他类型的基础数据表需要定义,由一线项目负责人员在此按上述规则定义好该表前缀,项目组按此规则执行.
IOC专题库集市层统一M_表类型_专题_作为前缀,前缀的规范定义用大写字母,具体表名用小写字母事实表(SS):M_SS_XX专题_xx表,如政务服务事项一网通办事实表:M_SS_ZW_ywtxxx专题维度表(WD):M_WD_XX专题_xx表,如政务服务事项类型维度表:M_WD_ZW_sxxxx轻度汇总(HZ):M_HZ_XX专题_xx汇总,如政务大厅窗口事项汇总:M_HZ_ZW_dtsxxxx分析预测的特征表(TZ):M_TZ_XX专题_xx特征,如政务大厅办事事项预测:M_TZ_ZW_bssxycxxx专题缩写定义:政务ZW民生MS经济JJ安全AQ交通JT生态ST城市规划GH…………注:各项目专题SA补充完善专题缩写的定义,并在实际表定义中按要求进行.
注:如还有其他类型的集市表需要定义,由一线项目负责人员在此按上述规则定义好该表前缀,项目组按此规则执行.
应用层统一A_应用类型_专题_作为前缀,前缀的规范定义用大写字母,具体表名用小写字母,如:指标应用(ZB):A_ZB_XX专题_xx表,如民生医疗满意度:A_ZB_MS_ylmyd注:如还有其他应用类型的结果表需要定义,由一线项目负责人员在此按上述规则定义好该应用类型的表前缀,项目组按此规则执行.
表命名示例各分区表命名示例如下:子层中文名称示例英文名称示例贴源层历史(LS)O_LS_ZWB_政务办大厅数据信息O_LS_ZWB_zwbdt切片(QP)O_QP_ZWB_政务办大厅数据信息20180201O_QP_ZWB_zwbdt_20180201归档(GD)O_GD_ZWB_政务办大厅数据信息O_GD_ZWB_zwbdt标准层历史(LS)S_LS_ZWB_政务办大厅数据信息S_LS_ZWB_zwbdt切片(QP)S_QP_ZWB_政务办大厅数据信息20180201S_QP_ZWB_zwbdt_20180201归档(GD)S_GD_ZWB_政务办大厅数据信息S_GD_ZWB_zwbdt基础数据层实体原子(ST_YZ)B_ST_YZ_政务大厅xx原子B_ST_YZ_zwdt_xxxx实体聚合(ST_JH)B_ST_JH_政务大厅B_ST_JH_zwdt明细(MX)B_MX_政务窗口事项办理B_MX_zwcksxbl公共维度(GWD)B_GWD_区域B_GWD_qy参考(CK)B_CK_网格B_CK_wg集市层事实(SS)M_SS_ZW_政务服务事项一网通办事实表M_SS_ZW_zwsxywtb专题维度(WD)M_WD_ZW政务服务事项类型M_WD_ZW_zwfwsxlx轻度汇总(HZ)M_HZ_ZW_政务大厅窗口事项汇总M_HZ_ZW_zwdtcksxhz分析预测的特征表(TZ)M_TZ_ZW_政务大厅办事事项预测M_TZ_ZW_zwdtbssxyc应用层指标应用(ZB)A_ZB_MS_医疗满意度A_ZB_MS_ylmyd表字段定义规范序号规范名称规范描述备注1大小写1.
本规范要求的表前缀统一用大写2.
表名其它部分统一用小写3.
字段名统一用小写2中英文1.
设计约束需要添加的字段用英文2.
业务属性字段用中文拼音首字母缩写组成3字段长度1.
字段总长度不能超过30个字符4字段分隔符1.
字段可以由多个部分组成,每部分之间通过"_"进行分割,参考本规范中给出的示例5数据库关键字1.
字段名中不能包括数据库的关键字,避免编写SQL语句出错,或出现其它意外问题6可读性1.
数据字段取名最好能"见名识义",可读性好7字段取值类型1.
varchar类型的取值长度要求是8位的整数倍2.
Date和时间戳取值类型要分开,日期可以是"日期"格式,也可以是"varchar8";时间戳采用"DateStamp"类型,如果不支持,则采用"varchar16"8精度1.
需要根据取值单位的情况确定如下:一种是30位整型+2位小数,比如工资收入是"xxxx元";一种是30+8位小数,如GDP是"xxxx万元"9约束主键的取值1.
从10000开始取值,自然数增长如原子ID、实体ID、代理主键10备注说明要求1.
所有表的字段都要在备注中描述清楚字段的含义2.
对于多值的来源字段、如布尔值、枚举值字段,除了在备注说清楚字段业务含义,同时需要说明对应字段值的业务含义.
11维度字段定义要求1.
如事实表中有多个维度字段,并且都是对应同一个维表(公共维表或专题题特有维度),则维度字段命名,需要在维度字段加业务前缀,区分不同的业务含义.
12归集库表需增加的字段业务时间:service_dt数据来源:data_src任务加载时间:sys_load_dt重跑标识:is_reload重跑时间戳:sys_reload_dt13中心库标准层需增加的字段同上标准层的数据组织与表结构与归集库一致14中心库基础数据层需增加的字段1.
实体原子表需增加原子ID、原子名称、实体ID、实体名称、代理主键、来源部门、创建时间、有效期起始时间、有效期终止时间、当前记录标识十个字段信息2.
实体原子聚合表需增加实体ID、实体名称、代理主键、有效期起始时间、有效期终止时间、当前记录标识六个字段信息数据处理规范序号规范名称规范描述备注1数据分区要求IOC数据架构分为归集库、中心库、专题库2数据分层要求中心库分为标准层和基础数据层专题库分为集市层和应用层(当前以指标应用为主)3中心库基础数据层实体原子聚合要求1.
实体数据由多个原子表组成2.
原子为包含某特定信息的属性集合,每个原子的所有属性信息项按"一数一源"业务规则,是来自同一个委办局,原子的划分粒度可大可小,符合逻辑即可3.
多个原子表可以再聚合成一个实体大宽表或视图,记录的是实体中每个原子最新的状态信息,同样会记录实体的历史变化4增量和历史数据的合并处理1.
归集库和中心库标准层采用日批快照方式合入:当每天有多次ETL采集生成多个临时切片数据,当日将多个切片合并为日批,再合入历史表;对于实时数据,缓存在Kafka,每日从Kafka中获取当日新增数据,形成一个日批,再合入历史表;2.
中心库基础数据层实体采用拉链方式处理和记录历史数据变化5历史数据归档归集库和标准层表设计要考虑归档6建索引1.
库表设计需要给出对表索引的考虑,作为后续方案评审输入7分区1.
库表设计需要给出对表分区的考虑,作为后续方案评审输入用户管理用户中心系统统一管理用户及组织信息,为平台所有信息化系统提供组织身份信息的权威数据源,以此权威数据源建立统一的多组织身份同步中心,提供各部门建立应用系统的用户及组织数据、配置应用系统权限控制信息.

组织机构管理区划管理区划管理是对区划的基本信息的管理与维护,包括区划名称,地址,上级区划,状态,排序编号等信息,区划是分上下级,一个区划下面可以有多个下级区划,每个区划也可以多个单位(部门).
单位管理单位管理是对单位基本信息的管理,包括名称、职能、状态、地址、排序编号等,还包括下级单位、单位下岗位、单位下人员管理.
单位有上下级关系,在组织结构树中单位必须有上级结点,一个单位有一个上级单位、可以有多个下级单位、或没有下级单位.
每个单位有多名员工,设置有多个工作岗位.
不管是一级单位和子单位,必须隶属某个区划,这个区划属性便于单位分类和查询.
单位添加需要在指定单位下创建,这时系统自动指定该单位所属的单位信息,单位删除时需要检查单位下是否有子单位、岗位、人员信息,由于单位删除涉及到的信息比较多,建议不做删除操作,只作状态禁用标志.

人员管理人员是组成系统管理的一个最基本的元素,人员管理包括对用户登陆名、密码、真实姓名、姓别、邮件、电话、排序编号、默认单位、默认岗位、有效时间等基本信息维护.
人员可以属于多个单位,所以有个单位人员关联表,人员的默认单位是指在人员登陆时,默认显示的单位信息,岗位与单位同理.
用户登陆需要判断用户的有效标志和有效时间,并且记录用户登陆日志.
系统提供用户排序与查询功能.
单位人员管理将单位与人员信息进行统一管理,将单位与人员管理功能进行合并,在编辑单位功能时也可对人员进行编辑.
提供不同的视图给使用人员查看,在单位编辑时也可以编辑其单位下的人员信息.
职能管理管理员可在此设置职能(岗位)信息,职能信息必须关联单位信息,职能信息包含:职能名称、职能编号、关联单位(部门)、排序好、职能描述.
权限管理单位角色管理角色是指具有某类相同行为的对象的集合,一个用户也可对应多个角色.
一个角色可执行多项功能,一项功能也可由多个角色执行.
角色按树进行维护,下级角色继承上级角色的操作权限.
系统中通过对角色的配置,再对角色进行权限,使该角色具有相应的功能.
在系统管理中就可以对用户进行授予某一角色,使该用户具有该角色的相应功能和行为.
用户登陆时,需要根据配置的角色功能和人员功能判断用户具有的功能菜单信息.
菜单管理功能菜单管理是指将系统中的用户功能以树形结构的来管理,功能菜单必须基于业务系统,不同业务系统之间的功能菜单互不影响,在业务系统之下的功能菜单具有三层结构,并且第三层为底层结点.
组件管理组件管理是对菜单内需要进行权限控制的组件进行管理,并与菜单页面进行关联,同时可以给角色授予权限.
角色授权菜单页面之后,便可获取菜单与页面配置的菜单组件按钮权限.
用户系统登录时系统会自动进行缓存权限,页面进行展示时会请求进行与缓存的权限组件判断,通过不同权限展示不同的菜单组件.

CA认证管理CA认证管理包括证书申请、证书审批、证书管理、证书吊销查询等功能.
安全审计日志平台审计日志用于安全事件中定位问题原因及划分事故责任,平台审计日志中记录用户操作信息,以便快速定位系统是否遭受恶意的操作和攻击.
登陆日志系统框架提供了记录用户登陆日志的功能,用来记录用户的基本信息,包括真实姓名、登陆名、登陆时间、登陆IP地址、便于系统管理员对登陆用户的查询和管理.
系统中提供对登陆日志的查询功能,可以通过真实名称、登陆名、登陆时间、所属部门等信息进行查询和排序.
操作日志记录登录用户的操作信息,如记录用户,操作功能,操作时间,操作模块,便于管理管对系统进行管理.
系统中提供对登陆日志的查询功能,可以通过真实名称、登陆名、所属部门、操作时间、操作功能等信息进行查询和排序.
错误日志当程序执行出错时,系统错误日志会记录系统的执行的错误信息.
错误日志可以帮助系统管理人员或开发人员定位错误信息,在系统运行或是开发中快速查询到错误原因,从而减少了维护和开发成本.
系统提供对错误日志的查询功能,可以通过错误信息、错误号、出错时间等信息进行查询和排序.
并且提供日志删除功能,以便在数据过多时对日志进行清理.
审计日志统计提供相关日志统计分析功能,能知晓业务平台的运行状况、性能指标等.
如提供指定事件或错误的出现频率与趋势、服务执行时间等统计分析.
归集库建设数据采集汇聚平台采集政务数据、行业数据、物联网数据、互联网数据和其他等各类不同来源、不同类型的数据资源并存储到统一的中心库管理平台中形成归集库,为数据分析挖掘和数据共享提供基础资源.

数据来源归集库数据来源主要包括政务数据、行业数据、物联网数据、互联网数据,它既包括各类业务库存储的结构化数据,也包括电子文档、图片、图像、音频、视频等各类非结构化数据.
政务数据归集库数据来源主要包括政府组成部门如公安局、民政局、人社局、教育局等,以及直属单位如卫生厅下属的疾控中心等的各类数据.
政务数据通常包含了普通结构化数据,同时也包括了电子文档、图片、音频、视频等业务、文化类数据.
行业数据行业数据主要涉及企业、教育、科技、文化、卫生等领域,它主要包括了普通结构化数据,同时也包括了电子文档、图片、音频、视频等业务、文化类数据.
物联网数据物联网将现实世界数字化,统整物与物的数字信息,承载着大量的信息资源,物联网信息资源来源主要包括交通运输、物流、工业制造、健康医疗、农业(农业种植、畜牧养殖)、智能建筑、能源环保、智能家居等各类信息资源.

互联网数据互联网信息从类别上看主要包括:电子商务和行业门户数据、搜索引擎数据、宏观经济等金融相关数据这几类组成的网络数据.
互联网数据采集包括但不限于从微信公众号数据、学术智库数据、财经网站数据、上市公司财务报表信息数据、主要经济统计数据、搜索引擎搜索指数、电商网站及商品信息、招聘网站就业供求信息及房地产网站房产交易和价格信息等互联网数据中提取其中有效的部分用于上层应用进行数据挖掘分析或可视化呈现.

归集库建库资源目录管理将不同的数据资源按照不同安全等级划分到不同的数据池中,同时按照国家、省市、地方相关标准对各类数据资源进行分类,实现目录的编制、指标管理、目录变更、审核发布、目录版本管理等功能.

数据池管理数据池管理主要是按照不同的安全等级将各类信息资源划分到不同的数据池中,以便对各类信息资源的数据安全进行整体管控.
资源分类管理资源分类主要是按照国家、省市、地方相关标准对信息资源进行分类,如:主题分类、部门分类、行业分类等;资源分类采用树状结构进行管理,支持多级父子节点管理,主要实现政务资源目录结构的创建、维护和管理等工作.

数据源管理数据源类型包括关系型数据库、非关系数据库以及ftp文件服务器等,数据源管理主要是配置数据源的连接信息,提供数据源的连接测试功能.
目录编制管理实现目录编制、维护与管理工作,实现目录指标的新建、维护与管理工作,支持按标准导入、Excel导入、元数据扫描、数据复制、自定义编目等多种编目方式.
目录变更管理如果需要对已审核发布的信息资源目录信息进行修改时,需要进行目录变更,目录变更分以下两种情况.
如果目录变更不影响数据表中数据的情况,此时变更信息发布时,变更内容将应用在原数据表上;如果目录变更会影响数据表中数据的情况,此时变更信息发布时,变更内容不是应用在原数据表上,而是创建新的数据表,将变更内容应用在新的数据表上.
目录版本管理目录版本主要是对已审核发布的信息资源目录信息进行变更时,如果变更的内容会影响到数据库表中的记录时,系统将自动创建的新的目录版本.
支持两个不同版本的指标比对功能,以便清晰查看两个版本的异同.
审核发布建库具备信息资源审核权限的用户,可对信息资源进行发布,信息资源发布一方面改变信息资源的状态为已发布状态,另一方面将通过信息资源目录与指标信息在各类数据库中创建或更新数据表.
数据模型管理在各类关系型数据库与菲关系型数据库中创建模型,采用图形化的建模管理,使用资源拖拽与连线吸附的方式,建立各类资源之间的关联关系.
数据采集入库归集库数据采集指从各部门将采集到的结构化数据和非结构化数据,以数据的原始形态统一存储在数据采集汇聚平台,形成归集库.
结构化数据桥接配置结构化数据采集入库主要实现各业务部门数据库桥接到归集库,同时也提供数据治理的功能,在归集库数据桥接到中心库的过程中,通过数据数据完整性校验、数据格式校验、数据标准校验、数据查重、关系校验等数据质量规则稽查,将有效数据桥接到标准库,将问题数据桥接到问题库同时调用接口发送工单到工单系统,由工单系统实现问题工单的分派、追踪、整改与闭环操作.

用于关系型数据库之间数据桥接,在数据桥接管理系统配置数据桥接规则(如:数据源、目标资源、字段映射关系、数据同步周期等),发送数据桥接指定到桥接引擎,通过桥接引擎实现数据的搬运工作.
非结构化数据桥接配置非结构化数据采集支持ftp或sftp两种方式,在数据桥接管理系统配置文件桥接规则(如:源文件服务器、目标文件服务器、源文件目录表、文件同步周期等),发送文件桥接指定到桥接引擎,通过桥接引擎实现文件的搬运工作.

数据桥接任务调度管理连接管理归集连接是指向数据源的一个连接信息,连接管理主要包括增加数据源、修改数据源、删除数据源、查看数据源详情、搜素数据源以及数据源连接测试.
数据映射数据映射一方面需要需要建立数据源与目标资源之间的指标标识,此标识一般作为主键,是唯一区分源到目标资源之间数据新增与更新的标示,以免数据重复插入;另一方面需要建立数据源指标与目标资源指标之间的映射关系,需设定哪些指标需要更新,哪些指标不需要更新,以便进行数据抽取与转换.

任务管理归集任务是指从各部门数据库采集数据并导入到目标数据库(如:PowerDB、Oracle、SQLServer、MySQL、Postgresql等)的过程,实现归集任务目录管理、归集任务创建.

作业管理作业管理功能主要包括作业创建、作业修改、作业删除域批量删除、作业查看、作业分类等管理.
数据写入数据桥接入库存储的方式支持PowerDB、Oracle、SQLServer、MySQL、Postgresql、hive、Hbase、HDFS等.
接口开发服务需求调研现场运维人员需在现场确认需要对接的供应商单位,接口形态、接口文档、接口SDK,根据调研确认的接口对接方式,组织研发进行对接开发、联调测试.
接口开发如果对接的供应商单位如果尚未开发接口,现场运维人员可提供我单位接口开发规范给对接的供应商单位,要求按照标准接口规范文档进行接口开发;如果对接的供应商单位已经公布了相关接口对接文档,则需要组织公司开发人员根据接口对接文档定制开发接口,并协调对接的供应商单位联调测试接口.

定时任务调度接口系统提供定时任务调度机制,如果是按照本公司接口开发规范编写的接口,现场运维人员可通过接口配置的方式,配置接口URL、接口参数、接口返回值、接口输出等,实现接口返回数据的定时获取;如果是对接的供应商单位已经开放的接口,则由公司开发人员开发接口后,配置任务调度周期,定时获取输出接口返回数据.

接口测试文档接口开发完成后,采用服务发布的方式,提供接口测试页面,罗列开发过程中涉及的所有接口,并可通过点击按钮测试的方式,测试接口数据是否能够正常获取.
数据接入实施现场实施人员制定需求调研计划对各委办局源系统信息资源进行需求调研,了解信息资源的分布情况以及信息资源的数据来源,确定数据中心需要归集的信息资源范围并对需要归集的信息资源目录及指标信息按照标准规范进行整理,将现场与用户确定的目录资源及指标信息录入元数据管理系统,发布信息资源并应用到数据库中.

针对各信息资源数据来源,现场实施人员需与各数据提供单位确定数据的提供方式,现场实施人员可采用ETL桥接系统,也可以协调公司开发人员定制开发接口定时获取数据等方式,最终实现源数据的汇聚到归集库.

数据填报系统建设概述数据填报系统将各类信息资源通过资源授权的方式提供给各部门信息采集员进行填报,具备权限的各部门信息采集员可以通过数据导入的方式或者表单填报的方式,提交资源到归集库.
系统功能资源目录共享元数据管理系统实现资源目录的共享,提供数据填报系统目录资源获取、目录资源指标选择、目录资源展示等功能,资源目录管理主要包括数据池管理、目录分类维护、数据源管理、资源目录管理、目录变更管理、目录版本管理、审核发布管理.

Excel数据导入各部门信息采集员按照需要选择需要导入的信息资源目录(只能选择具备导入权限的信息资源),按照系统提供的Excel数据导入模板数据格式要求,整理数据后提交系统导入,将Excel文档数据导入目标资源.

数据填报不同用户具备不同信息资源的填报权限,各部门信息采集员按照需要选择需要填报的信息资源,按照信息资源填报格式要求(如:带*号为必填项等)录入数据,提交数据到归集库.
数据查询服务具备信息资源查询权限的用户,可查询本人授权的信息资源数据,信息资源查询支持多条件组合查询与模糊查询.
数据治理管控平台建设概述数据治理管控平台主要实现信息资源标准管理、元数据管理,数据采集管控、数据稽查等管理,建设数据标准库与数据质量规则库,通过数据完整性校验、数据格式校验、数据标准校验、数据查重、关系校验等数据治理方法,将各个部门归集的数据进行校验、过滤与稽查,将有效数据推送到中心库,将问题数据推送到问题库,以保障信息资源的数据质量,提升信息资源的使用价值.

系统功能数据标准管理标准库建设有利于数据的统一性和无杂性,对数据的展示和应用具有不可估量的作用,加强数据标准体系设计是主题库建设的重要工作.
分析各部门数据的共性,把它们汇成数据标准独立的存储起来.
质量规则管理为了有计划、有效的开展对各关键环节的检查工作,在数据质量管理模块内建立统一的规则管理模块,对系统的质量检查规则进行统一的配置管理,各检查点或检查代理模块在对数据进行检查前,都通过访问统一的规则管理模块来读取质量检查规则.

质量规则配置包括空值校验,数据范围校验,数据范围校验、正则表达式校验、数据标准校验、数据查重、主外键约束、敏感字符校验、文件格式校验、文件大小校验等.
元数据管理数据池管理按照资源分类的逻辑存储域,不同资源存储到不同的逻辑存储域;比如:人口资源信息存储到人口数据池,法人库存储到法人数据池,电子证照存储到证照数据池.
资源分类管理资源分类采用树状结构进行管理,支持多级父子节点管理,主要实现政务资源目录结构的创建、维护和管理等工作.
资源目录管理主要包括数据源配置、资源目录管理、目录变更、审核发布.
数据建模管理在各类关系型数据库与非关系型数据库中创建模型,采用图形化的建模管理,使用资源拖拽与连线吸附的方式,建立各类资源之间的关联关系.
文件目录管理文件目录管理主要包括文件服务器管理与文件目录管理.
文件服务器管理:主要用于配置文件服务器主管单位、运行环境、容量、服务器IP、端口、账号、密码、编码等;文件目录管理:主要配置文件服务器存储目录说明及文件存储路径.
资源权限管理资源权限管理主要用于设置用户对信息资源的访问权限与读写权限,其功能主要包括角色管理、角色权限设置、用户角色设置.
操作日志管理提供安全审计日志的接口供各个模块统一调用记录元数据操作日志,并可以通过日志类别、操作对象、操作内容、操作时间等查询操作日志详情.
数据质量管理数据质量管理主要通过制定数据质量规则,在数据桥接或数据填报过程中或质量稽核过程中依据数据质量规则与数据标准,对数据进行完成性校验、数据格式比对、数据查重、关系校验等操作,将有效数据采集到中心库,将问题数据存放到问题库同时调用接口发送问题工单到工单系统,由工单系统实现问题工单的分发、整改以及闭环操作.

数据质量建模分析具体业务数据,总结业务数据缺陷;根据业务数据问题建立数据完整性校验模型,数据格式校验模型,数据范围校验模型,数据查重模型,关系校验模型,数据脱敏模型等模型.
采集过程管控数据采集过程中,依据数据质量建模规则,对数据进行完成性校验、数据格式比对、数据查重、关系校验等操作,将有效数据采集到中心库,将问题数据存放到问题库同时调用接口发送工单到问题工单系统,由工单系统实现问题工单的分发、整改以及闭环操作.

质量稽核管理为了有计划、有效的开展对各关键环节的检查工作,在数据质量管理模块内建立统一的规则管理模块,对系统的质量检查规则进行统一的配置管理,各检查点或检查代理模块在对数据进行检查前,都通过访问统一的规则管理模块来读取质量检查规则.

质量稽核的过程主要包括定义清洗规则、建立统一的数据标准、质量稽核引擎、稽核任务调度、稽核结果查阅、稽核工单分发、数据质量分析、数据质量报告等.
问题库查询问题库查询主要实现对不符合数据质量校验规则的数据,如:重复的数据,不符合数据格式的数据,违反主外键约束的数据等进行查询.
问题库管理数据质量规则配置完成后,通过数据质量扫描程序按照质量扫描规则配置要求定时扫描稽查目标,将违反数据质量规则的数据扫描到质量问题库同时调用质量工单系统接口形成问题工单发送到质量工单系统,由质量工单系统负责质量问题分派、转发、问题整改的闭环操作.

数据流程调度图形化流程建模将业务流程进行细分,有流程环节、环节间迁移关系图形化,通过将这些图形化的元素按照也流程要求进行排列、连接来形象化的描述业务处理流程,并能转化为流程环节、流程环节间的关系数据,流程引擎根据这些关系数据来处理业务,使业务需求和业务实现分离,使系统能更灵活适应业务变化.

2、流程模板定义图形化的流程模板定义界面,支持常用和复杂的工作流模式及环节定义.
包括:模板定义、修改流程实例定义、修改功能要求:流程图有效性检测流程图环路检测,(图论环路检测)流程图定义风险提示(如部分环节路由永远为假)模板与流程实例自适应3、流程模板管理允许同一业务定义多个模板、也可以通过模板另存为新的模板,允许定义通用模板,既支持标准状态变换流程.
模板列表模板定义、修改模板信息管理模板适用范围管理模板状态管理(启用、禁用)数据流程授权机制流程中的每一个节点均可以对角色、机构部门、群组、岗位、个人授权,然后生成相应的授权集合.
流程执行时,根据流程节点的流向和授权,就会自动到达你个人定制的办公页面.
流程引擎流程引擎:提供了由开始、执行、结束等环节来组成流程的管理机制.
流程定制:用户可以通过流程引擎提供的节点、路由和控制条件来定义自己的业务流程,对某些节点在执行过程中可能发生跳转或返回的,在定制时加以路由控制条件.
对环节进行授权操作:对流程中的每一个环节都可以按照四级权限进行授权,如一个环节可以属于角色、部门、岗位、群组、个人等.
同时还还可以对数据类别和数据项进行授权,即同一岗位的不同个人可以看到不同的公文或同一公文中不同内容.

流程维护:定制好的流程可以根据需要进行调整,如停止执行一个流程或一个流程中的某个节点、取消/增加流程节点、修改流程控制参数、修改环节的授权对象;以直观的图形化方式自定义工作流程:用户可以根据需要,设计所需格式,并可随时根据变化进行更改,同时在流程执行中的每个环节提供监督提醒;在每个流程结束均有相关公告和公示.

数据安全管理资源目录系统对接资源目录获取资源目录获取主要是针对元数据管理系统的资源编目及编目指标信息进行对接,实现资源目录的共享,数据安全管理模块中涉及的目录信息都通过调用元数据管理系统的目录信息来选择目录资源.
敏感信息获取敏感信息获取主要对调用信息资源的授权信息与脱敏配置信息,来限制信息资源的访问权限,获取信息资源的配置信息以便数据桥接与数据稽查时进行数据的脱敏操作.
资源授权管理资源权限管理主要用于设置用户对信息资源的访问权限与读写权限,其功能主要包括角色管理、角色权限设置、用户角色设置数据脱敏管理数据脱敏是指某些敏感信息通过脱敏规则进行数据的变形、实现敏感隐藏数据的可靠保护,其脱敏规则主要包括数据转换、数据遮蔽、数据加密等.
API网关数据服务管理服务注册可实现各类服务注册到平台,包括OGC标准服务、Webservice服务、Rest服务等,主要支持Http协议即可.
服务注册地址为原始服务地址,以及服务元数据信息,对外开放的服务地址为代理后的地址.

服务检索根据服务名称、服务所属部门、所属区域等查询条件进行服务检索,查看服务元数据、预览服务.
服务元数据管理实现对服务元数据的管理,支持添加、删除、修改等操作.
服务安全1、认证与授权实现CAS统一身份认证,支持服务级权限管理,以API方式对外提供服务.
2、服务监控实现对平台已发布服务的监控,记录服务调用的用户、IP、时间、调用次数、数据量等信息;同时,监控服务的运行状态,并对非法访问进行报警.
服务评价基于服务日志统计分析、用户反馈、数据质量(更新频率、数据完整度等)层面,了解服务质量.
1、服务日志记录服务的运行情况,包括访问者、访问IP、访问量等.
2、服务统计对服务的运行情况进行统计,以图表方式展现,如访问最多的服务、更新次数最多的服务等.
3、服务质量综合服务的日志和服务对应的数据情况,评判该服务的质量.
服务编排实现数据服务与功能服务之间的编排转换功能,主要用于实现第三方服务与地理编码等服务的编排后实现非空间数据服务的空间化处理数据服务管理规范1、支持数据产品服务的申请、审批、发布、订阅等流程的可视化配置.
2、支持基于元数据或其他方式封装的数据库对象,如表或视图,进行产品编码、产品名称、数据周期、数据可支撑的提供方式、字段信息说明,提供发布功能.
3、支持数据产品的编辑、下线、以及删除等功能.
4、数据服务发布时,支持筛选特定字段、设置限制条件、是否脱敏、是否分包及分包规则、文件头内容等、提供方式及具体方式所需要的信息.
5、支持新建、审批中、已下线、发布、未通过等各种状态产品的管理.
6、支持类似购物的方式将产品放到收藏夹或者购物车.
7、支持"零编码"发布数据标准产品、API产品、标签产品;支持发布虚拟产品.
8、数据申请支持数据库、FTP文件、API三种数据服务方式,支持设置数据获取条件并支持周期性以及一次性定制.
平台支持对数据服务接口的自助式测试.
9、支持虚拟数据产品发布.
10、支持数据加工侦测功能,在满足特定条件以后进行数据下发.
11、支持数据加工的重新侦测,便于用户接收更新后数据.
12、支持数据任务监控,以产品为粒度汇总显示相关信息,并查看任务执行情况,支持跟踪、干预流程的执行\恢复\终止等.
数据API管理规范1、支持定制化数据API注册、订阅、控制等管理.
2、支持API产品监控,以产品为粒度汇总显示相关信息,并可查看产品订阅访问情况,以及访问用户、访问IP、最后访问时间、访问次数等信息.
3、支持API管理中订阅内容的密钥、访问令牌管理.
中心库实施标准数据层实施1、项目归集过来的数据相关标准梳理与质量规则确定;2、按归集库库表结构建立中心库标准层.
基础数据层建设:以实体为单位组织数据,多个专题的相同实体属性合并,同时解决"一数一源"问题.
基于内部统一数据字典定义表结构,建立不同实体之间的关联关系;3、首先对一次性批量归集过来的历史数据进行数据治理和清洗,然后对每天增量数据进行清洗;4、确定清洗范围及清洗规则;5、历史变化可以捕捉和记录源系统中变化的数据;基础数据层实施1、所有专题和应用涉及的数据"一数一源"梳理;2、实体属性整合.
将属于同一个实体,但来自不同委办局的实体属性数据整合到统一的模型中;3、实体原子切分.
整合后的实体属性按原则将数据切分为原子.
原子保持与源系统(委办局)一致的数据粒度,方便记录该原子信息的来源,便于实现"一数一源"管理;4、.
将某些存在父子继承关系的实体数据,从技术层面完成建模;5、历史变化.
可以捕捉和记录源系统中变化的数据.
数据模型中包含时间元素,可以标明数据的有效时间,反应数据的变化.
流程化的数据集成指引提供图形化流程导引方式引导实施人员依流程步骤简单、快捷完成数据接入、归集、清洗、融合、建库全流程.
一键式部署及系统初始化提供流程式的系统初始化、部署配置功能,支持快速初始化数据清洗融合所用到的元数据、清洗规则和数据模型和一键式部署数据集成环境.
规范、标准化数据清洗内置和引用丰富的国标、地标、行业标准、企业标准规范进行数据清洗和标准化转换处理,形成高质量标准化数据数据集成全流程监控提供可视化数据集成全流程监控功能,实现数据清洗融合建库全流程可管理、可监控、可追踪.
内置多种政务数据库模型结合大数据和传统数据仓库技术,自动化集成数据加工处理流程,缩短融合建库实施周期,大幅提升效率.
能让政府部门快速看到项目建设和应用的成果;模型遵循历史版本管理、标准处理管理、数据去重合并等整合管理过程;支持第三方主题模型灵活接入.
库版本管理对中心库提供历史版本管理,使得可追溯、可还原.
数据清洗与融合策略支持1、对内容缺失、无意义、不可修复的数据,先保存到历史库,然后根据需要进行处理;2、对于不规则的,不标准的,可修复可映射的数据,通过引入的大量数据标准,将数据标准化成标准数据;3、针对多个源数据冲突的情况,则可以通过少数服务多数,时效性原则,来源权威性等机制来找到最准确的数据,通过原子层,跟踪每一个单元格的源数据情况.
数据清洗融合统计分析1、支持对融合建库过程的相关指标统计分析,包括接入数据总量和日接入增量统计、清洗数据总量和日清洗数据增量统计、融合数据总量和日融合数据增量统计、信息来源部门和信息资源项统计以及数据标准引用文件数量等;2、支持对融合建库整体过程的汇总统计和趋势分析,包括各部门接入数据量统计、各部门清洗数据量统计、接入数据趋势分析、清洗数据趋势分析和融合数据趋势分析等.
综合集成门户建设建设目标综合门户是信息一体化平台所有业务系统的统一入口及信息集中展示平台,是政务办公人员之间的沟通纽带,是内部办公、管理、辅助决策、宣传教育、树立形象、传播文化的工具.
平台功能应用系统集成待接入系统方管理员提供应用系统的相关资料给综合门户管理员,由综合门户管理员对将要接入综合门户的应用系统进行注册、审核和启用.
启用的应用系统可以从用户中心同步组织机构和人员信息,并在综合门户中集中展示,实现统一入口.

业务流程待接入应用系统管理员提供应用系统的相关资料给综合门户管理员,包括应用中文名称、访问地址、LOGO、组织机构和人员的同步策略(全量或指定),由综合门户管理员对将要接入综合门户的应用系统进行注册、审核和启用.

接入应用系统管理对待接入应用系统的相关资料进行注册,包括应用中文名称、访问地址、LOGO、组织机构和人员的同步策略(全量或指定),资料核准无误后启用应用系统.
单点登录在多应用系统环境下,为提高用户的使用方便性,提高办公效率,需要实现用户对多系统的单点登录能力,减少用户的操作复杂度,确保"一点登录、多点漫游",真正提高办公的高效性、快捷性.
登录流程通过单点登录统一认证,实现单点登录功能.
当用户登录综合门户系统之后,不用再输入账号信息就可以直接访问已授权使用的其它应用系统.
如果用户直接访问各种业务系统时,则检测是否用户是否已单点登陆.
没登录则重定向到单点登录服务器后进行登录;如果他已经访问过其他系统,认证中心会自动记住当前用户的身份,自动判断当前用户是否拥有足够的权限访问目标应用系统,从而避免了重复输入账户信息,在提供方便性的同时保证系统的安全性.

单点登录客户端单点登陆客户端集成在需要单点登录的业务系统,与业务系统部署在一起.
对于应用系统每个需要访问控制的请求,单点登陆客户端会分析该请求中是否包含授权码,如果没有则说明访问用户未登录,并将请求重定向到指定的登录地址,同时传送需要访问的目标地址,以便登录成功后转向该地址.

单点登陆客户端需提供接口供业务系统初始化数据,如用户、组织机构、权限等信息.
认证服务提供集中身份认证服务,实现用户访问各应用资源的认证入口集中化和统一化.
引入可靠的认证体系来对用户进行安全管理,通过为各个用户分配安全的身份凭证,确保各个应用系统登录的安全性.
支持不同的身份凭证注册及认证,如静态密码、动态密码、CA证书、指纹识别,实现不同安全等级的统一身份认证服务.

静态密码用户登录时,系统提示用户输入用户名和口令.
系统采用加密方式或明文方式将用户名和口令传送到认证中心.
并和认证中心保存的用户信息进行比对.
如果验证通过,系统允许该用户进行随后的访问操作,否则拒绝用户的下一步的访问操作.

静态密码的优点是简单且成本低,但是如果用户不去修改它,那么这个密码就是固定不变的、长期有效的,因此这种认证信息的静态性,导致传统密码在很多情况下都有着发生密码泄密的危险.
在整体安全认证中,对于浏览非重要资源的用户可以采用该方法.

动态密码用户每次访问系统资源时产生不同的密码,即动态密码,解决静态密码认证服务发生密码泄密的危险.
如用户登录时,将动态产生的密码已短信的方式发送到用户的手机上.
用户输入动态密码后,系统将用户名和动态密码传送到认证中心,并和认证中心保存的用户信息进行比对.

CA证书数字证书是目前最常用一种比较安全的身份认证技术.
数字证书技术是在PKI体系基础上实现的,用户不但可以通过数字证书完成身份认证,还可以进一步进行安全加密,数字签名等操作.
数字证书的存储方式非常灵活,数字证书可被直接存储在计算机中,也可存储在智能卡或USBKey中.
指纹识别生物识别是利用用户所特有的、可测量的生理和行为特征进行身份认证的一种技术.
生物识别主要包括指纹、虹膜、人脸识别.
最常见的生物识别是指纹识别,指纹识别通常是先采集用户指纹图像,系统会对指纹图像进行预处理,去除指纹图像中的噪声,使图像画面清晰,然后再提取指纹特征,存入指纹库,当用户输入指纹信息时,系统将新输入指纹的特征信息与指纹库中所存指纹的细节特值进行对比,找出最相似的指纹作为识别的输出结果.

OAuth2认证OAuth(开放授权)是一个开放标准,允许用户授权第三方网站访问他们存储在另外的服务提供者上的信息,而不需要将用户名和密码提供给第三方网站或分享他们数据的所有内容.
Atuth2是OAuth协议的延续版本,要么通过组织在资源拥有者和HTTP服务商之间的被批准的交互作代表用户,要么允许第三方应用代表用户获得访问的权限.
同时为Web应用、桌面应用和收集、起居室设备提供专门的认证流程.

在线用户管理系统管理员可以查看当前在线用户列表,提供强制用户下线功能.
用户日志收集业务系统所有的访问请求都需经单点登陆认证服务器认证,因此用户日志通过单点登陆认证服务器收集.
需详细记录用户访问的应用系统、模块、功能,便于日后审计和统计分析.
信息集成聚集各应用系统的信息和资源.
集中待办、待阅、任务、日程、站内容消息,实现统一待办;集成日程安排,实现日程集中管理;集成站内消息,实现站内消息的集中展示和提醒.
待办待阅任务对接各应用系统同步待办、待阅、任务数据至综合门户.
综合门户集中展示用户在各应用系统的待办、待阅和任务.
办公人员不需一一进入各应用系统,即可办理日常业务,实现统一待办.
日程对接各应用系统将用户的日程安排信息同步至综合门户,综合门户集中展示用户的所有日程安排,实现日程集中管理.
站内信息对接各应用系统将用户的站内消息同步至综合门户.
综合门户集中展示和提醒用户接收的站内消息.
办公人员不需一一进入各应用系统查看消息,提高办公效率.
门户定制可通过界面定制功能定制不同维度的多级门户,如基于角色可定义领导门户;基于组织机构可定义不同的部门门户.
同时普通用户也可以根据自己的实际需求将自己关心的内容和功能组织起来形成自己的个人门户.
界面定制功能主要包括门户组件管理、页面布局模板定制、页面风格定制以及内容定制.
部件管理部件是指在综合门户上展示的栏目、图表等粗粒度界面元素.
这些部件是由综合门户管理员是在部件管理功能中进行注册和维护.
常用的部件有应用导航、快捷办公、通讯录、通知公告、待办、待阅、任务、友情链接、日程管理、统计报表(由数学模型动态产生).
可根据需要定制部件并利用部件管理进行注册,注册后的部件就可以在定制门户时使用.

模板管理模板用来定义某类门户的整体结构,如采用上中下、左中右结构、左右结构,各个结构部分的高度和宽度.
综合门户管理人员利用模板管理功能注册新模板,对所有可用模板进行维护.
综合门户预先定义了适用于普通办公人员、领导、系统管理员办公门户的3种模板.

门户管理综合门户管理员负责维护所有门户,包括个人办公门户、领导门户.
提供门户布局设计器,采用所见即所得的方式,选择适用的模板,选择需要的部件拖入设计器,调整部件的位置和顺序.
将门户授权给角色或具体人员,这类角色或该人员登录后,所看到的就是授权的门户页面风格、组件和内容.

内容管理维护和发布门户空间各展示区域的数据,如通知公告、快捷办公、友情链接、通讯录、新闻等.
通知公告管理利用通知公告管理功能,系统管理员可以发布全网公告,所有用户都能接收到.
单位管理员也可以发通知公告给其它单位,单位的人员登录综合门户后能接收到发给本单位的所有通知公告.
友情链接管理通过友情链接管理来维护它事务单位网站的外链,在综合门户上可展示所有的友情链接,点击链接可进入相应单位的网站.
快捷办公管理对用户经常使用功能,系统管理员可以通过快捷办公管理功能,将这些功能对应的应用系统的内部链接管理起来.
在综合门户的快捷办公部件中统一展示,用户在综合门户上直接点击这些链接即可跳转进入应用系统的具体功能界面.

通讯录管理建立统一的通讯录,数据来源是各单位办公室统一维护的单位人员信息库;在统一通信录的基础上可以轻松地建立部门和个人通讯录.
根据管理权限,每个工作人员只能见到能访问通讯信息.
综合办公门户展示用户通信录,以便用户可以方便地进行联络沟通,并提供通信录维护功能.
详情请参考用户中心的单位人员管理功能.

互动交流管理员在互动交流版块可以管理用户在门户上的提问,对不当的提问进行删除操作,对正常的提问进行回复.
新闻管理管理员可以通过新闻管理功能管理门户上的新闻内容,可对新闻进行增加、修改、删除、发布操作,新闻内容必须经过发布操作才会在门户上进行展示.
渲染门户空间用户登录成功后,立即展示的界面是管理员其定制好的门户空间.
门户空间是基于管理员定制门户空间的模板、部件及其布局来渲染的.
门户空间不负责具体内容的展示,而是由部件负责内容的加载和刷新.
常用的部件有应用导航、快捷办公、通讯录、通知公告、待办、待阅、任务、友情链接、日程管理、统计报表,也可在部件管理功能中添加新的部件.

站内消息查看在综合门户显示当前用户接收到的站内消息.
个人信息管理用户可以在综合门户上修改自己的个人信息,如手机号码、EMAIL等,实现用户信息的及时更新.
用户也可对密码进行及时变更,保障个人账户的安全性.
部件定制对于用户个人办公空间上展示的部件,用户可以自行选择是否展示或隐藏.
界面布局调整用户可以对个人办公空间上的部件位置、顺序进行调整,满足个性化需求.
应用设置用户可以设置应用导航部件上的应用系统是否展示或隐藏.
快捷办公设置用户可以设置快捷办公部件上的快捷办公链接是否展示或隐藏.
领导指挥舱领导桌面是专门针对各级领导个性化定制的个人门户,是领导办公业务的统一入口及信息集中展示平台.
可根据领导的角色、权责范围以及个性化需求定义不同的界面布局、展现内容以及展现方式,从而让领导的日常办公操作更加人性化和便捷高效.

除此之外,领导桌面还可以整合展示来源于外部的各类信息资源,以大数据服务应用支撑为基础,结合中心资料库,通过海量数据挖掘、多维度分析、智能知识库加载、结构/非结构化数据融合等技术进行数据分析,辅助领导决策.

领导桌面部件管理部件是指在领导桌面上展示的栏目、图表等粗粒度界面元素.
这些部件是由领导桌面管理员是在部件管理功能中进行注册和维护.
常用的部件有工业经济、宏观经济、商事主体等统计报表(由数学模型动态产生).
可根据需要定制部件并利用部件管理进行注册,注册后的部件就可以在领导桌面管理时使用.

领导桌面模板管理模板用来定义某领导桌面的整体结构,如采用上中下、左中右结构、左右结构,各个结构部分的高度和宽度.
领导桌面管理人员利用模板管理功能注册新模板,对所有可用模板进行维护.
领导桌面预先定义了普通领导桌面模板.

领导桌面设计及管理领导桌面管理员负责维护所有领导桌面.
通过门户布局设计器,采用所见即所得的方式设计领导桌面,可选择适用的模板,将需要的部件拖入设计器,并可调整部件的位置和顺序.
将领导桌面授权给角色或具体领导,这类角色或该领导登录后,所看到的就是授权的领导桌面页面风格、组件和内容.

领导桌面渲染领导登录成功后,立即展示的界面是管理员其定制好的领导桌面.
领导桌面是基于管理员定制的模板、部件及其布局来渲染的.
领导桌面不负责具体内容的展示,而是由部件负责内容的加载和刷新.
常用的部件有大气环境状况、水环境状况、声环境状况等统计报表,也可在部件管理功能中添加新的部件.

领导桌面个人定制领导可对桌面上展示的部件选择是否展示或隐藏,对桌面上的部件位置、顺序进行调整,满足个性化需求.
运行管理平台建设运营支撑平台目的是为了建立政务信息资源共享交换平台运行管理系统,实现平台的全面运行环境监测、安全化以及智能化运维、数据定制化服务,为整个信息资源共享交换平台的稳定运行监管提供技术和服务支撑.

监控平台建设目标监控系统实现对IT系统基础环境及各项业务系统的运行情况进行监控,建立集中的告警分析处理和故障预警机制,有效帮助运维人员快速定位故障,提高运维效率.
包括服务器、存储、网络、系统软件、中间件(包含应用服务器、数据库等)、应用系统的运行状态的监控和预警.

提供智能化的监控服务,包括自动巡检、服务接口自动巡检、平台运行日报和周报、异常事件日志监控等.
能实时了解IT资源的使用情况,根据需要从整体角度考虑资源的配置、调剂和使用,提高资源的有效利用率.
包括服务器的CPU、内存、磁盘空间、网络及磁盘IO使用情况的监控和预警.
平台功能监控管理实现对IT系统的全面监控,对IT信息环境及各项业务系统的运行情况进行监控,建立集中的告警分析处理和故障预警机制,有效帮助运维人员快速定位故障,提高运维效率.
包括服务器、存储、网络、系统软件、中间件(包含应用服务器、数据库等)、应用系统的运行状态和系统资源利用率的监控.

节点管理运维管理人员可以注册新节点,建立节点档案.
可以修改节点信息、启用和禁用节点.
数据源管理运维管理人员可以注册新数据库,建立数据库档案,可以修改数据库信息、启用或禁用数据库.
数据库档案包括包括IP地址、数据库实例名、用户名、密码、端口、所属节点IP等连接属性,作为后续的监控及数据运维的对象.

网络设备管理运维管理人员可以注册交换机、路由器档案,对其进行管理.
网络设备档案包括IP、snmp端口、snmp版本等信息,作为后续的网络设备监控的基础信息.
应用服务器管理运维管理人员可以注册新应用服务器,建立应用服务器档案,修改应用服务器信息.
应用服务器档案信息包括访问地址、访问端口、所属节点IP地址等属性信息,作为后续的监控及系统运维的对象.
应用系统管理运维管理人员可以注册新应用系统,建立应用系统档案,可以修改应用系统信息.
应用系统档案包括所属应用服务器、应用访问上下文等属性,作为后续监控的基础信息.
监控项启用管理监控项是指服务器、数据库、应用服务器、应用系统和CPU、磁盘、内存等监控类型,监控规则是指监控项适用的节点、监控方式和参数信息.
监控平台定时器需根据配置的监控启用项和监控规则启动对应监控.

监控项禁用管理对于不需要启用的某种监控项或节点、数据库、应用系统,可配置为监控禁用项.
监控平台定时器需根据配置的监控禁用项来决定是否启用某监控.
通知地址管理对通知地址进行管理,支持邮件、短信和系统通知3种类型的地址注册.
邮件对应的是邮箱地址,短信对应的电话号码,系统通知对应的是webservice或restapi的地址.
通知发送列表展示监控系统相关通知的发送详情,包含通知方式,通知内容的标题以及通知创建时间,点击具体记录可以查询通知的详细内容并提供下载功能.
应用环境监控实现对IT系统的全面监控,对IT信息环境及各项业务系统的运行情况进行监控,建立集中的告警分析处理和故障预警机制,有效帮助运维人员快速定位故障,提高运维效率.
包括服务器、存储、网络、系统软件、中间件(包含应用服务器、数据库等)、应用系统的运行状态和系统资源利用率的监控.

监控看板基于拓朴图、以节点为组织,展示平台所有节点及节点上的服务的运行状态,节点状态包括所有服务正常、部分服务异常、服务器网络中断3种状态,可查看具体节点的服务运行状态明细.
能实时查看各监控对象的预警信息和各监控对象分类的监控统计信息.
连通状态详情定时器需根据配置的监控项和监控规则驱动对应监控的数据采集,收集监控状态并过滤分类后产生监控结果.
支持服务器、存储、网络、系统软件、中间件(包含应用服务器、数据库等)、应用系统等资源的连通性监控.
能展示以下连通状态详情:系统资源使用情况图表化展示绑定服务器的CPU使用率、内存使用率、磁盘空间使用状态、MQ磁盘使用状态、DB磁盘适用状态的监控结果,状态分为正常、次要、紧急三种,并且以不同颜色标注,使运维人员能通过观图表迅速得出系统资源使用状态紧急的情况从而采取相应处理措施.

前置订阅关系状态通过图形展示与表格展示两种展示方式展示平台中存在订阅关系的单位前置机的互联互通情况.
网络设备状态图表化展示网络设备包括交换机、路由器的连通和预警状态.
数据库性能图表化展示数据库的连通和预警状态、数据库的连接情况.
应用服务器性能图表化展示应用服务器的连通和预警状态、进程和内存使用情况.
运维平台建设目标运维系统主要用于整个统一业务应用系统平台的日常运维和管理,保障平台的高效和稳定运行.
平台功能数据运维数据源管理运维人员可以注册新数据库,建立数据库档案,可以修改数据库信息、启用或禁用数据库.
数据库档案包括包括IP地址、数据库实例名、用户名、密码、端口、所属节点IP等连接属性,作为后续的监控及数据运维的对象.

数据查询运维人员选择数据库连接成功后可查询具体数据库的相关信息,数据更新运维人员输入SQL脚本,选择要执行脚本的目标数据库,并输入执行脚本的备注说明等信息,建立系统表运维单,提交,由运维经理审核后开始真正执行.
脚本执行结果在运维单的详情中展示.
备份策略管理提供要备份的数据源及备份策略的新增/修改/删除操作,并可进行备份的启动、停止操作.
备份管理查看备份的执行日志及产生的备份文件,并可选定备份文件进行数据库的恢复.
恢复记录查看数据库恢复的执行日志.
列表信息包含:恢复数据源、恢复数据源IP、数据库类型、恢复文件名、备份文件大小、(恢复)状态、创建人、创建时间.
系统运维节点管理运维人员可以注册新节点,建立节点档案.
可以修改节点信息、启用和禁用节点.
节点档案包括节点IP地址、所属单位、中文命名等属性信息,作为后续运维的基础信息.
远程控制台运维人员可以在某个节点上打开一个运维指令控制台,在上面执行已经被授权的运维指令和操作系统命令,并实时查看指令执行的输出结果,这样就不需要使用SSH工具远程登陆到节点上操作,以方便节点的运维管理和权限控制、日志审计.

日常运维指令管理运维经理可以在这里预先录入一些常用的运维指令,并将它们授权给运维人员,或者将运维指令批量的发布到指令的节点上执行.
指令分类运维经理可以在这里对指令分类进行查询/新增/修改/删除操作.
新增时主要是预先录入某些匹配规则,以便识别运维指令的类别.
指令运行跟踪运维人员和运维经理都可以在这里实时查看指令执行的输出和执行状态.
运维指令授权运维经理可以在这里根据实际需求将不同的指令类别/具体指令根据实际业务需要授权给不同的角色,具体的用户则通过绑定指定角色获取运维指令类别/具体指令,从而达到权限控制的目的.
版本管理应用版本管理运维人员可以在这里发布各种应用系统的版本,以便可以通过部署在各运行节点上的运维Shell进行部署、升级.
新增后的版本包需进行发布操作后才能部署到服务器上.
补丁管理运维人员可以在这里发布各种应用系统的某个版本的补丁,以便可以通过部署在运行节点上的运维Shell进行补丁部署和升级.
新增后的补丁包需进行发布操作后才能部署到服务器上.
配置管理运维人员可以在这里发布各种应用系统的项目配置文件,以便可以通过部署在运行节点上的运维Shell进行配置文件的部署和修改.
版本回滚运维人员可以在这里对应用版本、补丁和配置进行回滚操作,以便将最近一个升级更新操作回滚到上一个版本的状态下.
部署进度跟踪运维人员可以在这里实时查看版本、补丁、配置和回滚操作的状态和结果.
安装路径配置这里是版本管理的基础配置,需要配置各应用系统在各运行节点上的安装路径,以便向运维Shell发送版本管理指令时,运维Shell可以正确地将版本、补丁、配置部署到对应的路径上并重启对应的应用和服务.

节点应用关联运维经理/人员可以在改页面控制关联哪些节点上可以部署哪种类型的应用,以便简化运维人员发布版本管理的操作.
运维工单运维工单管理工作人员可以在这里提交工单至上级审核,上级审核通过之后将任务分配给运维人员,运维人员接单之后可以对任务进行跟踪直至处理结束.
运维工单处理结束后经过归档操作则会纳入运维知识库.
运维知识库运维知识库包含2种来源,一种为手动新增,另一种为运维工单处理完成后的归档.
该页面可提供运维知识库的查询/新增/修改/删除操作.
运维知识库分类提供运维知识库知识类别的管理,可以对知识类别进行增删查改操作.
行为管理系统操作日志展示用户操作日志、系统表运维日志、指令跟踪日志三种运维日志,这些日志记录了具体时间、IP、操作、内容、结果等信息,从而可以找出系统运维过程出现问题的具体原因.
数学模型建模系统建设目标数学模型建模系统通过知识库、机器人连接指定基础环境,机器人通过调度任务执行各种数学模型,数学模型连接础环境进行分析计算,从而得出各种分析统计结果,并可作为后续自动化智能化决策或解决方案的依据.

平台功能知识库管理规则模型库管理规则模型是数学模型输入参数的匹配处理规则,可以让数学模型接收任意类型任意格式的数据,并通过规则模型匹配处理得出数学模型所需要的参数.
标准模型库管理标准模型库管理是数学模型输出参数的格式化处理标准,可以让数学模型输出指定标准格式的数据.
数学模型管理数学模型是智能运维的核心,它以机器人语言的形式描述了机器人任务的处理流程、操作定义、调用规则、执行内容、输入输出等处理逻辑,由机器人在指定调度时间里调用数学模型解释器,数学模型解释器加载数学模型、分析数学模型、处理执行数学模型、并输出数学模型的计算结果,机器人最后将输出结果保存.

数学模型中可以调用平台服务、调用外部服务、发送运维指令、收集事件异常等等.
数学模型是一个解决方案的定义,由XML语言描述,有各种语法和主义,并由数学模型解释器相应的组件来执行处理.
由数学模型库、规则模型库、标准模型库、页面组件库、事件异常分类组成的知识库可以实现自动化、智能化运维.

数学模型有建模工具和调试器来编写,可以在友好的可视化界面上完成建模和调试工作.
页面组件管理页面组件是数学模型输出展示的一种表达,可以是一种页面html、javascript脚本、静态文本等形式.
从而实现多样的数学模型输出格式.
事件异常分类事件异常分类定义了机器人处理系统事件、系统异常时的匹配规则,并将匹配的事件、异常交由指定的数学模型进行处理.
机器人与任务机器人管理运维人员可以在这里新增、修改、删除机器人的定义,机器人有2种类型:任务机器人、监控机器人.
可以启动、停止、废弃机器人.
任务定义机器人任务定义是由数学模型来作为任务的执行分析处理逻辑,任务描述来说明目的.
任务最后会分配给机器人调度执行.
机器人任务分配运维人员可以在这里给机器人分配不同的任务,指定任务的调度规则.
挂起管理数学模型在分析处理过程中,可能会在某些指定的条件达成后挂起,并生成挂起记录,挂起同时会产生邮件、短信或界面方式的通知.
由操作人员手工决定是否让挂起恢复执行.
通知发送列表这是机器人对数学模型输出结果的记录,将以邮件、短信的方式生成通知.
运维人员可以在这里查看各种通知信息和通知发送状态.
通知地址管理通知地址的管理页面,可以对通知地址进行增删改查操作.
接口服务管理服务管理与发布这里可以管理向外提供服务的数学模型接口,可以进行增、删、改、查,启用、禁用、和发布.
数学模型服务接口有3种类型:http接口、webservice接口和socket接口.
分别对应于不同应用系统接入需求.

应用系统接入管理第三方应用系统的接入管理,并为应用系统分配一个appkey,这样应用系统每次调用发布了的数学模型服务接口时,必须提供此appkey为作鉴权.
这里可以进行增、删、改、查、启用、禁用、重新生成appkey、设置appkey有效期、给应用系统分配数学模型服务接口.
服务检索用户通过页面搜索功能可以快速定位到具体的接口服务,同时可以查看每个对外提供服务的接口详细说明信息(可以理解为服务接口说明文档).
定制化服务系统建设目标定制化服务系统通过数据可视化功能提供BI(BusinessIntelligent)方案,可以快速生成商业分析用的各种图表和交互元素,协助决策人员进行业务数据分析和挖掘.
同时对外提供接口服务,可将数据报表以及BI方案生成的图表交互页面通过接口形式发布给外部系统使用.

平台功能数据可视化数据源管理数据源是连接第三方数据库的各种参数设置信息.
工作人员可以在这里管理维护各种需要进行报表分析的数据源信息.
同时该功能模块提供通过Excel导入的方式创建数据源,以便适应于不能直连第三方数据库的情景.

数据集管理数据集是数据源中某一个表或一个查询语句返回的行列数据集.
数据集将会是后续仪表板中图表的绑定对象,绑定成功之后便可在图表上展示数据.
数据集定义了图表所需要的维度、量度的信息.
数据集可以进行关联,从而得到业务所需要的数据.

工作表管理工作表是对数据集的进一步处理,比如过滤列,加入复杂的查询条件等.
页面列表展示已经整理好的数据集,点击修改可以对数据集进行修改操作,可选择对不同维度的排序整理,也可以根据需要针对不同的字段进行增加过滤条件,同时操作界面提供预览功能,可查看整理好的工作表效果.

仪表板管理仪表板管理是将各种图表、界面交互元素以相应的布局组合而成的报表看板,这里将提供仪表板的图形化建模工具,可以方便快捷地通过拖放图表和交互元素来生成仪表板.
我的仪表板页面展示已经创建好的所有仪表板效果图并提供查询功能.
在此页面上用户可以直接预览全部已经创建完成的仪表板.
领导驾驶舱通过汇集各类基础数据、平台数据、主题库数据、业务数据,集中化、实时化、图形化展示各类业务数据、投放到大屏墙上显示,以辅助领导做决策和分析.
提供丰富多彩的各类统计图表、地图图表,布局样式、界面元素,以便生成可以满足各种大屏定制场景需求的效果.

接口服务管理服务管理与发布管理向外提供服务的定制化(包含数据处理和可视化图表)接口,可以对接口服务进行增、删、改、查,启用、禁用、和发布操作.
服务接口有3种类型:http接口、webservice接口和socket接口,可以灵活满足不同应用系统的接入需求.

应用系统接入管理第三方应用系统的接入管理,并为应用系统分配一个appkey,这样应用系统每次调用发布了的定制化服务接口时,必须提供此appkey为作鉴权.
这里可以进行增、删、改、查、启用、禁用、重新生成appkey、设置appkey有效期、给应用系统分配数学模型服务接口.
服务检索用户通过页面搜索功能可以快速定位到具体的接口服务,同时可以查看每个对外提供服务的接口详细说明信息(可以理解为服务接口说明文档).
信息安全与支撑平台建设信息安全信息安全为硬件、软件、物理环境及基础设施保驾护航,不受偶然的或者恶意的原因而遭到破坏、更改、泄露,系统连续可靠正常的运行,信息服务不中断,最终实现业务连续性.
信息安全设计物理安全物理安全风险主要是指网络周边的环境和物理特性引起的网络设备和线路的不可使用,从而会造成网络系统的不可使用,甚至导致整个网络的瘫痪.
它是整个网络系统安全的前提和基础,只有保证了物理层的可用性,才能使得整个网络的可用性,进而提高整个网络的抗破坏力.
例如:机房缺乏控制,人员随意出入带来的风险;网络设备被盗、被毁坏;线路老化或是有意、无意的破坏线路;设备在非预测情况下发生故障、停电等;自然灾害如地震、水灾、火灾、雷击等;电磁干扰等.
为满足物理安全相关技术要求,系统部署机房、办公场地要具备一定程度防震、防火、防风、防雷、防水、防潮、防静电、防雷击、防盗窃、防破坏的能力;同时加强机房场所的管理,要有专人值守和规范化的机房进出申请、审批、登记制度,来访人员有专人全程陪同,并限制和监控其活动范围;以及要有温湿度控制、电力供应保障、电磁防护等防护措施.

网络安全网络的安全根据应用的安全级别有不同的安全性措施,在将来可能的应用中,网络安全性级别由高到低的顺序依次为:市政府内网、市政府公众网、市政府外网.
网络结构的安全主要指,网络拓扑结构是否合理;线路是否有冗余;路由是否冗余,防止单点失败等.
根据国家对网络安全性要求,在市政府内网与市政府外网之间、市政府内网与市政府公众网门户之间都有相应的规定,必须遵守这些规章制度.
特别是外网与内网之间必须在物理上隔离.
在考虑内网系统的安全性时,需要重点考虑以下问题:数据链路层及网络层的信道加密;网络防火墙、访问代理、攻击检测;系统监控、日志分析等.
设备安全设备安全主要包括设备的防盗、防毁、防电磁信息辐射泄漏、防止线路截获、抗电磁干扰及电源保护等;设备冗余备份;通过严格管理及提高员工的整体安全意识来实现.
主机设备主要指数据库服务器、应用服务器、邮件服务器、文件传输服务器等,这些设备的安全性主要由主机本身来保证.
对于工作站、输入/输出设备等设备来说,可根据应用安全性要求,采取不同的安全性措施(这里包括管理措施),特别是对于核心应用而言,建议采用设备证书方式加强其安全性.
设备证书是平台设备的身份证书,可信WEB服务平台使用多证书实体密码鉴别器作为设备证书.
多证书实体鉴别密码器是信息安全平台的终端产品系列之一和用户终端PKI安全服务调用的支持设备,是密钥材料、密码运算的载体,是实现基于PKI架构的"一人一证","一机一证"的强身份管理的关键设备,为分布式计算环境中终端实体(包括用户个人和终端设备)提供唯一性身份标识,多证书实体鉴别密码器同样是为上层应用提供各种PKI服务支持以及用户敏感信息的存储管理的设备.

系统安全操作系统安全对于操作系统的安全防范可以采取如下策略:尽量采用安全性较高的网络操作系统并进行必要的安全配置、关闭一些起不常用却存在安全隐患的应用、对一些保存有用户信息及其口令的关键文件(如WindowsNT下的LMHOST、SAM等)使用权限进行严格限制;加强口令字的使用(增加口令复杂程度、不要使用与用户身份有关的、容易猜测的信息作为口令),并及时给系统打补丁、系统内部的相互调用不对外公开.

通过配备操作系统安全扫描系统对操作系统进行安全性扫描,发现其中存在的安全漏洞,并有针对性地进行对网络设备重新配置或升级.
应用系统安全在应用系统安全上,应用服务器尽量不要开放一些没有经常用的协议及协议端口号.
如文件服务、电子邮件服务器等应用系统,可以关闭服务器上如HTTP、FTP、TELNET、RLOGIN等服务.
还有就是加强登录身份认证.
确保用户使用的合法性;并严格限制登录者的操作权限,将其完成的操作限制在最小的范围内.
充分利用操作系统和应用系统本身的日志功能,对用户所访问的信息做记录,为事后审查提供依据.

隔离与访问控制(1)严格的管理制度可制定的制度有:《用户授权实施细则》、《口令字及账户管理规范》、《权限管理制度》、《安全责任制度》等.
(2)配备防火墙防火墙是实现网络安全最基本、最经济、最有效的安全措施之一.
防火墙通过制定严格的安全策略实现内外网络或内部网络不同信任域之间的隔离与访问控制.
并且防火墙可以实现单向或双向控制,对一些高层协议实现较细粒的访问控制.

入侵检测利用防火墙并经过严格配置,可以阻止各种不安全访问通过防火墙,从而降低安全风险.
但是,网络安全不可能完全依靠防火墙单一产品来实现,网络安全是个整体的,必须配相应的安全产品,作为防火墙的必要补充.
入侵检测系统就是最好的安全产品,入侵检测系统是根据已有的、最新的攻击手段的信息代码对进出网段的所有操作行为进行实时监控、记录,并按制定的策略实行响应(阻断、报警、发送E-mail).
从而防止针对网络的攻击与犯罪行为.
入侵检测系统一般包括控制台和探测器(网络引擎).
控制台用作制定及管理所有探测器(网络引擎).
探测器(网络引擎)用作监听进出网络的访问行为,根据控制台的指令执行相应行为.
由于探测器采取的是监听不是过滤数据包,因此,入侵检测系统的应用不会对网络系统性能造成多大影响.

病毒防护由于在网络环境下,计算机病毒有不可估量的威胁性和破坏力.
我们都知道,网络系统中使用的操作系统一般均为WINDOWS系统,比较容易感染病毒.
因此计算机病毒的防范也是网络安全建设中应该考虑的重要的环节之一.
反病毒技术包括预防病毒、检测病毒和杀毒三种技术.

应用安全资源共享严格控制内部员工对网络共享资源的使用.
在内部子网中一般不要轻易开放共享目录,否则较容易因为疏忽而在与员工间交换信息时泄漏重要信息.
对有经常交换信息需求的用户,在共享时也必须加上必要的口令认证机制,即只有通过口令的认证才允许访问数据.
虽然说用户名加口令的机制不是很安全,但对一般用户而言,还是起到一定的安全防护,即使有刻意破解者,只要口令设得复杂些,也得花费相当长的时间.

信息存储对有涉及秘密信息的用户主机,使用者在应用过程中应该做到尽量少开放一些不常用的网络服务.
对数据服务器中的数据库必须做安全备份.
通过网络备份系统,可以对数据库进行远程备份存储.
信息安全保障体系安全保障是综合的、相互关联的,不仅仅是技术问题,而是人、管理和技术三大要素的结合,构成动态的信息与网络安全保障体系框架WPDRR模型,实现系统的安全保障.
WPDRR是指:预警(Warning)、保护(Protection)、检测(Detection)、反应(Reaction)、恢复(Recovery),五个环节具有时间关系和动态闭环反馈关系.

信息安全体系基本框架示意图预警:利用远程安全评估系统提供的模拟攻击技术来检查系统存在的、可能被利用的脆弱环节,收集和测试网络与信息的安全风险所在,并以直观的方式进行报告,提供解决方案的建议,在经过分析后,了解网络的风险变化趋势和严重风险点,从而有效降低网络的总体风险,保护关键业务和数据.

保护:保护通常是通过采用成熟的信息安全技术及方法来实现网络与信息的安全,主要有防火墙、授权、加密、认证等.
检测:通过检测和监控网络以及系统,来发现新的威胁和弱点,强制执行安全策略.
在这个过程中采用入侵检测、恶意代码过滤等等这样一些技术,形成动态检测的制度,建立报告协调机制,提高检测的实时性.

反应:在检测到安全漏洞和安全事件之后必须及时做出正确的响应,从而把系统调整到安全状态.
为此需要相应的报警、跟踪、处理系统,其中处理包括封堵、隔离、报告等子系统.
恢复:灾难恢复系统是当网络、数据、服务受到黑客攻击并遭到破坏或影响后,通过必要的技术手段(如容错、冗余、备份、替换、修复等),在尽可能短的时间内使系统恢复正常.
安全区域策略根据安全区域的划分,主管部门应制定针对性的安全策略.
1、定期对关键区域进行审计评估,建立安全风险基线2、对于关键区域安装分布式入侵检测系统;3、部署防病毒系统防止恶意脚本、木马和病毒4、建立备份和灾难恢复的系统;5、建立单点登录系统,进行统一的授权、认证;6、配置网络设备防预拒绝服务攻击;7、定期对关键区域进行安全漏洞扫描和网络审计,并针对扫描结果进行系统加固.
网络安全管理在网络安全中,除了采用上述技术措施之外,加强网络的安全管理,制定有关规章制度,对于确保网络的安全、可靠地运行,将起到十分有效的作用.
安全体系建设中,安全管理是一个非常重要的部分.
任何的安全技术保障措施,最终要落实到具体的管理规章制度以及具体的管理人员职责上,并通过管理人员的工作得到实现.
安全管理遵循国际标准ISO17799,它强调管理体系的有效性、经济性、全面性、普遍性和开放性,目的是为希望达到一定管理效果的组织提供一种高质量、高实用性的参照.
各单位以此为参照建立自己的信息安全管理体系,可以在别人经验的基础上根据自己的实际情况进行设计、取舍,以达到对信息进行良好管理的目的.
信息安全不仅仅是一个技术问题,更重要的是一个管理问题.
对一种资产进行保护的最好方法就是为它建立一个完整的、科学的管理体系.
建立和实施信息安全管理体系(ISMS)是保障企事业单位、政府机构信息安全的重要措施.
目前世界上包括中国在内的绝大多数政府签署协议支持并认可ISO17799标准.

其组成部分如图所示,各模块的作用如下:管理体制图1)总体策略确定安全的总体目标,所遵循的原则.
2)组织确定安全策略之后,必须明确责任部门,落实具体的实施部门.
3)信息资产分类与控制、职员的安全、物理环境的安全、业务连续性管理有了目标和责任单位,紧接着要求我们必须仔细考虑流程,从信息资产、人、物理环境、业务可用性等方面考虑安全的具体内容.
4)通信与操作安全、访问控制、系统开发与维护这三方面属于解决安全的技术问题,即解决如何做的问题如何通过技术支撑安全目标、安全策略和安全内容的实施.
5)检查监控与审计用于检查安全措施的效果,评估安全措施执行的情况和实施效果.
安全运行组织安全运行管理组织体系主要由主管领导、信息中心和业务应用相关部门组成,其中领导是核心,信息中心是系统运行管理体系的实体化组织,业务应用相关部门是系统支撑平台的直接使用者.
确定系统内部的管理职能部门,明确责任部门,也就是要组织安全运行管理团队,由该部门负责运行的安全维护问题.
安全管理制度面对网络安全的脆弱性,除在网络设计上增加安全服务功能,完善系统的安全保密措施外,还必须建立网络的安全管理.
明确安全职责,制定安全管理制度,实施安全管理的原则为:多人负责原则、任期有限原则、职责分离原则.

应急响应机制筹建管理人员和技术人员共同参与的内部组织,提出应急响应的计划和程序,提供计算机系统和网络安全事件的提供技术支持和指导;提供安全漏洞或隐患信息的通告、分析;事件统计分析报告;提供安全事件处理相关的培训.

信息安全病毒防御网络入侵防御网络入侵检测系统基于网络和系统的实时安全监控,对来自内部和外部的非法入侵行为做到及时响应、告警和记录日志,具体功能描述如下:支持统一的管理平台,实现集中式的安全监控管理;自动识别攻击类型;支持按行为特征的入侵检测;能够在检测到入侵事件时,自动执行预定义的动作,包括切断服务、记录入侵过程、邮件报警等方式;支持集中的攻击特征和攻击取证数据库管理;支持攻击特征信息的集中式发布和攻击取证信息的分布式上载;提供对监视引擎和检测特征的定期更新服务,更新方式有多种,包括厂家的直接服务和联网更新操作;支持内置的风险评估工具(扫描器);具有内置的网络使用状况监控工具和网络监听工具;支持纳入网络信任域进行可信管理.
漏洞扫描与系统加固目前,本项目可能存在以下漏洞:系统设置配置不当使得普通用户权限过高;管理员由于操作不当使得系统被安装了后门程序;系统本身或应用程序存在可被利用的漏洞.
网络漏洞扫描系统主要扫描以下内容:Web服务;FTP服务;守护进程;电子邮件服务;CGI-BIN;浏览器设置;RPC攻击;特定的强力攻击选项;拒绝服务攻击检测;安全市检测;用户策略.
网络漏洞扫描系统必须能够动态地分析目标系统的安全脆弱性,并实现以下功能:根据不同的对象类型,自动寻找匹配的扫描策略进行下一步的分析扫描.
远程在线升级远程下载升级模块,自动完成升级过程.
灵活的策略配置可按照特定的需求配置多种扫描策略和扫描参数,实现不同内容、不同级别、不同程度、不同层次的扫描.
多种形式的报表全面详细的分析报告能力,可根据用户的不同需求提供不同层次的报告,并提供安全补丁供应商的热连接,快速及时的修补漏洞.
实用的模拟攻击工具系统提供用于测试的模拟攻击,较好反映了黑客实际攻击的必经之路,同时对被测试系统的测试力度可控,不会为系统带来危害.
合理的结构化设计、模块的继承性,使得系统具有很大的可扩展空间.
信息防篡改Web信息防篡改系统是网络安全防御体系的重要组成部分,它监控Web服务器和应用服务器上的文件目录,并通过可信部署进行合法更新.
系统中使用的Web信息防篡改系统必须符合以下功能:必须能够支持多种服务器操作系统,例如:Windows系列、UNIX系列、Linux系列等;必须具有非常高效的信息扫描速率,同时,还不影响服务器的工作效率;具有集成发布与监控功能,使系统能够区分合法更新与非法篡改;实时发布与备份;自动监控;自动恢复;自动报警;日志管理;扫描策略管理;更新管理.
支撑平台集成管理支撑平台(PowerEIMS)在长期的开发使用中,已经积累了很多成熟的可复用的模块,使用这些模块可以极大地缩短开发周期,提高开发质量.
在公司开发的产品和项目中,可以完全复用或以很小的改动重用PowerEIMS的功能模块.
支撑平台主要由数据管理、认证服务、组织机构管理、日志管理、表单建模、流程引擎、通信服务、平台组件、接口管理、服务管理、权限体系等功能组成.

建设目标使用PowerEIMS作为开发基础平台可以直接满足政务信息资源共享交换平台的支撑需求,实现以下建设目标:实现认证、授权等基础功能的统一管理,为各部门提供基础功能服务;为跨部门应用系统建设提供技术支撑环境和服务;在新的信息交换与共享平台上开发新应用,实现信息资源的最大增值.
平台功能数据同步基于细粒度授权的需求,各业务系统必须有组织机构和人员信息的支撑,来实现业务系统内部的细粒度授权.
各业务系统必须从用户中心同步组织人员的基本信息.
首先在用户中心注册业务系统的接入信息,指定其组织结构和用户信息同步策略,用户中心管理员对业务系统接入信息进行核准和授权.
提供以下数据同步服务接口:1)组织机构信息全量同步接口;2)组织机构信息增量同步接口;3)人员信息全量同步接口;4)人员信息增量同步接口.
提供API,支持各类同构与异构系统的接入,提供至少2种主流开发语言的SDK包.
认证服务提供全市集中身份认证服务,实现用户访问各应用资源的认证入口集中化和统一化.
对于重要的应用系统或功能模块,为加强安全性,需引入可靠的认证体系来对用户进行安全管理,通过为各个用户分配安全的身份凭证,确保各个应用系统登录的安全性.
同时,由于各应用系统自身的安全等级不同,统一用户及授权管理系统应能根据应用资源的不同安全等级支持不同的身份凭证注册及认证,如静态密码、动态密码、CA证书、指纹识别,实现不同安全等级的统一身份认证服务.

静态密码静态密码是最传统且最普遍的身份认证方法,通常采用如下形式:当用户需要访问系统资源时,系统提示用户输入用户名和口令.
系统采用加密方式或明文方式将用户名和口令传送到认证中心.
并和认证中心保存的用户信息进行比对.
如果验证通过,系统允许该用户进行随后的访问操作,否则拒绝用户的下一步的访问操作.

动态密码用户每次访问系统资源时产生不同的密码,即动态密码,解决静态密码认证服务发生密码泄密的危险.
如用户登录时,将动态产生的密码以短信的方式发送到用户的手机上.
用户输入动态密码后,系统将用户名和动态密码传送到认证中心,并和认证中心保存的用户信息进行比对.

CA证书数字证书是目前最常用一种比较安全的身份认证技术.
数字证书技术是在PKI体系基础上实现的,用户不但可以通过数字证书完成身份认证,还可以进一步进行安全加密,数字签名等操作.
CA中心的服务结构将根据各CA中心的具体功能和服务对象而定,典型的服务结构主要包括:证书签发服务、CRL发布服务、证书状态查询服务、证书存储服务、控制台及受理审核服务等.
各证书审核注册中心RA是数字证书申请受理及审核单位,是证书认证系统不可缺少的功能模块,由CA中心授权运作.
RA负责对证书申请者进行资格审查,并决定是否同意给该申请者发放证书,由能够承担这些责任的部门担任.

证书审核注册中心RA下设业务受理点,作为RA的派出单位,业务受理点负责对申请证书的机构、实体进行初步身份审核,并代理RA进行数字证书的发放.
安全服务为项目中的各种应用提供所需的各种安全服务功能.
指纹识别生物识别是利用用户所特有的、可测量的生理和行为特征进行身份认证的一种技术.
生物识别主要包括指纹、虹膜、人脸识别.
组织机构管理根据业务需求,平台提供组织机构管理功能,范围包含党政机关所有的组织对象,功能包括:区划管理、单位管理、人员管理、职能管理等.
区划管理区划管理的元素包含:区划编码、区划名称、上级区划编码、上级区划名称、行政区划级别、排序号、状态等.
操作功能包括:区划新增、区划修改、区划删除、区划查询等.
单位管理单位管理的元素包含:单位名称、单位编号、区划名称、机构类型、排序号、状态等.
操作功能包括:单位新增、单位修改、单位删除、单位查询、下属人员的查看、单位信息导出等.
人员管理人员管理的元素包含:用户名、人员名称、手机号码、排序号、状态等,操作功能包括:人员新增、人员修改、人员删除、人员查询、人员禁用、人员启用、人员信息导出、添加已有人员等.
职能管理职能管理的元素包含:职能名称、职能编号、所属部门、描述等,操作功能包括:职能新增、职能修改、职能删除、职能查询等.
用户组管理用户组管理的元素包含:用户组名称、用户组编号、状态等,操作功能包括:用户组新增、用户组修改、用户组删除、用户组查询、用户组成员的添加等.
日志管理日志跟踪记录登录者的行为信息包含:组织机构管理日志、权限管理日志、个人中心操作日志、流程审批日志等,日志内容包括用户名称、部门、IP地址、操作时间、操作等,并提供日志详情查看功能.
表单建模通过表单定制模块开发人员可以不需要编写代码,只需要通过表单定制引擎中的表单数据定制、表单数据解析、表单数据操作功能来完成对业务表的数据维护操作.
以及在定制表数据维护操作页面添加一系列的扩展功能.

表单配制引擎表单配制引擎包括数据表结构定义、数据展示模板定义、数据操作模板定义,还包括一些界面控件,界面布局控件.
表单解析引擎表单解析引擎会解析开发人员配制的表单配制信息,通过解析信息展现此表单,包括表单的数据显示区域与数据编辑区域.
数据操作引擎数据操作引擎会根据对定制出的表单数据进行数据操作.
包括日常数据维护以及用户配置的一些高级操作.
流程引擎支撑平台提供自主研发的工作流引擎,通过流程编排,统一调控各个业务流程,以确保工作在正确的时间被正确的人执行,达到优化整体业务过程的目的.
BPM概念的贯彻执行,需要有标准化的流程定义语言来支撑,使用统一的语言遵循一致标准描述具体业务流程,这些流程定义描述由专有引擎去驱动执行.
这个引擎就是工作流引擎,它作为BPM的核心发动机,为各个流程定义提供解析、执行、和编排,驱动流程"动"起来,让大家的工作"流"起来,为BPM的应用提供基本、核心的动力来源.

通信服务邮件管理根据业务需求,将用户注册管理与内部邮件实行统一管理,提高内部员工的沟通速度.
邮件管理功能实现记录邮件的发送记录管理和邮件模板管理.
短信管理根据业务需求,实现平台短信的统一管理、统一发送.
手机短信息服务器用来实现手机短信息的接收、存储、转发、重发,短信息的优先级、短信息设定,实时、定时发送,群发,状态监控、配置和管理等,提供开放的接口,方便将短消息系统与各种计算机应用系统结合在一起,平台提供统一的短信接口.

平台组件集成管理平台(PowerEIMS)在长期的开发使用中,已经积累了很多成熟的可复用的模块,使用这些模块可以极大地缩短开发周期,提高开发质量.
在公司开的产品和项目中,可以完全复用或以很小的改动重用PowerEIMS的数据交换中心模块、数据管理模块、企业级搜索平台等模块,完全实现组件化、架构化.
使用PowerEIMS作为开发基础平台可以直接满足各应用平台的技术要求.

提供内容:1.
实现认证、授权等基础功能的统一管理,为各部门提供基础功能服务;2.
为跨部门应用系统建设提供技术支撑环境和服务;3.
在新的平台上开发新应用,提供前端一系列的组件.
接口管理根据业务需求,系统之间业务交互越来越频繁,接口调用也越来越多,提供与其他应用系统的数据交换接口管理功能,方便接口的统一管理、统一维护.
接口管理主要分三大部分:接口配置接口日志接口监控服务管理通过集成管理平台提供的授权管理服务机能,就能建立用户的各层次的访问控制机能,从用户认证和授权、数据库对象的访问控制、用户操作权限控制到系统操作的记录和稽核,确保系统运行的安全性.
通过支撑平台提供的服务组件,用户可以实现应用级的操作日志和审计功能,即记录操作员进入和退出的时间,记录每项重要的操作.
提供对各类操作痕迹的审计追踪功能,确保用户的每个行为都能产生必要的操作痕迹,并能以防抵赖的方式提供事后的审计验证支持.

对外具体开放性、可扩展性,可提供API等接口服务方式与外部系统进行无缝集成对接.
权限体系统一授权管理用户的角色多种多样,在不同的业务系统中具有不同的角色,在不同的岗位具有不同的权限,如何保障多身份下合理的授权,保障业务资源的安全访问,就需要在统一身份用户管理的基础上,实现对所有用户的统一授权管理,构建分布式管理模式,提供灵活的粗细粒度的多种授权模式,包括应用系统级粗粒度访问控制授权、系统功能调用级细粒度访问控制授权以及基于工作流的授权信息审批,从而提供责权分明的资源保护机制,真正实现"各职其责,杜绝越权".

统一授权管理主要是管理员通过用户中心,实现对全市所有用户的授权.
授权主要分为应用系统级的和系统功能调用级两种授权模式.
统一权限管理是按照基于角色的访问控制模型,提供应用、角色、功能、被授权对象和服务范围的管理,采用基于角色的访问控制,用户所能访问的权限就由该用户所拥有的所有角色的功能集合的并集决定.

平台内的所有应用,遵循统一授权管理规范,使用统一的授权接口进行.
统一权限基于SOA架构向应用提供WebService服务用于权限信息查询和维护等服务.
图:基于角色的访问控制模型图机构管理员设定平台可以按组织机构指定管理员,应用系统内部的模块操作级(如增删改查等)细粒度的授权由应用系统自身的授权管理功能来完成.
机构角色授权机构管理员可以在机构内增加角色,并对角色授权,机构根据权限配置的需要,任意设置具有不同权限的角色;为用户赋予不同角色来控制用户使用系统和信息的权限,为方便不同用户的不同需求以及特殊的权限管理,每个用户都可以同时拥有多个角色,例如控制给用户显示的应用菜单和按钮.
通过权限管理,用户只能浏览属于其职责范围内的信息、使用属于其权限范围内的系统功能.
系统提供角色维护,角色功能管理,角色岗位管理,网站权限管理等功能.

设置多个系统管理员平台可以设置多个系统管理员,机构根据权限配置的需要,任意设置具体管理员角色,为多个用户赋予管理员的控制权限.
也可以根据业务需要,配置不同管理角色,分别给不同管理员设置不同的管理权力.