数据数据自动备份

20XX-XX-XX发布20XX-XX-XX实施自然资源部发布ICS07.
040A77备案号:XXXX-XXXX中华人民共和国测绘行业标准CHCH/TXXXXX—XXXX光学遥感测绘卫星影像数据库建设规范Specificationsforimagedatabaseconstructionofopticalremotesensingsatelliteforsurveyingandmapping(报批稿)CH/TXXXXX—XXXXI目次前言.
III1范围.
12规范性引用文件.
13术语和定义.
14总体要求.
14.
1时间参考.
14.
2空间参考.
14.
3元数据.
24.
4数据格式.
24.
5数据质量.
24.
6安全要求.
25数据内容.
25.
1数据组成.
25.
2光学遥感测绘卫星影像产品.
25.
3数据字典.
25.
4辅助数据.
25.
4.
1地理底图数据.
25.
4.
2地名地址数据.
26数据库设计.
26.
1基本要求.
26.
2需求调研和分析.
36.
3概念设计.
36.
4逻辑设计.
36.
4.
1设计.
36.
4.
2数据组织.
36.
4.
3元数据结构设计.
46.
5物理设计.
46.
5.
1系统网络设计.
46.
5.
2数据库模式设计.
46.
5.
3数据一致性设计.
46.
6安全设计.
57数据建库.
57.
1建库流程.
57.
2数据准备.
67.
3数据库模型创建.
67.
4数据入库前检查.
67.
5数据预处理.
67.
6数据入库.
67.
7数据入库后检查.
68系统开发、测试与验收.
6CH/TXXXXX—XXXX8.
1系统功能设计.
68.
2用户界面设计.
78.
3软硬件选型.
78.
3.
1系统硬件选型.
78.
3.
2系统软件选型.
88.
4系统开发.
88.
5系统集成与部署.
88.
6测试与验收.
89安全保障与运行维护.
89.
1基本要求.
89.
2安全管理.
89.
3系统运行管理.
89.
4数据库备份.
89.
4.
1数据迁移和备份.
99.
4.
2异地备份.
99.
5机房环境管理.
9附录A(资料性附录)数据字典说明.
10表A.
1光学遥感测绘卫星影像产品级别.
10表A.
2光学遥感卫星名称.
10表A.
3传感器类型.
10表A.
4时间单位.
11表A.
5分辨率级别.
11表A.
6像素类型.
11表A.
7色彩类型.
12表A.
8立体类型.
12表A.
9数据存储方式.
12附录B(资料性附录)光学遥感测绘卫星影像数据库E-R图.
13图B.
1光学遥感测绘卫星影像数据库E-R图.
13附录C(资料性附录)光学遥感测绘卫星影像产品元数据表结构.
14表C.
1光学遥感测绘卫星影像产品元数据表结构.
14参考文献.
16CH/TXXXXX—XXXXIII前言本标准按照GB/T1.
1-2009给出的规则起草.
本标准由自然资源部提出并归口.
本标准起草单位:自然资源部国土卫星遥感应用中心、自然资源部测绘标准化研究所、国家基础地理信息中心、内蒙古自治区地图院.
本标准主要起草人:汪汇兵、史绍雨、唐新明、欧阳斯达、何昭宁、张悦、杨超、信晟、陈骏、张宏伟、石建军.
CH/TXXXXX—XXXX1光学遥感测绘卫星影像数据库建设规范1范围本标准规定了光学遥感测绘卫星影像数据库建设的总体要求、数据内容、数据库设计、数据建库、系统开发、测试与验收、安全保障和运行维护等内容及要求.
本标准适用于光学遥感测绘卫星影像数据库建设与共享服务.
2规范性引用文件下列文件对于本文件的应用是必不可少的.
凡是注日期的引用文件,仅所注日期的版本适用于本文件.
凡是不注日期的引用文件,其最新版本(包括所有的修改单)适用于本文件.

GB/T17798地理空间数据交换格式GB/T18521地名分类与类别代码编制规则GB/T33453基础地理信息数据库建设规范GB/T356421:250001:50000光学遥感测绘卫星影像产品GB/T35643光学遥感测绘卫星影像产品元数据3术语和定义以下术语和定义适用于本文件.
3.
1光学遥感测绘卫星opticalremotesensingsatelliteforsurveyingandmapping具有平面或立体测图能力的光学遥感卫星.
[GB/T35642-2017定义3.
1]3.
2几何定位模型GeometricLocationModel描述影像坐标和地理空间坐标之间的转换关系.
4总体要求4.
1时间参考纪元应采用公历纪年,时间应采用北京时间.
4.
2空间参考空间参考应采用统一的、符合国家规定的平面和高程系统.
具体要求如下:CH/TXXXXX—XXXXa)大地基准,采用2000国家大地坐标系,确有必要时,可采用依法批准的其它坐标系;b)高程基准,采用1985国家高程基准.
4.
3元数据元数据内容应符合GB/T35643的要求.
4.
4数据格式数据格式应符合GB/T17798的要求,支持TIFF、GeoTIFF、IMG、PIX、BMP、HDF、JPEG、CNSDTF等数据格式,并支持TAR、GZ等压缩包形式.
4.
5数据质量数据质量应经质量检查合格.
4.
6安全要求应根据有关法规和标准的要求进行安全设计,并建立严格的安全运行管理制度.

5数据内容5.
1数据组成光学遥感测绘卫星影像数据库应包括光学遥感测绘卫星影像产品、数据字典、辅助数据等内容.

5.
2光学遥感测绘卫星影像产品光学遥感测绘影像产品分类包括原始影像产品、辐射校正影像产品、传感器校正影像产品、系统几何纠正影像产品、几何精纠正影像产品、正射纠正影像产品等,具体产品内容参见GB/T35642.
影像产品宜包括云雪覆盖信息.
光学遥感测绘卫星影像数据库中的光学遥感测绘卫星影像产品可包括上述产品的一种或多种.

5.
3数据字典数据字典应包括光学遥感测绘卫星影像库信息的总体描述和值域约束,应包括光学遥感测绘卫星影像产品的名称、代码、属性内容、数据项描述等,参见附录A.
5.
4辅助数据辅助数据可包括地理底图数据、地名地址数据等.
5.
4.
1地理底图数据可依据建库需要选择相应的区域、比例尺、要素级别的地理框架数据和影像底图.

5.
4.
2地名地址数据可包括行政区域名称、地名、道路名称、单位名称等,地名数据的代码应符合GB/T18521的要求.
6数据库设计6.
1基本要求CH/TXXXXX—XXXX3数据库设计应符合下列要求:a)依据充分:数据库设计应以用户需求和相关技术标准为依据;b)设计规范:数据库设计应在充分验证的基础上进行,严格进行数据库设计书评审和修改;c)配置合理:存储空间、计算资源、网络带宽等应在满足需求基础上,留有适度余地;d)可扩展:数据存储结构和系统功能上应保持一定的可扩展性,满足数据类型扩展的需求;e)功能完备:功能设计应充分考虑用户的需求,应具有不断扩充、更新和安全管理能力.

6.
2需求调研和分析用户需求调研和分析应贯穿于数据库设计、建库和试运行等阶段:a)在数据库设计阶段,应重点调研和分析用户需求、现状、存在的问题及现有数据资源情况等,明确光学遥感测绘卫星影像数据库建设目标,对用户规模、数据量、服务器资源、存储资源、网络资源等进行估算,明确建设的软硬件以及功能、性能需求;b)在系统建设阶段,应再次需求调研和分析,以修正数据库管理系统的建设方案;c)在试运行阶段,当进行数据库软硬件升级和数据库管理系统功能更新、性能改进前,均应开展用户需求调研和分析.
6.
3概念设计概念设计应对光学遥感测绘卫星影像数据库中所涉及的各种数据进行分类、聚集和概括,确定数据库管理系统中的实体、实体的属性、标识实体的编码以及实体之间联系的类型,建立抽象的概念数据模型:a)概念模型应反映信息结构、信息流动情况、信息间的相互制约和关联关系,及用户对信息存储、查询和应用的要求;b)概念模型的设计应依据现有的遥感影像数据相关的分类、分级的标准规范和各类、各级数据间的关系;c)概念模型应不依赖于具体的数据库管理系统,以通用的E-R图进行表示,参见附录B.
6.
4逻辑设计6.
4.
1设计逻辑设计应在数据库概念设计基础上,明确光学遥感测绘卫星影像产品和元数据信息的组织形式,建立与选用的数据库系统支持的数据模型相符合的逻辑结构,形成逻辑数据模型.
逻辑数据模型的内容应包括所有的实体和关系,确定每个实体的属性,定义每个实体的主键,指定实体的外键,并进行范式化处理.
6.
4.
2数据组织6.
4.
2.
1数据组织原则光学遥感测绘卫星影像数据库可按下列组织原则进行分层、分库组织:a)可按产品类型分库;b)可按空间分辨率、卫星等分层;c)有明确关系的数据层应建立关联关系.
6.
4.
2.
2数据组织方式光学遥感测绘卫星影像产品管理可采用数据库与文件相结合方式进行组织.

CH/TXXXXX—XXXX数据库与文件结合的组织方式将非结构化的影像体以文件形式存放在存储设备中,并将影像的结构化元数据信息及文件路径存放在数据库中,通过文件路径将数据库和影像体文件关联.
可根据影像产品的数据量和增长情况选取数据存储方式;PB级以上数据规模宜采用在线、近线及离线的三级存储方式来存储影像体文件:a)在线存储:文件存储在高速磁盘阵列上,宜存储现势性强,使用频率高的数据,满足影像的快速访问及使用需求;b)近线存储:宜存储现势性不高、使用频率不高的影像,实现自动访问和使用;c)离线存储:宜存储现势性低、使用频率低的历史影像数据.
6.
4.
3元数据表结构设计光学遥感测绘卫星影像元数据表结构应至少包括卫星名称、传感器类型、影像采集时间、产品级别、影像质量、云量、空间分辨率、影像行列号、入库时间等字段信息,基本元数据表结构参见附录C.
6.
5物理设计6.
5.
1系统网络设计系统网络设计应满足下列要求:a)宜采用万兆或万兆以上的高带宽网络;b)宜采用多层网络架构,避免通道堵塞;c)应具备安全防护、漏洞扫描、入侵检测、数据包过滤、防病毒、身份认证、数据加密和主机监控等安全能力,具备全面且稳固的安全防护体系;d)应具备高可靠、高稳定和强容错等要求.
6.
5.
2数据库模式设计数据库模式设计包括:a)基于逻辑设计提出的模型,按照软硬件配置和数据量估算,分配数据库、软件和工作区的物理空间,确定各种类型数据的目录结构和存储位置;b)按照逻辑设计中的表结构设计,设计物理表,并为每个表按照估算的数据量和应用需求建立表空间;c)根据各影像产品类型以及业务需求,设计相应的空间索引方式和关键字索引方案,确定空间索引方式、以及关键字索引的索引项;d)应将卫星名称、传感器名称、影像采集时间、云量、空间分辨率等关键字段作为关键字索引的索引项;e)空间索引可根据影像的有效覆盖范围建立空间索引,也可采用国家标准分幅、任意矩形、规则格网等形式,空间索引的范围应等于或大于数据体的覆盖范围.
6.
5.
3数据一致性设计在对数据进行操作时,应保证数据完整性和一致性.
数据完整性包括以下几个方面:a)域完整性.
通过列数据类型约束域完整性,同时还指定每列是否为空属性,用来约束该列是否可以出现空值;b)实体完整性.
要求表具有主键约束(主键),根据实际情况决定是否采取其他措施,如唯一索引、唯一性约束等;CH/TXXXXX—XXXX5c)关系完整性.
建立数据库中不同表与列之间的关系,使子表中外键的每个列值都与相关的父表中的主键或候选键相匹配.
在对数据进行操作时,应通过事务、异常数据处理和数据状态的定期对比等措施来保证数据一致性.
6.
6安全设计安全设计参见GB/T33453相关内容.
7数据建库7.
1建库流程建库环节包括数据准备、数据库模型创建、数据入库前检查、数据预处理、数据入库、数据入库后检查等.
具体流程见图1.
图1建库流程CH/TXXXXX—XXXX7.
2数据准备按照设计的要求收集所需的各类数据和资料,并整理、建档和备份,将待入库数据存放到预设的存储空间上.
7.
3数据库模型创建按照数据库的逻辑设计和物理设计,通过数据库管理系统对每类数据进行物理空间的分配,相关参数的设置,创建数据表和表空间.
分配物理空间时,应考虑未来数据的扩充需求.

7.
4数据入库前检查数据入库前应按照数据库设计要求对每类数据进行检查,并对各项检查进行登记,将不符合建库要求的数据进行修改,确保入库数据符合相应的技术要求.
数据检查主要包括:a)完整性检查.
数据文件应完整正确,不应有遗漏;b)逻辑一致性检查,主要包括:1)概念一致性.
同类数据的分类编码、文件结构、属性构成应保持一致,不同类型数据应符合统一的体系规则;2)值域一致性.
数据项的取值应在值域界定的范围内;3)格式一致性.
应与规定格式保持一致.
7.
5数据预处理应根据数据库设计的要求进行数据入库前处理,主要包括格式转换、坐标转换、投影转换、数据压缩等.
7.
6数据入库数据入库应按照设计的数据组织方式进行,入库前后的数据存放位置应与设计保持一致.
可采用手动、自动入库等方式,入库完成后应记录数据入库日志.
7.
7数据入库后检查入库后应检查入库数据的正确性和完整性,包括数据是否存放在规定的数据表中,入库后数据是否完整,入库前后数据是否一致,数据是否重复入库等.
8系统开发、测试与验收8.
1系统功能设计8.
1.
1系统基本功能应包括数据检查、数据入库、查询、浏览、提取、统计、备份、迁移和权限管理等.

8.
1.
2数据检查应具备按照影像产品要求检查入库数据的完整性、逻辑一致性的功能.

8.
1.
3数据入库CH/TXXXXX—XXXX7应将卫星名称、传感器类型、影像采集时间、产品级别、影像质量、云量、空间分辨率、影像行列号、入库时间等信息采集存入数据库中,并将实体数据迁移到设定的存储设备上;应具备手动和自动入库功能;应支持入库过程中状态的监控和入库日志记录.
8.
1.
4数据查询应具备按照属性信息和空间信息对各类影像数据进行查询的功能.
属性查询应支持常用的卫星名称、传感器类型、影像采集时间、产品级别、影像质量、云量、空间分辨率、影像行列号、入库时间、行政区划、图幅号、地名地址、云雪范围等查询条件;空间查询应支持点、线、矩形、多边形等查询条件,并支持缓冲区查询.
8.
1.
5数据浏览应具备数据漫游、缩放等功能.
8.
1.
6数据提取应具备将入库后的数据下载,以及影像查询结果导出等功能.
8.
1.
7数据统计应具备各种影像数据按照不同维度进行统计的功能,可设计入库统计、库存统计、提取统计和空间分析统计等,并应支持统计报表的输出.
8.
1.
8数据备份应具备数据库备份的功能,包括定期的增量备份和全库备份.
8.
1.
9数据迁移应具备将数据从在线迁移至近线以及离线的数据迁移能力,主要包括基于存储容量、基于影像现势性、基于数据对象、基于影像空间位置等数据迁移功能.
8.
1.
10权限管理应具备对系统用户、功能、数据权限控制的功能.
8.
1.
11日志管理应具备系统日志记录、查询等功能,包括记录用户的在线状态和系统操作等日志.

8.
2用户界面设计根据数据库的各种应用模式,设计体现用户特色的用户界面,后端数据库管理与维护界面应体现全功能与高效,前端用户界面应针对需求具有简洁和实用性.
8.
3软硬件选型8.
3.
1系统硬件选型8.
3.
1.
1服务器应根据不同用途和性能要求,进行服务器选型的统一规划.
服务器选型参考指标应包括:服务器中央处理器主频、核数、内存大小、存储容量、带宽、图形图CH/TXXXXX—XXXX像处理能力、扩展性、性价比等指标.
8.
3.
1.
2存储设备存储设备应具有大容量数据的安全高效存储能力,包括磁盘阵列和磁带库、硬盘、光盘等.
系统存储总容量宜按照估算的总数据量的1.
5~2.
5倍配置,计算公式如下:存储容量(TB)=(当前数据量(TB)+年增量(TB)*规划年限(年))*(1.
5~2.
5).
在线存储可采用高性能的磁盘阵列存储设备.
近线存储可采用低速的磁盘阵列存储设备.
离线存储可采用磁带库、硬盘、光盘等存储设备.
8.
3.
2系统软件选型系统软件选型主要包括:a)操作系统.
操作系统应安全、稳定、兼容,支持网络化资源管理、用户分级访问、开放的网络协议等.
b)数据库系统.
数据库系统应安全、稳定、兼容,支持复杂数据类型、空间信息存储、面向对象数据建模、海量数据管理、数据库备份恢复、安全管理、并行处理和并发控制,具有空间数据管理能力.
8.
4系统开发根据系统设计方案进行软件开发,实现数据检查、数据入库、查询、浏览、提取、统计、备份、迁移和权限管理等系统功能,并进行集成,形成光学遥感测绘卫星影像数据库管理系统.

8.
5系统集成与部署根据数据库物理设计方案,将数据库建设所需的软件、硬件进行有机集成,使得各个设备互联互通、将软件部署到相应的设备上,形成软硬件统一、协调的综合系统,实现影像数据的高效管理.

8.
6测试与验收参见GB/T33453相关内容.
9安全保障与运行维护9.
1基本要求数据库安全保障应建立必要的安全管理制度,落实安全保密责任,采取安全措施,确保数据库中的数据和运行环境安全.
9.
2安全管理应制定安全目标和安全策略,划分和审批不同用户权限,进行密码保管和时效设定,联网计算机范围、环境和介质的管理等.
9.
3系统运行管理应制定数据库访问、入库、导出、更新、备份等工作流程,进行软硬件设备管理,明确操作人员和管理人员职责,进行系统操作日志管理.
9.
4数据库备份CH/TXXXXX—XXXX9数据库备份应根据数据库的特点、数据容灾时间窗口等制定备份策略,数据库备份应包括:a)备份策略.
制定数据库自动备份策略,定期、自动对数据库进行全备份和增量备份.
对于数据量小、更新频繁、重要程度高的数据,可考虑缩短备份周期,提高备份频率;对于数据量大、更新不频繁的数据,可考虑加长数据备份周期,降低备份频率;b)可用性检查.
定期检查数据库备份的可用性;c)数据库安全.
数据库的软硬件升级或数据库结构发生变化时,应先进行数据库全备份;d)备份形式.
宜采用热备份.
9.
4.
1数据迁移和备份数据迁移应采用安全迁移和备份策略.
迁移和备份介质可采用在线磁盘阵列或离线的磁带库等.
数据实体的迁移和备份策略需要根据数据重要程度、数据访问频度、数据量、存储容量等进行制定:a)对于经常访问、使用频率高的影像,建议长期在线存储;b)对于访问频率较高且数据实体已离线的数据,可将离线物理介质连接到内网,使数据近线存储;c)对于数据量大、自动更新、历史访问频率低的遥感影像数据,可在线一定周期后自动迁移至离线;d)对于重要数据应存储2份以上.
9.
4.
2异地备份异地备份包含数据库异地备份和数据实体异地备份,可根据数据规模和重要性采用全部备份或部分备份:a)异地备份使用物理介质,可选用移动硬盘、磁带、光盘等;b)实体数据归档后应根据需要及时完成异地备份工作,数据库应根据需要及时对全库备份进行异地备份.
9.
5机房环境管理应制定数据库存储和归档数据存放环境的卫生、温度、湿度,以及防雷、防盗、防火、防水等方面的保障措施.
CH/TXXXXX—XXXX10附录A(资料性附录)数据字典说明表A.
1至表A.
9中给出了光学遥感测绘卫星影像产品级别、光学遥感卫星名称、传感器类型、时间单位、分辨率级别、像素类型、色彩类型、立体类型、数据存储方式等内容.