支持数据库审计

南大通用安全数据库管理系统(GBase8sV8.
8)技术白皮书GBase8s安全数据库管理系统技术白皮书,南大通用数据技术股份有限公司GBASE版权所有2004-2020,保留所有权利.
版权声明本文档所涉及的软件著作权、版权和知识产权已依法进行了相关注册、登记,由南大通用数据技术股份有限公司合法拥有,受《中华人民共和国著作权法》、《计算机软件保护条例》、《知识产权保护条例》和相关国际版权条约、法律、法规以及其他知识产权法律和条约的保护.
未经授权许可,不得非法使用.
免责声明本文档包含的南大通用公司的版权信息由南大通用公司合法拥有,受法律的保护,南大通用有限公司对本文档可能涉及到的非南大通用有限公司的信息不承担任何责任.
在法律允许的范围内,您可以查阅,并仅能够在《中华人民共和国著作权法》规定的合法范围内复制和打印本文档.
任何单位和个人未经南大通用公司书面授权许可,不得使用、修改、再发布本文档的任何部分和内容,否则将视为侵权,南大通用公司具有依法追究其责任的权利.
本文档中包含的信息如有更新,恕不另行通知.
您对本文档的任何问题,可直接向南大通用公司告知或查询.
未经本公司明确授予的任何权利均予保留.
通讯方式南大通用数据技术股份有限公司天津华苑产业区海泰发展六道6号海泰绿色产业基地J座(300384)电话:400-013-9696邮箱:info@gbase.
cn商标声明是南大通用数据技术股份有限公司向中华人民共和国国家商标局申请注册的注册商标,注册商标专用权由南大通用数据技术股份有限公司合法拥有,受法律保护.
未经南大通用公司书面许可,任何单位及个人不得以任何方式或理由对该商标的任何部分进行使用、复制、修改、传播、抄录或与其他产品捆绑使用销售.
凡侵犯南大通用公司商标权的,南大通用公司将依法追究其法律责任.
GBase8s技术白皮书目录1GBase8s产品简介.
11.
1开发背景.
11.
2GBase8s主要技术特点.
11.
3GBase8s特性简介.
21.
4GBase8s产品功能简介.
42GBase8s产品架构.
42.
1产品架构.
42.
2产品组件模块.
53GBase8s产品平台和指标.
63.
1支持的操作系统和平台.
63.
2技术指标.
74GBase8s产品功能.
94.
1安全功能.
94.
1.
1身份鉴别功能.
104.
1.
2自主访问控制.
104.
1.
3安全标记与强制访问控制.
114.
1.
4数据完整性.
134.
1.
5数据安全性.
144.
1.
6客体重用.
154.
1.
7安全审计.
164.
1.
8用户权限三权分立.
164.
2数据类型.
174.
3锁和隔离级别.
18南大通用数据技术股份有限公司IGBase8s技术白皮书4.
3.
1锁技术.
184.
3.
2隔离级别.
194.
4分片和索引.
194.
4.
1分片技术.
194.
4.
2索引技术.
204.
5高可用和ER.
204.
5.
1HAC高可用方案.
204.
5.
2SSC高可用方案.
214.
5.
3ER企业数据复制技术.
224.
5.
4高可用方案适用场景.
224.
5.
5同城双活高可用架构.
234.
5.
6两地三中心高可用架构.
244.
6备份和恢复.
244.
7非结构化数据支持.
254.
8数据库迁移支持能力.
265GBase8s产品性能.
265.
1高效的文件空间和磁盘管理.
275.
2可配置的多工作者线程处理能力.
275.
3高效的事务并发控制和管理机制.
275.
4可配置的、高效的内存管理策略.
285.
5高效的查询优化策略.
285.
6透明存储加密机制.
286GBase8s图形化管理工具.
296.
1企业管理工具.
296.
2安全管理工具.
306.
3审计管理工具.
31II南大通用数据技术股份有限公司GBase8s技术白皮书6.
4备份恢复工具.
32南大通用数据技术股份有限公司IIIGBase8s技术白皮书1GBase8s产品简介1.
1开发背景南大通用安全数据库管理系统(简称GBase8s),是具有完全自主知识产权的数据库产品,该产品符合SQL92/99、ODBC、OLEDB、JDBC、ADO.
NET等国际数据库规范和开发接口,参照国际主流数据库产品定义,提供完备的数据存储和数据管理功能.
该产品适用于OLTP应用场景,包括金融、电信行业的关键核心业务系统,安全、党政、国防等行业对信息安全性有较高要求的信息系统,以及大型企业的经营类、管理类信息系统.
南大通用安全数据库管理系统GBase8s,遵照我国的相关安全标准进行了全方位的安全功能增强,最终达到B2(国标第四级)级安全标准的安全数据库产品技术要求.
1.
2GBase8s主要技术特点完全达到国标(GB/T20273—2006信息安全技术数据库管理系统安全技术要求)第四级的安全模型和安全要求(已通过公安部的等级评测),提供包括数据存储加密、数据传输加密、自主访问控制、安全标签、强制访问控制、三权分立、安全审计、数据完整性等在内的主要安全功能和手段;支持数据存储的硬加密实现,通过集成国家密码管理局审批的密码卡进一步提高了数据安全性;支持国产CPU芯片,如鲲鹏920、龙芯系列、飞腾系列、申威系列CPU;支持国产操作系统,如UOS、麒麟操作系统、普华等.
具有良南大通用数据技术股份有限公司第1页GBase8s技术白皮书好的跨平台性;具有完整的关系型数据库功能,兼容SQL92/99标准,支持视图、触发器、存储过程等数据对象;数据容量支持数十TB级海量存储;支持上千用户的大规模并发访问、具有高效索引和查询优化技术;具有很强的易用性,支持ODBC、JDBC、ADO.
NET等主流开发接口,并提供界面友好的图形化管理工具集.
1.
3GBase8s特性简介南大通用安全数据库管理系统GBase8s产品达到国家等级保护四级的安全技术要求,支持共享存储和非共享存储高可用架构,全面增强管理工具.
安全功能增强身份鉴别增强:支持强化管理的口令鉴别、支持数字证书鉴别、支持第三方认证、支持用户行为限制、支持操作系统用户身份鉴别.
强制访问控制增强:安全标签支持Array类型(级别)、Set类型(范围)、Tree类型(组织),安全策略支持16个安全组件,安全标记粒度到行级和字段级,支持安全策略特权(豁免权)、新增安全管理员角色.
安全审计增强:新增三种审计角色(DBSA、DBSSO、AAO).
DBSA(数据审计管理员)负责数据库审计管理.
DBSSO(审计安全管理员)负责审计策略制定,审计掩码设置.
AAO(审计分析员)负责审计配置,启停审计功能,执行审计分析.
支持7级审计模式,数据库审计无死角.
第2页南大通用数据技术股份有限公司GBase8s技术白皮书存储加密增强:以加密的方式存储敏感数据,支持列级(column-level)加密和单元级(cell-level)加密,支持提供加密(ENCRYPT_AES和ENCRYPT_TDES)和解密(DECRYPT_CHAR和DECRYPT_BINARY)函数.
权限管理增强:权限管理支持数据库层面、表、列和视图层面等.
新增支持角色管理特性,支持将若干权限赋予角色,支持用户缺省角色,支持角色回收.
性能增强运行时架构升级为共享内存+多进程架构,具有DSA动态扩展特性,关键技术采用VP(虚拟处理器)和PDQ并行,产品具备资源高效性利用、资源优先级管理、容易的跨平台支持、适宜云计算的虚拟化部署和迁移环境.
细粒度锁管理:数据库锁粒度支持数据库锁、表锁、页锁、行锁、字节锁和键锁.
事务隔离级别支持升级:支持DirtyRead、CommittedRead、CursorStability、RepeatableRead及LastCommittedRead.
索引技术升级:支持B型树索引、R型树索引、森林树(FOT)索引以及用户自定义索引.
高可用技术增强共享存储集群技术(SSC):新增支持共享存储架构高可用技术,当主机发生故障后,它可以快速实现接管.
另外,可以非常容易地配置多个SSC,实现负载均衡的功能.
灾备技术(HAC):新增支持同城异地灾备技术,系统可以支持多台HAC备机,进一步提高可用性.
企业级复制技术(ER):新增支持数据库复制技术,通过读取南大通用数据技术股份有限公司第3页GBase8s技术白皮书数据库日志的方式实现数据同步功能,支持根据需要复制指定的数据库列和数据库行,支持主从复制、汇总复制以及双向复制.
其他功能增强管理工具全面升级:管理工具升级为B/S架构,支持数据库状态监控、数据库对象管理、数据库用户管理,支持数据库高可用集群节点维护,支持JSON插件,支持多语言.
数据类型:新增支持JSON数据类型、XML数据类型、日历类型(timeserial)、list类型、节点类型(node)、Set类型、Row类型.
分片支持:分片策略支持轮询方式和表达式方式.
1.
4GBase8s产品功能简介表1-1GBase8s产品功能简介表安全性增强的身份鉴别、自主访问控制、数据存储加密、数据通讯加密、安全审计.
可靠性支持多种方式的数据备份、故障恢复;支持在线备份,从而实现产品的不间断运行.
大数据量支持支持复杂数据类型和超大规模的数据量;支持TB级数据存储管理,满足用户的应用需求.
数据存储管理工具提供了方便可靠的数据文件、日志文件的存储管理工具.
模式对象管理提供了针对数据表、索引、视图、数据约束、存储过程、触发器等模式对象管理工具.
数据类型支持字符、数字、日期、二进制、布尔、大对象等丰富的数据类型.
2GBase8s产品架构第4页南大通用数据技术股份有限公司GBase8s技术白皮书2.
1产品架构GBase8s产品构架如图2-1下:图2-1GBase8s产品构架图如图2-1所示,架构图中蓝色部分均为安全数据库产品在通用数据库产品基础之上的安全增强部分.
2.
2产品组件模块服务器组件介绍:卷:即Volume,是存储数据库数据的数据文件,GBase8s系统的卷包含两类,即数据卷和日志卷;一个数据库可以有多个Volume,一个Volume对应一个操作系统文件;安全服务进程:负责管理数据库数据,接收数据库访问的核心进程;南大通用数据技术股份有限公司第5页GBase8s技术白皮书客户端组件介绍:企业管理工具:是图形化的数据库查询和管理工具,提供对数据库实例的创建、配置、调整以及备份/恢复功能以及常用的数据管理操作,包括对数据库查询的支持;包括对表、视图、索引、存储过程和触发器的创建与维护等.
安全管理工具:提供主客体安全标记及安全策略定义等安全管理功能的图形化工具.
审计管理工具:审计管理的图形化工具,可定义审计对象、审计策略,并进行审计信息的综合查询分析.
备份恢复工具:专门负责进行数据备份、恢复的图形化管理工具.
命令行管理工具:命令行方式的数据库管理工具,能提供安全数据库内核所支持的绝大部分管理功能.
编程接口介绍:JDBC:Java编程接口,支持JDBC3.
0和4.
0标准规范.
ODBC:支持ODBC3.
5x版本规范.
ADO.
NET:基于.
NET框架的开发接口,实现对数据库服务器的访问,支持.
NetFrameWork2.
0、3.
0、3.
5和4.
0版本规范.
GCI:是GBase8s数据库提供的兼容OracleOCI的接口标准,应用可通过GBase8s的GCI接口访问GBase8s.
字符集支持国际上主流的字符集,包括:GB18030-2000、GBK、UTF8、BIG5.
3GBase8s产品平台和指标3.
1支持的操作系统和平台第6页南大通用数据技术股份有限公司GBase8s技术白皮书GBase8s支持如下的操作系统和平台:操作系统64位Unix系列(AIX、HP-UX、Solaris)64位Linux系列(CentOS、RedHat、SUSE、Asianux、Debian、Ubuntu)32位Linux系列(CentOS、RedHat、SUSE、Asianux、Debian、Ubuntu)64位Windows系统(Windows2003、Windows2008、Windows7、Windows8、Windows2012)32位Windows系统(Windows2003、Windows2008、Windows7、Windows8、Windows2012)CPU芯片鲲鹏920、龙芯3A\3B、飞腾系列、申威系列、IBMPOWER、IBMsystemz、HP-UXItanium、LinuxIntel、SolarisSPARC、Solarisx64以及国产浪潮等平台.
整机支持主流国产整机:浪潮天梭K1小型机、曙光龙腾服务器、华为KunLun、紫光华山SuperdomeX.
3.
2技术指标功能指标表3-2功能指标技术指标描述常用数据类型支持数字类型:INTERGER、SERIAL、SERIAL8、SMALLINT、BIGINT、BIGSERIAL、DECIMAL、NUMBERIC、REAL、SMALLFLOAT、FLOAT、DOUBLEPRECISION、MONEY、BOOLEAN;字符类型:CHAR、CHARACTER南大通用数据技术股份有限公司第7页GBase8s技术白皮书技术指标描述VARYING、VARCHAR、LVARCHAR、NCHAR、NVARCHAR;日期类型:DATE、DATETIME、INTERVAL结构化查询语言支持SQL92/99标准,支持标准的DDL、DML、DQL等数据库操作数据库对象提供了数据库,表,索引,视图,序列,存储过程,数据库链,触发器,系统函数和自定义函数等常用数据库对象的创建,修改和删除操作,支持数据库用户的创建,删除操作,以及用户权限的分配与回收支持备份与恢复支持在线全量备份,增量备份以及数据恢复高密集事务处理基于多线程的结构,可更有效地利用CPU,提供高并发用户连接和高并发操作支持数据复制HAC基于逻辑日志的同步实现数据复制分片分片策略支持轮询方式和表达式方式实例256个大对象支持BYTE、TEXT、BLOB、CLOB,最大支持4TB存储方式支持行式存储和列式存储数据压缩比1:5数字精度32表的个数每个数据库65536表中一行的内部长度32M字节一个整数类型列的长度8字节日期类型列中表示年的位数4位用户名包含字符的个数32字符CHAR类型列的长度32767字节VARCHAR类型列长度8000字节数据库名长度128字符表名长度128字符列名长度128字符索引名长度128字符别名长度128字符一页包含的数据行数255一个表或者分片最大的行数4,277,659,295表最大支持的列数32,767单个SQL语句的最大长度2GB第8页南大通用数据技术股份有限公司GBase8s技术白皮书技术指标描述一个实例最大支持的数据库数21,000,000一个实例最大支持的表数477,102,080一个实例最大支持的活动用户数32,767一个会话最大同时访问的数据库数8最大的页清理进程数128一个dbspace上最大支持的最大分区数据2Kpagesize10484454Kpagesize1048314一个用户同时可以使用LockTable锁住的表的个数32一个dbspace的最大空间2Kpagesize4TB4Kpagesize8TB一个实例最多支持的chunk数32,767一个chunk最大存储的数据页数2,000,000,000一个实例最大支持的dbspace数与存储空间2047/8PB性能指标测试环境:设备型号:2路X86服务器处理器:IntelXeonE5-26502.
00GHz内存:256GB硬盘:3TB网卡:1000Mbps表3-3性能指标技术指标描述TPCC性能TPMC=50.
6万(Warehouse=200、Terminal=300)导入/导出性能750000条/秒南大通用数据技术股份有限公司第9页GBase8s技术白皮书并发连接5000个用户性能每秒可并发连接860个用户索引创建性能每秒可完成1500000条记录的索引创建备份性能1GB/秒恢复性能0.
386GB/秒查询性能630000条/秒4GBase8s产品功能4.
1安全功能GBase8s提供和支持的安全功能包括:身份认证与鉴别、数据加密存储、自主访问控制、安全标记、强制访问控制、数据完整性保护、安全审计、三权分立等,参见如下示意图4-1:图4-2GBase8s提供和支持的安全功能示意图第10页南大通用数据技术股份有限公司GBase8s技术白皮书4.
1.
1身份鉴别功能4.
1.
1.
1用户标识在GBase8s中,每个数据库用户都有一个不可重复的唯一性用户标识,并在DBMS的整个生命周期实现该用户标识的唯一性.
4.
1.
1.
2用户鉴别按照基本鉴别、不可伪造鉴别及一次性使用鉴别要求进行用户身份鉴别,用户在使用DBMS时必须首先给出用户标识,通过检验合格后才能进入使用DBMS.
用户身份鉴别采用了用户密码及数据证书双重认证的鉴别机制.
数据库用户的密码使用杂凑算法加密处理后存储在GBase8s的系统表中,从而保证了密码自身的安全性.
4.
1.
2自主访问控制采用访问控制表访问方式以实现自主访问控制,即采用如下表所示的访问控制表.
表4-4访问控制表客体1客体2……客体n主体1操作1.
1操作1.
2……操作1.
n主体2操作2.
1操作2.
2……操作2.
n主体m操作m.
1操作m.
2……操作m.
n其中主体即为用户,客体包括基表、视图、列、存储过程、函数等,操作包括SELECT,INSERT,UPDATE,DELETE,ALTER、INDEX、REFERENCE,EXECUTE等.
根据访问控制表,每个主体拥有一定操作权限,并可将权限授予(或收南大通用数据技术股份有限公司第11GBase8s技术白皮书回)另一个主体,称为授权.
当一个主体访问某个客体时,自主访问控制根据访问控制表检查,以确认主体对客体访问的操作是否在表中允许,若为允许操作,则访问为合法,否则为非法操作,此时访问不能进行.
目前自主访问控制的主体粒度为用户级,客体粒度为字段(属性)级.
4.
1.
3安全标记与强制访问控制4.
1.
3.
1安全标记GBase8s中的主体(数据库用户)与客体(数据对象)均需标以敏感标记(简称标记),标记分为安全等级标记与范畴标记,等级标记是用正整数表示,而范畴标记则用集合表示.
由负责强制访问控制管理的安全管理员创建全局等级与全局范畴,并利用所创建的等级与范畴标记系统中的主体(代理)和客体.
4.
1.
3.
2强制访问控制(MAC)强制访问控制(MAC)功能提供客体(数据对象)在主体(数据库用户)之间共享的控制,与自主访问控制(DAC)不同的是,强制访问控制由安全管理员管理;自主访问控制尽管也作为系统安全策略的一部分,但主要由客体的拥有者管理.
强制访问控制通过无法绕开的访问控制限制来防止各种直接和间接的攻击,一个用户无权将任何数据资源的访问权授予别的用户.
GBase8s在传统的自主访问控制基础上增加了安全标记及强制访问控制功能.
GBase8s的强制访问控制模型以BLP模型作为核心基础,并加以适当的扩充,模型的主要内容为:主体与客体在GBase8s中主体是指数据库用户,客体包括数据表、视图、存储过程和第12页南大通用数据技术股份有限公司GBase8s技术白皮书函数等.
安全标记(层次等级与非层次范畴)敏感标记又称标记,每个主体、客体均有标记,标记分为安全等级标记与范畴标记,等级标记是用正整数表示,而范畴标记则用集合表示.
标记是由层次等级标记I及非层次范畴标记S的二元组组成:(I,S),它们间有偏序关系.
设有L1=(I1,S1),L2=(I2,S2)则:L1≤L2成立的充分必要条件是:(I1≤I2)∧(S1S2)强制访问控制安全策略Bell-LaPadula模型的基本安全策略是"下读上写".
在GBase8s中,基于实用性和灵活性的考虑对安全策略进行了扩充,除了采用向下读、向上写原则外,还设置有向上读向下写原则,以及将写分为插入,修改/删除两种操作而形成的下面四种安全访问策略:下读上写其他(修改/删除)同写;下读上写其他(修改/删除)同读;上读下写其他(修改/删除)同写;上读下写其他(修改/删除)同读.
同时还增设一种初始策略:下读相等写其他(修改/删除)同写,以及另一种自定义策略.
特权机制某些特定用户在一段时间内可以信赖他们不会把某些敏感数据向外扩散,因此可以让他们具有对这些数据的相应操作,即使这时不符合"下读上写"的原则,是基于灵活性、实用性考虑的一种补充.
当主体访问客体时,强制访问控制需按安全访问策略模型作安全检查,只有当符合模型要求时访问才能进行,否则为非法,访问不能进行.
目前强制访问控制的主体粒度为用户级,客体粒度为表级.
南大通用数据技术股份有限公司第13GBase8s技术白皮书4.
1.
4数据完整性GBase8s提供一系列强有力的方法来确保数据库的完整性.
物理存储完整性保护GBase8s的数据文件按照页方式进行存储,每个页为16KB,数据文件存储的示意图如下:每一个页数据的存储结构如下:PageHeaderUserRecordsFreeSpacePageDirectoryPageTrailerPageTrailer存储了本页的校验码信息,当向页中写入数据时将页的校验码信息写到PageTrailer中;当从页中读取数据时,首先重新计算该页的校验码信息,然后和PageTrailer的校验码信息进行对比,如果不相等,说明此页的完整性信息被破坏了,如果相等,说明该页的数据完整性得到了保证,可正常访问,GBase8s通过页中保存校验码信息的方式来检查以库结构形式存储在数据库中的用户数据是否出现完整性错误.
ACID事务处理模式GBase8s采用两阶段提交协议确保事务完整性.
GBase8s支持ACID事务模式确保每个独立事务的数据完整性与有效性,具备完善的提交、回滚机制,结合重做日志和回滚段共同作用确保在灾难恢复时数据保持一致性.
第14页南大通用数据技术股份有限公司GBase8s技术白皮书事务隔离级别GBase8s提供SQL92/99标准中规定的四种事务隔离级别,目前默认的隔离级别是READCOMMITTED,此隔离级别保证查询语句只能看到查询开始及前提交的数据而无法看到未提交的数据或者在查询执行时其他并行事务提交做的改变.
这也是目前Oracle与SQLSERVER的默认事务隔离级别.
数据管理员可以通过提升事务隔离级别的方式获取更高的数据完整性保障.
支持外键功能GBase8s支持外键功能,用来确保数据的参考完整性.
4.
1.
5数据安全性4.
1.
5.
1数据存储安全性GBase8s的数据存储加密采用库内加密的方式,在数据库管理系统的内核存储引擎级进行数据加解密处理,从而对于合法用户来讲是完全透明的,因此也可以称为透明加密.
现有的透明存储加密包括如下技术特点:透明存储加密:存储加密由数据库内核在后端安全存储引擎中实现,对于合法用户来说完全透明,不影响合法数据库用户的前端操作,不存在功能损失;多密钥:支持库、表等不同数据粒度的存储加密,不同数据对象可采用不同的加密密钥,如一表一密,可有效防止单点突破,保证更高的数据安全性;硬件加密:通过集成国家密码管理局审批的密码卡为安全数据库提供了高强度的加密函数及有效的密钥管理;PCI/PCI-E标准接口;南大通用数据技术股份有限公司第15GBase8s技术白皮书对称密码算法——SM1;加解密运算速度快(大于200Mbps).
完善的密钥保护:采用多级密钥管理机制,主密钥存储在安全硬件之内,正常运行情况下密钥不以明文方式出现在加密卡外;加密数据无膨胀:加密后密文与加密前明文的大小相同,防止了密文膨胀的问题.
由于采用了较为合理的优化机制,GBase8s存储加密功能对性能造成的负面影响可控制在15%之内.
4.
1.
6客体重用客体重用是指在计算机信息系统可信计算基的空闲存储客体空间中,对客体初始指定、分配或再分配一个主体之前,撤销该客体所含信息的所有授权.
当主体获得对一个已被释放的客体的访问权时,当前主体不能获得原主体活动所产生的任何信息.
客体重用功能可以防止重要的客体介质在重新分配给其他主体的时候产生信息泄漏.
由GBase8s系统自动实现,系统在每次对资源作分配后,将自动清除资源中包含的残留信息.
这些资源包括内存单元及磁盘区域,从而保证了不会出现客体重用的安全隐患.
内存单元:内存中不需要的信息将会被清零并删除,可保证不需要的资源信息不会残留到内存中.
磁盘区域:残留到磁盘区域的信息当不使用时将会自动删除,例如在一个会话期间,在磁盘上创建的临时表当会话关闭时,将会自动把残留在磁盘上的临时表文件给删除.
4.
1.
7安全审计GBase8s具有独立的审计系统,它能定义有关的审计事件,它能记录用户第16页南大通用数据技术股份有限公司GBase8s技术白皮书的有关操作,并能记录用户标识、身份鉴别、自主访问控制、标记、强制访问控制中的有关审计数据,它能进行相关的审计分析并自动报警,并能对审计数据进行查阅.
为便于独立审计,保证更高的系统安全性,GBase8s设有专门的安全审计员进行审计管理,安全审计员可利用专门的审计操作界面对审计事件作选择,查阅有关审计数据,处理报警信号.
4.
1.
8用户权限三权分立传统商业数据库通常定义一个超级管理员,该管理员具有至高无上的权力,可以操作任何的数据库功能,管理任何的数据,这便造成了特权用户缺少权力约束的安全隐患,这种系统机制存在的安全漏洞很难从应用的角度去规避.
GBase8s安全数据管理系统分权的基本安全思想是最小特权的授权原则,对一个主体(用户)仅赋予完成预定任务所必需的最小权限.
基于该安全策略,把数据库管理系统的用户由原来单一的超级数据库管理员变成现在的三类角色:安全管理员、审计管理员、数据管理员.
它们分别承担着不同的职责,并且期望它们三者之一应不能涉及其他两者的权力范围,从而实现整个数据库系统的分权管理,即所谓的三权分立原则.
三类用户的具体职责分配大致如下:安全管理员主要负责完成系统的安全(标记)管理功能,审计管理员负责完成系统的审计功能,数据管理员主要负责完成自主访问控制(DAC)、系统维护管理等功能.
这三类管理员用户之间分工明确,各司其职,既相互制约又相互配合,共同实现数据库的安全管理功能.
南大通用数据技术股份有限公司第17GBase8s技术白皮书数据库系统功能集-数据库日常维护-自主访问控制管理-安全审计管理-安全标记-强制访问控制数据管理员安全管理员审计管理员超级管理员互斥、互制互斥、互制安全管理权数据管理权审计管理权分解分解分解图4-3GBase8s用户权限三权分立示意图4.
2数据类型GBase8s拥有完善的数据类型管理体系,且内置了日常应用所能涉及的所有数据类型,完全可以满足企业数据管理的需求,内置的数据类型包括:数字类型:SMALLINT、INTEGER、BIGINT、DECIMAL、NUMERIC、FLOAT、SMALLFLOAT、REAL、DOUBLE、LONG、SERIAL、BIGSERIAL、MONEY.
字符类型:CHAR、VARCHAR、LVARCHAR、NCHAR、NVARCHAR、CHARACTER第18页南大通用数据技术股份有限公司GBase8s技术白皮书VARYING.
日期类型:DATE、DATETIME、INTERVAL.
大对象类型:TEXT、BYTE、CLOB、BLOB.
JSON/BSON数据类型.
XML数据类型.
其他类型:BOOLEAN、ROW.
大对象数据类型支持能力GBase8s支持简单大对象和智能大对象数据类型,可存储文本、图形、声音等内容.
简单大对象(Simplelargeobject)Text:大字符对象,存储大文本信息,最大支持2G.
Byte:二进制数据,最大支持2G.
智能大对象(Smartlargeobject)CLOB:智能大字符对象,最大支持4T.
BLOB:智能二进制对象,最大支持4T.
复杂数据类型扩展能力GBase8s支持复杂数据类型的定义,主要有Row数据类型、集合数据类型.
Row数据类型(RowDataType).
集合数据类型(CollectionDataType),包括Set、List、Multiset.
支持自定义数据类型GBase8s提供用户定义的数据类型(UDT)功能,通过UDT用户可以定义自己的数据类型.
4.
3锁和隔离级别4.
3.
1锁技术南大通用数据技术股份有限公司第19GBase8s技术白皮书锁粒度:GBase8s提供6种粒度的锁,可满足各种并发模式下的需求.
锁粒度说明数据库锁针对整个数据库的锁表锁针对整个表的锁页锁针对整页数据的锁行锁针对一个数据行的锁字节锁在包含VARCHAR的行上的锁键锁在索引中的一个键值上的锁锁类型:GBase8s支持多种类型的锁,包括共享锁、排他锁、提升锁.
支持自动解死锁:GBase8s对死锁的管理十分智能化,可通过数据库锁资源的相关设置,使得数据库具有自动解死锁功能.
4.
3.
2隔离级别GBase8s提供以下5个隔离级别:隔离级别说明DirtyRead脏读级别,这个并发性级别不锁定任何行.
CommittedRead提交读,这个级别不锁定任何行,但如果有人执行更新或在行上使用排他锁,它将失败.
CursorStability游标固定,在选择的行上加共享锁,因此当有用户正在读取某行时,其他用户就不能更新它.
RepeatableRead可重复读,为每个读取的行加共享锁,使这些行不能再被更改,重复读取将返回同样的记录和值.
LastCommittedRead最后提交读,与提交读相似;不过,当读取已更新某个行时,将从日志中读取最近提交的记录.
4.
4分片和索引4.
4.
1分片技术第20页南大通用数据技术股份有限公司GBase8s技术白皮书GBase8s支持两种分片方式:轮询法和基于表达式分片.
其中常见分片表达式有:基本表达式、Mod运算表达式、Remainder、List、Interval表达式,GBase8s所提供的基于Interval的分片策略,将根据Insert记录的情况自动扩展分片,从而提供更为灵活的方式,减少人工维护.
4.
4.
2索引技术GBase8s支持B型树索引、R型树索引、森林树索引、用户定义的索引等多种索引结构;拥有多种索引类型包括:唯一索引、复合索引、函数索引、簇集索引、双向搜索索引.
GBase8s索引除了拥有高效的查询能力外,还具备如下特性:支持不影响业务的情况下,在线创建索引的能力.
支持中、英文分词全文检索,增量数据自动建立全文检索,无需手工维护.
支持索引和表可分开存储.
支持索引支持分片功能,具有并行扫描效果,进一步提升扫描效率.
4.
5高可用和ERGBase8s提供了业界领先的高可用集群技术HAC,SSC,ER,提供秒级故障自动切换功能,使数据库的可用性达到99.
999%,具备如下特点:通过不同方案组合,GBase8s具有搭建两地三中心、同城双活高可用方案能力.
具有超远距离的(3000公里)异地容灾功能.
提供连接管理器(CM)部件,实现故障接管和负载均衡能力,且对应用透明.
南大通用数据技术股份有限公司第21GBase8s技术白皮书无需采购任何第三方产品、低带宽、易维护.
4.
5.
1HAC高可用方案HAC(双机高性能实时数据复制)是基于数据库逻辑日志复制技术,实现主、备机数据复制,复制方式支持同步和异步两种模式.
根据灾备距离支持同城和异地灾备技术,异地灾备支持多节点.
HAC集群通过连接管理器实现主备机间互相接管的功能,当主机工作时,备机可以提供查询、报表等读功能,实现负载均衡的功能;当主机发生故障,备机会自动接管,承担主机工作.
4.
5.
2SSC高可用方案SSC(共享存储高可用集群)与HAC不同,SSC采用共享磁盘方式,避免了数据重复存储的问题.
工作原理是基于LSN在辅节点上把逻辑日志恢复到缓冲区.
SSC具有扩展性,可以在一定范围内随业务需要而扩展.
节点间关系对等,有节点失败后,集群中其他节点会接管失败节点的工作.
SSC部署更加简单,可以非常容易地配置多个SSC,可以实现了负载均衡的功能.
SSC集群通过连接管理器实现节点间互相接管的功能.
第22页南大通用数据技术股份有限公司服务进程共享内存磁盘逻辑日志缓冲区发送缓冲区事务日志复制服务进程共享内存磁盘接受缓冲区恢复缓冲区GBase8s技术白皮书4.
5.
3ER企业数据复制技术ER(EnterpriseReplication)数据库复制技术,也是通过读取数据库日志的方式实现数据同步功能.
ER和HAC不同在于,HAC支持对数据库的复制,而ER支持对数据库和表的复制,可以灵活定义需要复制数据列和行.
ER支持表级实时双向复制、实时单向复制;支持表级周期双向复制、周期单向复制;支持异构表间的双向数据复制、单向数据复制;表复制功能要支持异构的硬件平台.
4.
5.
4高可用方案适用场景不同的高可用要求所采用的高可用方案不同(见下表),GBase8s的高可用方案可以支持组合适用,如:可以利用SSC+HAC同城灾备技术构建同城双活高可用架构,可以利用SSC+HAC异地灾备技术构建两地三中心高可用架构.
适用场景SSCHAC网络连接光纤连接光纤连接、互联网或专线节点间的距离数米内,同一个机房同城百公里内,异地千公里南大通用数据技术股份有限公司第23GBase8s技术白皮书适用场景SSCHAC对带宽的要求高高最大辅节点数多个多个存储设备共享存储设备独立存储设备承受服务器的软硬件故障是是承受天灾否是4.
5.
5同城双活高可用架构为了达到企业核心业务系统对数据库高可用的要求,GBase8s结合GBase8s的共享存储集群(以下简称SSC)和双机高性能实时数据复制(以下简称HAC)功能,打造同城双活高可用方案.
该方案的总体架构如下图所示:本方案中SSC集群采用一主、多备节点方式集群,HAC集群采用一主、一备节点方式集群,在同一机房内部署SSC集群,在百公里内的另一数据中心部署HAC集群,集群节点间通过读取数据库逻辑日志方式,实现主备机互相切换第24页南大通用数据技术股份有限公司GBase8s技术白皮书功能,备节点支持只读方式,通常会通过备机来完成数据查询、报表功能,分担主机系统的压力.
HAC方式通常用来提供高可用性及hotstandby功能.
4.
5.
6两地三中心高可用架构为了达到对两地三中心高可用,可依靠GBase8s自身的强大集群功能,结合GBase8s的HAC、SSC,打造高可用方案.
两地三中心架构在同一机房内部署SSC集群,同城另一数据中心部署HAC同城灾备集群,远距离异地城市部署HAC异地灾备集群,SSC节点对等,均支持读写,HAC的备节点提供只读功能.
下图是两地三中心总体架构示意图,其中SSC集群采用2节点方式集群,HAC同城灾备集群采用一主、一备节点方式集群,HAC异地灾备集群采用一主、一备节点方式集群.
南大通用数据技术股份有限公司第25GBase8s技术白皮书4.
6备份和恢复GBase8s的备份分为三个级别:零级备份:全量备份.
一级备份:最近一次零级备份后的增量部分备份.
二级备份:最近一次一级备份后的增量部分备份.
GBase8s备份与恢复的功能特点:支持利用灵活的数据导入导出能力:支持全库、单表、多表批量的导入导出能力;支持表结构(包括所有数据对象)、表数据的单独导入导出能力;支持全库、单表、多表批量导出成二进制文件或文本文件,并支持将导出的文件中数据导入到数据库中;支持外部表技术,通过外部表加载和卸载数据;支持ontape、onbar工具实现备份和恢复:支持单节点数据库完全备份与恢复、增量备份与恢复、数据空间备份与恢复;支持在线备份和恢复,并具备恢复到具体某个时间点的能力.
可通过X/OpenBackupServices应用编程接口(XBSA)连接存储管理器(如:TivoliStorageManager),可通过存储管理软件来对数据库进行备份和恢复,具有并行地运行备份和恢复功能.
支持数据库级的数据文件镜像功能.
4.
7非结构化数据支持GBase8s的WireProtocolListener支持非结构化数据存取驱动,对Web2.
0网站能够提供很好的支持,并提供高性能,高可用性和可扩展性.
第26页南大通用数据技术股份有限公司GBase8s技术白皮书GBase8s在非结构化数据库支持上具有如下特点:支持JSON/BSON非结构化数据格式的存储和处理,支持SQL、SQL函数、NoSQL数据库API、NoSQL数据库命令行的方式访问JSON、BSON表;支持非结构化表之间的连接、创建索引;支持非结构化表的事务管理和行级锁功能;支持Sharding技术,实现对于横向扩展的需求.
4.
8数据库迁移支持能力GBase8s为解决第三方数据库无风险迁移到GBase8s数据库提供全面解决方案,GBase8s产品本身对各类迁移工具的完美支持,更进一步保障数据迁移成功率,提升数据迁移工作效率.
GBase8s对主流的数据库迁移工具支持如下:支持数据库结构迁移工具:MTK支持数据迁移工具:Kettle支持增量数据迁移工具:IBMCDC、OracleGolderGate、Informatica5GBase8s产品性能GBase8s的目标是实现一个具有完善的事务处理能力的高性能的面向联机事务处理应用的安全数据库系统.
因此,在保证系统安全性的前提下,还需要尽可能的提高数据库系统的性能,GBase8s在实现上采用了如下几种机制来实现高性能:南大通用数据技术股份有限公司第27GBase8s技术白皮书高效的文件空间和磁盘管理;可配置的多工作者线程处理能力;高效的事务并发控制和管理机制;可配置的、高效的内存管理策略;高效的查询优化策略;透明存储加密机制.
5.
1高效的文件空间和磁盘管理GBase8s通过建立多个磁盘I/O线程模拟异步的磁盘I/O来构建和读写数据库文件,并且I/O线程的数目是可配置的,它和后面提到的工作者线程是被分开管理的,并且专用于磁盘I/O操作.
在磁盘操作上采用了两种成熟的启发式预读技术:连续预读和随机预读来提高磁盘操作速度.
连续预读指如果GBase8s发现对于表空间段的访问是连续的,它就会提前向I/O系统申请对数据库页面的成批读取.
随机预读是指当GBase8s发现对表空间中的一些空间像是需要都完全读到缓冲池中进行处理,那么它向I/O系统申请对剩余空间的读请求.
GBase8s可以使用一个"裸磁盘"分区作为一个表空间数据文件,通过使用裸盘,用户可以在一些没有文件系统负载的Linux系统上执行非缓存I/O,从而改进性能.
5.
2可配置的多工作者线程处理能力GBase8s系统允许用户配置工作者线程的数目,这些线程是整个系统公用第28页南大通用数据技术股份有限公司GBase8s技术白皮书的,不会专门属于某个数据库连接.
无论任何原因造成的数据库操作被阻塞(如锁等待),那么相应的工作者线程将会立即被用于执行其他的数据库操作,而不会被阻塞.
此外,对于单CPU和多CPU设备,系统会合理的进行线程对内存和数据等物理资源的共享使用,因此能达到很好的并发处理能力.
5.
3高效的事务并发控制和管理机制GBase8s在事务处理上采用以行级为主、表级为辅的锁技术来实现高效的事务处理.
这些技术在保证事务ACID特征的前提下大大提高了事务的并发处理能力.
GBase8s通过对死锁监测,会自动检测一个事务的死锁并回滚一个或多个事务来防止死锁,并设法提取小的事务来进行回滚,从而降低由于回滚造成的大量磁盘刷新以提高性能.
5.
4可配置的、高效的内存管理策略GBase8s针对不同的数据库操作提供了多种缓存机制,主要包括数据缓冲区、查询缓冲区、键缓冲区、插入缓冲区等.
这些缓冲区的配合使用可以对有限的系统内存进行有效的利用,从而大大提高系统性能.
此外还可通过调整读缓冲区、顺序读缓冲区、排序缓冲区等来对系统性能进行微调.
5.
5高效的查询优化策略GBase8s采用了以有效利用索引为基础的基于代价的查询优化策略.
查询子系统通过将输入的查询语句进行复杂的转换,形成不同的查询计划,然后基南大通用数据技术股份有限公司第29GBase8s技术白皮书于系统的I/O、CPU和内存等资源的情况估算各种查询计划的执行代价并最终确定一个最优计划执行.
5.
6透明存储加密机制GBase8s目前的存储加密由数据库内核在后端安全存储引擎中实现,对于合法用户来说完全透明,不影响合法数据库用户的前端操作,不存在功能损失;采用按数据页加密的方式,不仅易于实现且加解密效率高;物理存储密文态,内存缓存明文态的机制保证了数据检索的高效性,使加密对GBase8s原有的高效检索机制几乎没有造成任何实质性影响,由于存储加密造成的性能下降不超过15%.
6GBase8s图形化管理工具GBase8s提供功能强大的、类型丰富的、易于使用的图形化管理工具帮助数据库管理员管理数据库.
6.
1企业管理工具GBase8s企业管理工具为用户提供了访问和管理数据库的功能.
GBase8s企业管理工具通过JDBCDriver和数据库间建立连接,数据库管理工具直接和数据库实例以JDBC的方式进行通讯.
使用GBase8s企业管理工具可以完成如下工作:查看和可视化管理数据库、表、视图、索引、存储过程、函数和触发第30页南大通用数据技术股份有限公司GBase8s技术白皮书器;可视化备份、恢复数据库;可视化查看本地日志;在SQL对话框中创建和执行SQL语句;选择和编辑表中的数据记录.
图6-4GBase8s企业管理器6.
2安全管理工具安全管理工具主要提供给安全管理员使用,完成主客体安全标记及安全策略定义等安全操作.
安全管理员使用的强制访问控制管理命令或操作可分为参数设置命令、浏览命令、修改删除命令、特权命令和安全管理员用户管理5个南大通用数据技术股份有限公司第31GBase8s技术白皮书类别.
图6-5GBase8s安全管理器6.
3审计管理工具审计管理工具主要提供给审计管理用户使用,用来设置审计对象、审计策略,并可以进行审计记录的综合查询分析.
供审计管理员使用的审计操作可分为参数设置操作、浏览操作、修改删除操作和用户管理操作4个类别.
第32页南大通用数据技术股份有限公司GBase8s技术白皮书图6-6GBase8s审计管理工具6.
4备份恢复工具备份恢复工具用来备份和恢复数据库结构、数据文件和数据库配置信息.
GBase8s备份恢复工具提供联机备份和恢复方式,进行联机备份时又可以根据情况进行完全备份、差分备份和增量备份.
南大通用数据技术股份有限公司第33GBase8s技术白皮书图6-7GBase8s备份恢复工具第34页南大通用数据技术股份有限公司