项目名称:面向大型银行应用的高通量可伸缩分布式数据库系统

推荐单位(专家):华东师范大学项目简介:近年来,国家信息安全战略逐步深入,金融行业首当其冲.
为了应对银行业核心技术受制于人的严峻形势,人民银行、银监会相继强调:银行业应构建"有管理、可控制"的技术体系,"提高信息技术的自主可控能力".
当前,大型国有银行的核心系统几乎都依赖于国外垄断企业的集中式数据库产品,软硬件成本高昂,核心技术无法做到自主可控.
与此同时,金融互联网化发展迅速,移动支付和电子商务给金融服务带来了更多渠道和场景,也向银行的数据库系统提出了新需求,要求数据库系统具备高通量,可伸缩,高可用等特性.
然而,现有的数据库系统,即便是国外最先进的产品,都难以同时满足这些特性.
虽然互联网技术催生了大量新型分布式数据管理系统,但是这些系统针对互联网应用设计,无法满足银行对核心交易数据库的应用需求.
为了应对国家对技术自主可控的需求以及金融互联网化带来的技术挑战,华东师范大学、交通银行、西北工业大学于2013年签署合作备忘录,开始共同研发支持银行核心交易的新一代数据库系统.
2014年初,三家单位与阿里巴巴签署开源战略合作协议,希望通过借鉴和参与开源技术,促进自主研发数据库在金融领域的应用.
2015年,三家单位联合中国人民大学,共同进行系统研发和推广,并获得国家863计划的支持.
本项目成功实现了具备高通量、可伸缩、高可用特性的分布式数据库系统,并将其应用在交通银行的多个核心系统中,推动我国在信息技术领域"安全可靠、自主可控"的国家安全战略发展.
该系统是国内大型银行首次在事务处理型应用中使用的自主研发数据库系统,突破了大型银行核心系统数据库被国外IT公司垄断的局面.
本项目的主要创新成果包括:1.
提出了基于读写分离的分布式数据库系统架构,支持存储和计算资源的弹性扩展,利用静态分析技术实现高通量事务处理,解决了金融互联网化带来的高负载难题.
2.
突破传统数据库难以同时兼顾高可用与高一致性的困境,利用轻量级分布式选举协议实现了能够容忍有限网络分区的数据库高可用性,并基于并行日志提交和日志复制技术实现了数据库强一致性.
3.
提出基于读写分离架构的分布式内存数据查询优化和并行执行技术,针对读写分离的弹性架构,设计并实现了分布式二级索引和查询优化器,解决了银行应用对复杂查询的性能要求.
4.
在国有大型银行的事务处理核心系统中首次应用自主研发的分布式数据库,针对具体应用中存在的问题,提出了关联交易的数据存储技术,有效降低分布式事务,提高了系统性能;并通过动态数据分片实现了数据加载任务的负载均衡.
本项目已申请国家发明专利9项,其中已受理6项,已获得授权3项;申请并获得软件著作权9项,发表论文65篇.
广泛支持了交通银行股份有限公司,中国移动江苏分公司,印孚瑟斯技术(中国)有限公司等多家企业的重要产业应用,新增产值超过13.
6亿元,新增利润超过1.
34亿元,累计节约成本超过5000万元.
主要完成单位及创新推广贡献:(1)华东师范大学为本项目的研究工作提供了人员、资金以及应用环境的支持.
项目的部分研究人员来自于华东师范大学.
华东师范大学项目组负责了分布式数据库系统的架构设计,集群环境下的高可用机制,读写分离架构下的查询优化与并行执行.
在本项目所取得的主要创新中,创新点1、2、3是依托于华东师范大学完成,创新点4的部分工作依托于华东师范大学与交通银行完成.
获得授权专利2项,著作权5项.
(2)西北工业大学为本项目的研究工作提供了人员、资金以及应用环境的支持.
项目的部分研究人员来自于西北工业大学.
在高通量可伸缩分布式数据库系统开发和实施过程中,西北工业大学对创新点1、2有重要贡献,在本项目中的主要工作围绕在系统架构设计,数据库的高可用机制等方面,申请专利5项,其中受理4项,授权1项,获得软件著作权3项.
(3)交通银行股份有限公司为本项目的研究工作提供了人员、资金以及应用环境的支持.
项目的部分研究人员来自于交通银行股份有限公司.
在分布式数据库系统开发和应用落地过程中,交通银行股份有限公司勇于在核心业务系统中使用自主研发的分布式数据库产品,是我国大型银行构建和实施"安全高效、自主可控"信息系统战略的大胆创新.
交通银行股份有限公司参与系统需求分析,架构设计,以及部分功能开发与测试,申请专利1项,该系统获得良好的经济效益和社会效益.
(4)中国人民大学为本项目的研究工作提供了人员、资金以及应用环境的支持.
项目的部分研究人员来自于中国人民大学.
中国人民大学对创新点2、3有重要贡献,在本项目中的主要工作围绕数据库的故障恢复机制,查询处理和优化等方面,申请专利2项,其中受理1项,获得授权专利1项,软件著作权1项.
推广应用情况应用单位名称应用起止时间应用情况交通银行股份有限公司2014——2016在多个银行核心系统中替换或者采用本项目研发的分布式数据库系统,重点应用包括历史库系统、供应链应收账款系统、网联支付系统,目前已经累计节约成本超过5000万元.
中国移动江苏分公司2014——2016分布式数据库系统已经应用到中国移动江苏分公司的多个核心业务产品线,系统上线后,在高并发场景下运行平稳,满足的多种互联网场景下的抢购,秒杀营销活动;支持资源弹性扩展,运维方便,支撑新增产值5.
1亿人民币.
印孚瑟斯技术(中国)有限公司2014——2016印孚瑟斯的多个行业解决方案采用了本项目研发的分布式数据库系统,服务了金融,电信,电力等多个行业的客户,已经新增产值超过6亿人民币;系统上线后,运行稳定,支持资源线性扩展,维护方便.
上海珍岛信息技术有限公司2014——2016分布式数据库系统已经应用到珍岛的SaaS智能营销云平台,服务于多个行业用户,支持了多种形式的互联网营销.
实现了海量广告数据的可扩展管理和处理需求,系统运行稳定,支持在线升级和故障透明切换,可用性达到五个9,系统运维友好,累计新增产值2.
4亿人民币.
上海宏路数据技术股份有限公司2014——2016上海宏路数据技术股份有限公司将该分布式数据库系统应用到多个行业解决方案,包括电商,零售,汽车等多个行业,已经新增产值超过1650万人民币;系统上线后,运行稳定,通过弹性资源扩展,支持高通量事务处理,通过强一致性日志同步保证的数据的正确性,满足多个领域关键任务的业务需求.
主要知识产权证明目录:国别知识产权类别授权号名称中国计算机软件著作权2015SR284049基于开源OceanBase(OB)分布式数据库的游标功能子系统软件中国计算机软件著作权2015SR262289TDL:面向分布式数据库管理系统的测试定义语言平台系统软件中国计算机软件著作权2016SR112098分布式内存数据库中的并行度优化软件中国计算机软件著作权2016SR112130逼真流数据测试集生成软件中国计算机软件著作权2016SR119827支持高通量并行处理的增量存储软件中国计算机软件著作权2016SR273675公有云存储系统性能评测工具V1.
0中国计算机软件著作权2016SR275483私有云服务能力检测工具[简称:CSATS]V1.
0中国计算机软件著作权2015SR170199云存储系统可扩展性评测工具V1.
0中国计算机软件著作权2016SR313022证券行业实时分析评测基准的设计与实现软件V1.
0中国授权发明专利201210526354.
0一种面向大规模数据的索引方法及其系统中国授权发明专利201410124427.
2云存储系统的数据备份加速方法中国授权发明专利201110414602.
8一种基于信息增益计算的海量数据异常侦测方法主要完成人情况表:1.
周傲英,排名1,教授,工作单位:华东师范大学,完成单位:华东师范大学,本项目的总负责人,主持了863、973等多项与本项目相关的科研项目.
是本项目技术创新点一、二、三和四的主要贡献人员之一,对分布式数据库系统架构设计、强一致与高可用机制、查询优化与并行执行等多项技术难题有突破性研究成果.
为本项目成果的取得做出了重要贡献.
2.
李战怀,排名2,教授,工作单位:西北工业大学,完成单位:西北工业大学,主持或参与了多项与本项目相关的科研项目.
为本项目的技术创新点一、二的主要贡献人之一.
参与读写分离的系统架构设计、高效日志同步机制、分布式数据库的数据组织与查询优化等多项技术难题的研究.
参与项目期间每年为本项目工作时间超过全年工作时间的60%以上.
3.
李海宁,排名3,高级工程师,工作单位:交通银行股份有限公司,完成单位:交通银行股份有限公司,担任交通银行总行信息技术管理部总经理兼软件开发中心总经理,是本项目技术创新点一、二和四的主要贡献人员之一.
在面向银行应用的分布式数据库架构设计、可伸缩的事务处理机制、高可用机制等多项难题具有重要技术突破,领导了分布式数据库系统在多个银行核心应用的试点工作.
为本项目成果的取得做出了重要贡献.
4.
杜小勇,排名4,教授,工作单位:中国人民大学,完成单位:中国人民大学,主持或参与了多项与本项目相关的科研项目.
为本项目的技术创新点一、二、三的主要贡献人之一.
参与读写分离的系统架构设计、内存集群环境下的高可用机制、基于新型硬件的分布式数据库日志持久化等多项技术难题的研究.
参与项目期间每年为本项目工作时间超过全年工作时间的60%以上.
5.
蔡鹏,排名5,副教授,工作单位:华东师范大学,完成单位:华东师范大学,参与了多项与本项目相关的科研项目.
为本项目的技术创新点一、二的主要贡献人之一.
参与基于静态分析的事务执行优化、内存集群环境下的日志复制机制,快速故障恢复等多项技术难题的研究.
参与项目期间每年为本项目工作时间超过全年工作时间的60%以上.
6.
杜洪涛,排名6,讲师,工作单位:西北工业大学,完成单位:西北工业大学,参与了多项与本项目相关的科研项目.
主要负责本项目成果在企业中的应用实践.
为本项目的技术创新点一、二的主要贡献人之一.
参与分布式数据库高可用机制、分布式二级索引,查询优化器等多项技术难题的研究.
参与项目期间每年为本项目工作时间超过全年工作时间的60%以上.
7.
刘雷,排名7,高级工程师,工作单位:交通银行股份有限公司,完成单位:交通银行股份有限公司,担任交通银行软件开发中心副总经理,为本项目的技术创新点四的主要贡献人之一.
负责分布式数据库系统在银行核心应用历史库、供应链、网联支付等多个系统的整体方案设计、需求分析,技术攻关等工作.
参与项目期间每年为本项目工作时间超过全年工作时间的50%以上.
8.
陈跃国,排名8,副教授,工作单位:中国人民大学,完成单位:中国人民大学,主持或参与了多项与本项目相关的科研项目.
为本项目的技术创新点三的主要贡献人之一.
参与分布式数据库数据组织、查询优化、查询并行执行机制等多项技术难题的研究.
参与项目期间每年为本项目工作时间超过全年工作时间的50%以上.
9.
胡卉芪,排名9,助理研究员,工作单位:华东师范大学,完成单位:华东师范大学,参与本项目在交通银行包括供应链应用、网联等在内的多项系统研发、维护测试、系统上线工作.
为本项目的技术创新点三的主要贡献人之一.
针对读写分离的分布式架构设计与实现的自动化的查询优化框架,主要包括生成最优查询计划的查询优化器,自动化的统计信息监督、收集、更新框架,以及并行查询执行技术.
10.
潘巍,排名10,副教授,工作单位:西北工业大学,完成单位:西北工业大学,主持或参与了多项与本项目相关的科研项目.
为本项目的技术创新点二的主要贡献人之一.
参与分布式数据库日志持久化性能优化、新型硬件环境下的事务处理机制等多项技术难题的研究.
参与项目期间每年为本项目工作时间超过全年工作时间的50%以上.
11.
江晶,排名11,高级工程师,工作单位:交通银行股份有限公司,完成单位:交通银行股份有限公司,担任交通银行软件开发中心(上海)项目经理,是本项目技术创新点一和四的主要贡献人员之一.
在面向银行应用的分布式数据库架构设计、可伸缩的事务处理机制、高可用机制等多项难题具有重要技术突破,负责了分布式数据库系统在多个银行核心应用的项目管理,核心技术攻关等工作.
为本项目成果的取得做出了重要贡献.
12.
周烜,排名12,教授,工作单位:华东师范大学,完成单位:中国人民大学,主持或参与了多项与本项目相关的科研项目.
为本项目的技术创新点一和二的主要贡献人之一.
参与分布式数据库事务隔离级别,执行优化,基于NVM的日志持久化机制等多项技术难题的研究.
参与项目期间每年为本项目工作时间超过全年工作时间的50%以上.
13.
赵琼,排名13,高级工程师,工作单位:交通银行股份有限公司,完成单位:交通银行股份有限公司,针对具体应用问题,将分布式数据库系统创新性应用到多个核心业务系统中,是本项目技术创新点四的主要贡献人员之一.
在面向银行应用的弹性事务处理机制,数据切分机制,负载均衡等多项难题具有重要技术突破,负责了多个核心模块的编码与测试工作.
为本项目成果的取得做出了重要贡献.
14.
张召,排名14,副教授,工作单位:华东师范大学,完成单位:华东师范大学,为本项目的技术创新点三的主要贡献人之一.
在项目中主要分析面向银行应用领域的复杂查询特征,并设计和实现针对复杂查询的数据库查询优化器,提出了基于日志结构树(LSM-tree)的二级索引结构和批量加载方法.
15.
钱卫宁,排名15,教授,工作单位:华东师范大学,完成单位:华东师范大学,主持或参与了多项与本项目相关的科研项目.
为本项目的技术创新点二的主要贡献人之一.
参与了集群环境下的分布式数据库日志复制,故障恢复,分布式选举机制等多项技术难题的研究.
参与项目期间每年为本项目工作时间超过全年工作时间的50%以上.