计算基于云计算的数据库关键技术研究

基于云计算的数据库关键技术研究

摘 要

云计算作为近年来研究与应用领域的热点话题被大多数IT企业和业内人士认为是下一代计算机网络应用技术的核心架构。云计算环境下使用者可以不用再花费高昂的硬件和软件成本去拥有强大的计算资源和庞大的存储能力所有这一切都可以交给云计算服务提供商来完成。 目前设备的信息化管理系统的研发得到了企业的高度重视。 由于国内企业的设备现代化程度低、 自动化水平落后、设备参差不齐没有完善和明确的设备故障远程诊断和管理等问题国内开发的设备管理软件的功能仍然停留在对设备的基本信息等静态数据的管理上不能满足用户以及应用增长的需求。而云计算平台技术的应用不仅消除了用户对特定设备的依赖而且规模可以根据用户和应用增长的需求进行伸缩。凭借云用户的应用和文档仍然跟随用户用便携的设备 同样使用自己的应用和文档记性大量的计算和远程管理。

本文主要借鉴云计算体系结构对NoSQL关键点进行研究。论文在对NoSQL相关技术进行阐述的基础上研发并实现了一个基于云计算平台的企业设备管理系统。该系统能够为企业建立完整的仪器设备电子档案对仪器设备的信息进行数字化管理提高企业设备管理水平。该系统主要包括设备管理模块、统计分析模块、系统管理模块等九大模块。该系统最大的特点是可以不受到某些外界条件的限制如地域和时间是未来设备管理系统的一个发展方向。关键词 云计算数据库 NoSQL技术设备管理

I

Abstract

Cloud computing as a field ofresearch and application in recent years,a hot topic,by most IT companies and industry insiders believe is the core of the next generationof computer network architecture app lication techno lo gy.Under the c loud computingenvironment, users can no longer costly hardware and software costs to have apowerful computing resources and a huge storage capacity, all of which can behanded over to cloud computing service providers to complete.Not only cost savings,but also do not need to spend a lot of energy. Based on cloud technology forenterprise equipment management system memory design, with respect to theadvantages o f traditional relational database resides.

With the information management business equipment subject to corporateconcern and attention, so far, enterprises, universities, research institutions havebegun research enterprise information management device. In China, the devicemanagement software vendor total around 20.Guangzhou Chint PMiss.o devicewhich integrated management information system can achieve integratedmanagement of the equipment, its function is:Device ledger management, changedevice file s,equipment maintenance history, equipment procurement plan, equipmentdepreciation expenses. Remote device management software, Kunshan devicemanagement software are also device management practice and try to study, butoverall the domestic development of device management software features stillremain in the management of basic information about the device, such as static data,which is mainly related to the low level of domestic production of businessequipment modernization, automation level backward, equipment varies, there is noperfect and clear remote diagnosis and management of equipment failure,whereas thesize of the cloud can be scaled according to the actual situation, to meet the growingdemand of users and applications.Also eliminates the user's dependence on aparticular device,by virtue of the cloud, the user's application and documentation stillfollow the user,using portable equipment, the same applications and documents usingtheir own memory a lot of computing and remote management.

II

In this paper, drawing a cloud computing architecture,NoSQL key points forresearch.Article on NoSQL background,basic concepts,as well as data models andprinciples depend introduced,and learn from cloud computing technology to deve lopan enterprise device management system,which for enterprises to establish acomplete equipment electronic files, for instruments and equipment digitalinformation management, improve enterprise device management level, the systemincludes device management module, statistical analysis module, system managementmodule,and other nine modules.For cloud-based equipment management system, itsgreatest feature is not subject to restrictions (such as geographical and time) certainexternal conditions, the future direction of the device management system.

Keywo rds:c loud computing datab ase NoSQL techno lo gy

III

目 录

第1章绪论. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .1

1 1研究背景. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .1

1 2国内外研究现状. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .1

1 3论文的主要内容和组织结构. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .2

1 4本文的创新点. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .3

第2章云计算相关概述及No SQL技术介绍. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .4

2 1云计算相关概述. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .4

2.1.1云计算的概念及优点. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .4

2.1.2现有的云计算平台. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .5

2.1.3云计算的关键技术. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .6

2 2 No SQL技术. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .9

2.2.1No SQL技术的概念与定义. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .9

2.2.2No SQL技术的发展及趋势. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .9

2.2.3No SQL的关键技术研究. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .10

第3章基于云计算的企业设备管理系统的需求分析及构架. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .13

3 1企业设备管理概述. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .13

3 2系统的功能需求分析. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .13

3.2.1设备管理功能. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .14

3.2.2统计分析功能. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .14

3.2.3系统管理功能. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .14

3 3企业设备管理系统的开发模式分析. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .15

3.3.1传统的企业设备管理系统开发模式. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .15

3.3.2基于云计算的企业设备管理系统开发模式. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .16

3 4云计算服务及部署模式的选择. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .16

3.4.1云计算服务及部署模式的选择分析. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .16

3.4.2云计算服务及部署模式的设计. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .21

3 5数据库的迁移. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .25

3 6建设云计算平台的关键要素. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .26

第4章基于云计算的企业设备管理系统数据库的设计与实现. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .28

4 1系统总体设计. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .28

IV

4 2系统功能模块的设计. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .28

4.2.1设备管理模块. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .28

4.2.2租借管理模块. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .30

4.2.3运行管理模块. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .32

4.2.4报废管理模块. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .34

4.2.5特种设备管理模块. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .36

4.2.6统计分析模块. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .37

4.2.7合同管理模块. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .39

4.2.8基础信息管理模块. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .39

4.2.9系统维护模块. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .41

4.2.10设备维护管理. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .42

4.2.11设备备品备件管理. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .42

4.2.12设备运行风险分析. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .42

4 3数据库的设计. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .43

4.3.1 CouchDB建模. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .43

4.3.2CouchDB实体关系描述. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .46

4.3.3数据的查询. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .53

4.3.4权限控制与安全. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .54

4.3.4数据表的设计. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .55

4.4主要功能实现. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .58

4.4.1用户登录. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .58

4.4.2权限管理. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .60

4.4.3设备台账管理. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .60

4.4.4设备借用管理. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .61

4.4.5设备报废管理. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .63

6.2.6分析统计. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .64

4.4.7设备分类维护. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .65

4.4.8设备状态维护. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .66

4.4.9角色授权管理. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .67

4.4.10设备维护管理. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .67

4.4.11设备备品备件. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .68

4.4.12设备运行风险分析. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .68

第5章总结与展望. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .70

V

5 1本文的总结. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .70

5 2下一步的发展方向. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .70

参考文献. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .71

致 谢. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .73

VI

第1章绪论

1 . 1研究背景

上个世纪90年代网络作为一个新颖便捷的信息媒介逐渐被人们所认识。人们意识到它拥有的庞大规模的计算资源着迷于它带来的巨大的应用前景并着手研究如何能够高效便捷的使用这些资源。目前基于互联网的新知识经济已经成为发达国家所追求的一个重要目标。显然互联网经济的发展和壮大已经成为衡量一个国家现代化发展水平与质量的极为重要的指标之一[1] 。 “十二五”期间我国将全面提高信息化水平推动信息化与工业化深度融合实现三网融合构建宽带融合安全的下一代国家信息基础设施。这是日前公布的中共中央关于制定十二五规划的建议是2010年10月18日中国共产党第十七届中央委员会第五次全体会议通过的。

目前云计算技术的推广和应用使人们拥有了在网络中使用大规模分布式计算资源的能力。云计算作为近年来研究与应用领域的热点话题被大多数IT企业和业内人士认为是下一代计算机网络应用技术的核心架构[2] 。云计算环境下使用者可以不用再花费高昂的硬件和软件成本去拥有强大的计算资源和庞大的存储能力所有这一切都可以交给云计算服务提供商来完成。既节约了成本又无需耗费大量精力[3] 。

本文主要借鉴云计算体系结构对NoSQL关键点的研究。文中对NoSQL的背景基本概念、以及所依赖的数据模型和原理进行了介绍并借鉴云计算技术开发了一个企业设备管理系统从架构设计到数据存储体现出NoSQL相对于传统关系型数据库的优势所在。

1 . 2国内外研究现状

随着互联网信息技术的飞速发展云计算逐渐成为各企业和各公司之间竞争的热点各大厂商如Google、微软、 IBM, Amazon等甚至一些不知名的小公司也步入到了云计算领域。现在国际企业由于都有很好的技术背景他们通过深挖技术基础把大量以前的产品和技术中的云计算特征挖掘出来如微软的虚拟化。

1

分布式存储系统提出了自己的云计算生产线[4]。但目前还没有一个真正系统的云计算产品线产生。 Google是云计算的提出者和先行者在搜索引擎技术方面有着多年的积累在云计算技术处于领先地位在计算中占有先机。 Google的优势在于所有的应用程序都可以存在于云计算中用户不需要安装任何东西便可免费使用Google基础设施来完成自己的任务。微软提出了“云+端”的云计算构想强调“端”在云计算中的重要性。蓝色巨人IBM发布了蓝云计划通过分布式的全球化资源让企业的数据中心能像互联网一样运行。在基础设施服务上Amazon主要在弹性云(EC2) 、简单存储服务(S3) 、简单数据(SimpleDB)组成实现了一个远端存取数据库、亚马逊的简单排队服务(SQS) 。 Sun公司宣布推出其开放式云计算平台即开放式云计算基础构架该平台也融入了Sun公司的行业领先软件技术包括Java, MySQL, Opensolaris和开放式存储[5] 。

Google File System分布式文件系统针对Google应用程序的特点提出的MapReduce编程模式分布式的锁机制Chubby以及Google开发的模型简化的大规模分布式数据库BigTable。IBM的“蓝云”计算平台由一个数据中心、IBM Tivoli部署管理软件(Tivoliprovisioning manager) , IBM Tivoli监控软件(IBM Tivolimonitoring) , IBM WebSphere应用服务器、 IBM DB2数据库以及一些开源信息处理软件和开源虚拟化软件共同组成[6] 。

目前我国正处于云计算的革命时期的初级阶段尽管己经有许多可用的云服务但更多的应用仍在开发之中也就是说今天的云计算正在吸引着整个计算机行业中最优秀最大的企业。但国内云计算企业普遍实力不足有热情的企业规模却不够有部分企业虽然已经开始进军云计算但并未全面进行推广。移动、电信运营商拥有强大的网络优势、服务器规模庞大、资金实现雄厚并有从事大规模数据中心建设和运营的经验且在我国具有网络垄断地位这为其云服务的前期推广提供了方便。阿里巴巴拥有良好的用户基础用户访问量相当巨大他们从SaaS入手也在逐步进军云计算。

1 .3论文的主要内容和组织结构

本文主要的研究内容为对NoSQL关键点的研究。文中对NoSQL的背景基本概念、以及所依赖的数据模型和原理进行了介绍并借鉴云计算技术

2