存储过程2016年度精品--voltDB 部署与实现

voltdb 时间:2021-01-26 阅读:()

1 VoltDB简介. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .2

2 VoltDB部署安装环境. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .2

2.1.安装环境要求. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .2

2.2.安装VoltDB. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .3

2.3.VoltDB是怎么工作的. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .3

3.一个简单应用Hel lo,World!. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .5

3.1创建一个目录用来存放项目所有源文件. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .5

3.2定义数据库结构. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .5

3.3创建存储过程文件用来插入记录文件名为Insert. java. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .5

3.4创建存储过程用来查询记录,文件名为Select.java. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .6

3.5创建客户端源文件名为Cl ient.java. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .6

3.6创建工程定义文件project.xml,该文件用来定义数据库表和存储过程。. . . . . . . . . . . . . . . . . .7

3.7有了这些源文件和定义文件现在可以编译了过程如下. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .8

3.8.定义系统配置. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .8

3.9.运行Hel loWorld. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .9

1 VoltDB简介

VoltDB是StoneBra ker最新研究成果是一个优化吞吐率的高性能集群开源SQLRDBMS支持ACID。从硬件上看 VoltDB基于PC+以太网+本地存储从体系结构上看其内部是一个ShareNothing的内存数据库通过并行单线程来保证事务一致性和高性能所有事务被实现为Java存储过程所有存储过程事务均全局有序 由于避免了锁的使用因此可以保证每个事务在所有分区上并行执行完成后才继续执行下一个事务事务不会乱序执行。存储过程内部支持分组、多路Join、聚合、函数等等如果希望提高吞吐率使用单事务多SQL可以有效提高吞吐率。 Volt DB的可靠性通过冗余和自动恢复来保证。

VoltDB值得关注的一个特性是自动数据分区数据表会被自动分配到集群节点。可以看成是传统Sharding的升级、整合版本。另外一个特性是自动快照这样在一个事务内部无需进行IO操作可以在微秒级别完成事务据说性能提高50倍。第三个特性是异步事务提交。从某种意义上看 VoltDB是一个共享内存的集群有些像此前有人提到的“Ram Cloud“。 VoltDB的系统性能据说在几个节点就可以达到百万TPS VoltDB支持多节点并行事务处理理论上不存在节点上限不过VoltDB开发人员最大测试集群是20个节点。

2 VoltDB部署安装环境

2.1.安装环境要求

Operating System VoltDB requires a 64-bit Linux-based operating system.Kits are built andqualified on CentOS version 5.6 and Ubuntu versions 10.4 and 10.10.

Development builds are also available for Macintosh OSX 10.61.

CPU•Dual core2 x86_64processor

•64bit

• 1.6 GHz

Memory 4 Gbytes3

Java Sun JDK 6 update 20 or later

Required Software NTP4

Recommended Software Ant 1.7 or later

Eclipse 3.x(or other Java IDE)

Footnotes:

1.CentOS 5.6 and later and Ubuntu 10.4 and later are the only officially supported operating systemsfor VoltDB.However,VoltDB is tested on several other POSIX-compliant and Linux-based 64-bitoperating systems, including Macintosh OSX 10.6.

2.Dual core processors are a minimum requirement.Four or eight physical cores are recommended foroptimalperformance.

3.Memory requirements are very specific to the storage needs of the application and the number ofn o des

in the cluster.However,4 Gigabytes should be considered a minimum configuration.

4.NTP minimizes time differences between nodes in a database cluster,which is critical for VoltDB.Allnodes ofthe cluster should be configured to synchronize against the same NTP server.Using asingle local NTP server is recommended,but not required.

2.2.安装VoltDB

下载安装包

# wget http://community.voltdb.com/sites/default/files/archive/2.5/LINUX-vo ltdb-2.5.tar.g z安装VoltDB到一个开发服务环境

# sudo tar -zxvf LINUX-voltdb-2.5.tar.gz -C /opt

# cd /opt

# sudo mv LINUX-voltdb-2.5/ voltdb

2.3.VoltD B是怎么工作的

VoltDB有如下图3.1组件

SQL Schema定义了数据库的布局。 VoltDB使用标准的SQL DDL语法来定义数据库模式。Store Procedures:存储过程定义了如何使用数据库。所有的数据请求都被存储过程执行

存储过程使用Java和SQL定义。

Client Application:应用客户端调用存储过程去执行数据库请求并调用定义在VoltDB客户端库函数。

VoltDB Project File:该文件指定了存储过程和模式的路径还包括一些额外的应用信息。被用来编译得到结果的VoltDB应用目录。

ApplicationCatalog:应用程序目录结合了部署集群的配置信息用来创建运行时数据库实例。

3.一个简单应用Hello,World!

在Linux下现在有许多开发环境IDE可用,为了简单此例仅使用了java(jre),Vo ltDB,和一个文本编辑器。 VoltDB是一个数据库用来从数据表存储和获得数据我们在这个应用用数据库存储“He l lo”和“W o rld”并获得它们。我用了不同的语言来表示这连个字段语言设为主键。

3.1.创建一个目录用来存放项目所有源文件

#mkdir h e llo world

#c d h e llo wo r ld

3.2.定义数据库结构

CREATE TABLE HELLOWORLD (

HELLO VARCHAR(15) ,

VOLTDB VARCHAR(15) ,

DIALECT VARCHAR(15) NOT NULL,

PRIMARY KEY (DIALECT)

) ;

3. 3.创建存储过程文件用来插入记录 文件名为Insert. java

# nano Insert. java

编辑为如下import org.voltdb.*;

@ProcInfo(partitionInfo = "HELLOWORLD.DIALECT: 2",singlePartition = true

)public class Insert extends VoltProcedure {public final SQLStmt sql = new SQLStmt(

"INSERT INTO HELLOWORLD VALUES (?, ?, ?) ; "

) ;public VoltTable[ ] run( String hello,

String voltdb,

String language)throws VoltAbortException {voltQueueSQL( sql, hello, world, language ) ;voltExecuteSQL( ) ;

return null;

}

3.4创建存储过程用来查询记录,文件名为Select.java# nano Select. java

编辑成如下import org.voltdb.*;

@ProcInfo(partitionInfo = "HELLOWORLD.DIALECT: 0",singlePartition = true

)public class Select extends VoltProcedure {public final SQLStmt sql = new SQLStmt(

"SELECT HELLO, WORLD FROM HELLOWORLD " +

" WHERE DIALECT = ?; "

) ;public VoltTable[ ] run( String language)throws VoltAbortException {voltQueueSQL( sql, language ) ;return voltExecuteSQL( ) ;

}

3.5.创建客户端源文件名为Client.java

#java Client.java

源码编辑为import org.voltdb.*;import org.voltdb.client.*;public class Client {public static void main(String[ ] args) throws Exception {/*

* Instantiate a client and connect to the database.

*/org.voltdb.client.Client myApp;myApp = ClientFactory.createClient( ) ;myApp.createConnection("localhost") ;

* Load the database.

myApp.callProcedure("Insert", "Hello", "World", "English") ;myApp.callProcedure("Insert", "Bonjour", "Monde", "French") ;myApp.callProcedure("Insert", "Hola", "Mundo", "Spanish") ;myApp.callProcedure("Insert", "Hej", "Verden", "Danish") ;myApp.callProcedure("Insert", "Ciao", "Mondo", "Italian") ;

* Retrieve the message.

*/final ClientResponse response = myApp.callProcedure("Select",

"Spanish") ;if (response.getStatus ( ) != ClientResponse.SUCCESS) {

System.err.println(response.getStatusString( ) ) ;

System.exit(-1) ;

}final VoltTable results [ ] = response.getResults ( ) ;if (results.length == 0 | | results [0] .getRowCount( ) != 1) {

System.out.printf("I can't say Hello in that language. \n") ;

System.exit(-1) ;

}

VoltTable resultTable = results [0] ;

VoltTableRow row = resultTable.fetchRow(0) ;

System.out.printf("%s, %s! \n", row.getString("hello") ,row.getString("world") ) ;