服务器基于MPI的并行文件传输服务器群

文件传输加速  时间:2021-01-12  阅读:()

基于MP I的并行文件传输服务器群

基于MPI的并行文件传输服务器群

黄松林 1 王鹏 1,2严伟才 1 李裕森 1 聂治 3

(1. 成都信息工程学院并行计算实验室 四川成都

610225 2.电子科技大学 四川成都610054 3.

成都理工大学 四川成都610059)

摘 要本文运用MPI 、 C OM/ActiveX和面向缓存等技术设计并实现了文件并行传输理论的新模型 将传统的最小负载均衡调度单位缩小至低于单文档大小

并将命令处理和数据服务相分离。 文中给出了系统拓

扑图、命令处理流程图和核心模块的设计原理图。 实际测试结果表明 该系统增强了处理并发请求的能力

和带宽大大提高了数据传输速率 证明了这一设计

方案的可行性和有效性。

关键词并行文件传输协议 MP I 并行文件I/O 集群监控

中图分类号 TP393 文献标识码 A

Tree-Structure Web Server Clusters Based on MPI

Huang Songlin

LiYusen 1 NieZhi 3

(1.Parallel Computing Laboratory,Chengdu

University of Information Technology,Sichuan,

Chengdu,610225;2.University of Electronic

Science and Technology of China,Sichuan,

Chengdu,610054;3.Chengdu University of

Technology,Sichuan Chengdu 610059)

Abstract  This paper discusses a new model of paralleled transfer theory of files in detail with technology of MPI  COM/ActiveX and caching-oriented,which effectively reduce to single document for traditional least load balance scheduling units.System topology graph 、 the deal flow charts of command and the diagram of central module are described in the same time.The circulation result shows:this system enhances the ability of parallel query and increases the data transfer velocity,moreover,validates the feasibility of this model.

Key Words  PFTP; MPI; Paralleled File I/O;Cluste Monitor.

1 引言

随着网络技术的发展和普及人们对 FTP传输的速度与稳定性要求越来越高。从结构上讲 FTP 属于客户/服务器结构是一种简单的多对一结构

即多台客户机向一台服务器发出请求 此服务器对各

个客户机分时作出应答。随着并行 FTP用户的增加,服务器的网络传输效率会显著下降 ,表现为 数据传输速度不稳定 服务器对请求响应迟缓 甚至拒绝应答,传统的解决方法是限制客户的连接数。本文将并

行计算理论应用到传统的 FTP系统中通过增加服务器结点的数量来增加带宽和同时访问连接数 并对这些服务器结点进行集中控制和管理 以确保整个系

统中对用户是透明的 多台服务器节点并行地传输同

一个文件的不同块 因而既增大了系统带宽又提高了

文件传输速度。基于这种思想的并行文件传输服务器

群可以有效地解决现有 FTP系统存在问题[1-5] 。

2 MPI及相关技术

MPI(Message Passing Interface)是由MPI论坛

开发的一个非专利且独立于平台的消息传递函数库

的与语言无关的标准规范而不特指某一具体实现

[6] 。MP I是目前最重要的并行编程工具它具有移

植性好、 功能强大、 效率高等优点 而且有多种不同的实现版本几乎所有的并行计算机厂商都提供对它

的支持 这是其他并行编程环境所无法比拟的。 MP I 不仅提供了多种通讯模式其打 /解包收发不连续数据功能有效的减少了通讯次数 他的扩充版本MP I-2

提供文件并行 I/O 能够方便的实现文件的并行读

写。基于这些原因本文选用了 MP I作为服务端系统的开发平台。

3 基于MPI的并行文件传输服务器群模型

3.1并行服务器群的拓扑结构

结点服 构排调列度服务分器为可调能度在节下点层与搜子寻负载最轻的子节点和进行并行I/O操作。子结点有

一个独立于服务器群。如图 1

【注 1 1 接收用户请求。 12分析消息中包含的文档大小文件并行 I/O 。

13本地数据服务。 14 MP I消息传递。 15  响应客户请求

21,收集各结点监控数据。 22读取监控数据】

3.2并行服务器群的调度策略

传统的分布式调度策略和负载均衡算法所采用的

最小调度单位为文件甚至为本次连接 很难实现理想

中的负载均衡。 我们的目标是要设计并行服务的调度

策略。模型中主服务器 单台 所维护的文件索引列表面向缓存 当解析到用户发出信息为列表目录时

立即在该索引表中应列表信息并返回用户 对应解析为下载信号时则根据用户所创线程数和子服务器实

时负载对任务分解、 动态调度并由子服务器 多台并行提供数据服务 调度算法遵循在并行粒度范围内

按最轻网络流量负载节点优先调度的法则 使得各子服务器在任意时刻其负载量均趋于一致 整体负载更

加均衡。具体流程请参考表 1 。

表1主服务器处理用户的不同命令

 a.用户命令 b.主服务器处理步骤

主服务器的内存中文件索引列表覆盖了镜像子服

务器内共享目录的全部信息。 对应在子服务器内存有

简化版的文件索引表 只具有文件编号和路径的映射

功能。主服务器直接返回列表信息于用户避免的大量

的费时的tcp转接操作而在所有服务器均设置文件

索引表则优化了任务分配时的内部网络通信。

主服务器申请load集合用于缓存当前各子服务

器实际文件服务负载信息 该全局信息为任务的精确

调度提高了依据。 该load集合的维护采用异步模式

即能在每次调度时直接于内存中获得信息又能根据

子服务器的状态改变或当前文件服务完毕而发往主

服务器的信号引起主服务器动态改变 load集合的值。

子服务器申请一队列用于缓存主服务器分配的任

务该队列设有超时功能 在规定时限内一旦有用户

通过连接验证立即将对应任务取出并按任务规定的

偏移量I/O和提高数据服务。

3.3并行服务器群的M PI实现

3.3.1文件索引表

本文提出的并行文件传输服务器群建立在 MP I的消息传递机制之上.为了减少主服务器给子服务器

通信的数据量,在各子服务器内存中维护了同样的

文件索引表(字符串数组), 数组的下标代表文件编号,相应的字符串代表此文件的完整路径。 主服务

器只需告诉子服务器文件编号 ,子服务器就能从文件索引表得到完整路径。 但这样做的结果是主服务器每更改一次文件列表都要对子服务器上的索引表

进行更新。而对数组进行增加/减少元素开销比较大,但稳定运行的服务器都不会经常变动文件 ,这种运行期间的文件列表更新操作是很少的 ,所以不会对服务器性能造成影响。

3.3.2服务器命令处理流程图

根据不同命令的处理情况 ,将常用的命令分为以下5个组。 1申请数据通道命令,用于主服务器传送

文件列表信息给客户 2读文件列表命令 3写文

件列表命令 4读写文件命令 5其它命令。 主

服务器初始化完成后等待客户发送命令请求 ,接收到客户端命令后,通过命令解析 根据以上分类 进行不同的处理。流程图如下

COM(Component Object Model, 组件对象模型)是Microsoft 创建的一种编程规范,它允许任意两个组件互相通信,在二进制级别上重用代码。

#消息# contabo:德国老牌机房新增美国“纽约、西雅图”数据中心,免设置费

运作了18年的德国老牌机房contabo在继去年4月开办了第一个美国数据中心(中部城市:圣路易斯)后立马在本月全新上马两个数据中心:纽约、西雅图。当前,为庆祝美国独立日,美国三个数据中心的VPS全部免除设置费,VPS本身的配置很高,价格适中,有较高的性价比!官方网站:https://contabo.com/en/SSD VPSKVM虚拟,纯SSD阵列,不限制流量,自带一个IPv4内存CPUSSD带...

香港ceranetworks(69元/月) 2核2G 50G硬盘 20M 50M 100M 不限流量

香港ceranetworks提速啦是成立于2012年的十分老牌的一个商家这次给大家评测的是 香港ceranetworks 8核16G 100M 这款产品 提速啦老板真的是豪气每次都给高配我测试 不像别的商家每次就给1核1G,废话不多说开始跑脚本。香港ceranetworks 2核2G 50G硬盘20M 69元/月30M 99元/月50M 219元/月100M 519元/月香港ceranetwork...

妮妮云80元/月,香港站群云服务器 1核1G

妮妮云的来历妮妮云是 789 陈总 张总 三方共同投资建立的网站 本着“良心 便宜 稳定”的初衷 为小白用户避免被坑妮妮云的市场定位妮妮云主要代理市场稳定速度的云服务器产品,避免新手购买云服务器的时候众多商家不知道如何选择,妮妮云就帮你选择好了产品,无需承担购买风险,不用担心出现被跑路 被诈骗的情况。妮妮云的售后保证妮妮云退款 通过于合作商的友好协商,云服务器提供2天内全额退款,超过2天不退款 物...

文件传输加速为你推荐
国内ip代理谁有最快的国内IP代理HTTPasp网站空间ASP空间是什么?100m虚拟主机100M的虚拟主机都能做些什么论坛虚拟主机我想买个论坛虚拟主机,但是去了好多网站都不怎么样?jsp虚拟主机java虚拟主机空间怎么选择,国内jsp虚拟主机比较稳定,现在java项目做好后需要推荐一下吧jsp虚拟主机jsp中文网的虚拟主机有人用过没?觉得怎么样?新加坡虚拟主机新加坡虚拟主机无法访问,Godaddy回邮件说是域名的问题?青岛虚拟主机虚拟主机在什么地方买好?又便宜?长沙虚拟主机长沙IDC,求长沙本地虚拟主机,大伙推荐推荐虚拟主机提供商虚拟主机必须与域名提供商在一家买吗?
深圳域名注册 域名备案收费吗 godaddy域名解析 ion koss 美国php主机 线路工具 2017年万圣节 dd444 北京双线机房 七夕促销 域名转接 1g空间 东莞服务器 无限流量 google台湾 腾讯总部在哪 百度云加速 linode支付宝 ebay注册 更多