服务器基于MPI的并行文件传输服务器群

文件传输加速  时间:2021-01-12  阅读:()

基于MP I的并行文件传输服务器群

基于MPI的并行文件传输服务器群

黄松林 1 王鹏 1,2严伟才 1 李裕森 1 聂治 3

(1. 成都信息工程学院并行计算实验室 四川成都

610225 2.电子科技大学 四川成都610054 3.

成都理工大学 四川成都610059)

摘 要本文运用MPI 、 C OM/ActiveX和面向缓存等技术设计并实现了文件并行传输理论的新模型 将传统的最小负载均衡调度单位缩小至低于单文档大小

并将命令处理和数据服务相分离。 文中给出了系统拓

扑图、命令处理流程图和核心模块的设计原理图。 实际测试结果表明 该系统增强了处理并发请求的能力

和带宽大大提高了数据传输速率 证明了这一设计

方案的可行性和有效性。

关键词并行文件传输协议 MP I 并行文件I/O 集群监控

中图分类号 TP393 文献标识码 A

Tree-Structure Web Server Clusters Based on MPI

Huang Songlin

LiYusen 1 NieZhi 3

(1.Parallel Computing Laboratory,Chengdu

University of Information Technology,Sichuan,

Chengdu,610225;2.University of Electronic

Science and Technology of China,Sichuan,

Chengdu,610054;3.Chengdu University of

Technology,Sichuan Chengdu 610059)

Abstract  This paper discusses a new model of paralleled transfer theory of files in detail with technology of MPI  COM/ActiveX and caching-oriented,which effectively reduce to single document for traditional least load balance scheduling units.System topology graph 、 the deal flow charts of command and the diagram of central module are described in the same time.The circulation result shows:this system enhances the ability of parallel query and increases the data transfer velocity,moreover,validates the feasibility of this model.

Key Words  PFTP; MPI; Paralleled File I/O;Cluste Monitor.

1 引言

随着网络技术的发展和普及人们对 FTP传输的速度与稳定性要求越来越高。从结构上讲 FTP 属于客户/服务器结构是一种简单的多对一结构

即多台客户机向一台服务器发出请求 此服务器对各

个客户机分时作出应答。随着并行 FTP用户的增加,服务器的网络传输效率会显著下降 ,表现为 数据传输速度不稳定 服务器对请求响应迟缓 甚至拒绝应答,传统的解决方法是限制客户的连接数。本文将并

行计算理论应用到传统的 FTP系统中通过增加服务器结点的数量来增加带宽和同时访问连接数 并对这些服务器结点进行集中控制和管理 以确保整个系

统中对用户是透明的 多台服务器节点并行地传输同

一个文件的不同块 因而既增大了系统带宽又提高了

文件传输速度。基于这种思想的并行文件传输服务器

群可以有效地解决现有 FTP系统存在问题[1-5] 。

2 MPI及相关技术

MPI(Message Passing Interface)是由MPI论坛

开发的一个非专利且独立于平台的消息传递函数库

的与语言无关的标准规范而不特指某一具体实现

[6] 。MP I是目前最重要的并行编程工具它具有移

植性好、 功能强大、 效率高等优点 而且有多种不同的实现版本几乎所有的并行计算机厂商都提供对它

的支持 这是其他并行编程环境所无法比拟的。 MP I 不仅提供了多种通讯模式其打 /解包收发不连续数据功能有效的减少了通讯次数 他的扩充版本MP I-2

提供文件并行 I/O 能够方便的实现文件的并行读

写。基于这些原因本文选用了 MP I作为服务端系统的开发平台。

3 基于MPI的并行文件传输服务器群模型

3.1并行服务器群的拓扑结构

结点服 构排调列度服务分器为可调能度在节下点层与搜子寻负载最轻的子节点和进行并行I/O操作。子结点有

一个独立于服务器群。如图 1

【注 1 1 接收用户请求。 12分析消息中包含的文档大小文件并行 I/O 。

13本地数据服务。 14 MP I消息传递。 15  响应客户请求

21,收集各结点监控数据。 22读取监控数据】

3.2并行服务器群的调度策略

传统的分布式调度策略和负载均衡算法所采用的

最小调度单位为文件甚至为本次连接 很难实现理想

中的负载均衡。 我们的目标是要设计并行服务的调度

策略。模型中主服务器 单台 所维护的文件索引列表面向缓存 当解析到用户发出信息为列表目录时

立即在该索引表中应列表信息并返回用户 对应解析为下载信号时则根据用户所创线程数和子服务器实

时负载对任务分解、 动态调度并由子服务器 多台并行提供数据服务 调度算法遵循在并行粒度范围内

按最轻网络流量负载节点优先调度的法则 使得各子服务器在任意时刻其负载量均趋于一致 整体负载更

加均衡。具体流程请参考表 1 。

表1主服务器处理用户的不同命令

 a.用户命令 b.主服务器处理步骤

主服务器的内存中文件索引列表覆盖了镜像子服

务器内共享目录的全部信息。 对应在子服务器内存有

简化版的文件索引表 只具有文件编号和路径的映射

功能。主服务器直接返回列表信息于用户避免的大量

的费时的tcp转接操作而在所有服务器均设置文件

索引表则优化了任务分配时的内部网络通信。

主服务器申请load集合用于缓存当前各子服务

器实际文件服务负载信息 该全局信息为任务的精确

调度提高了依据。 该load集合的维护采用异步模式

即能在每次调度时直接于内存中获得信息又能根据

子服务器的状态改变或当前文件服务完毕而发往主

服务器的信号引起主服务器动态改变 load集合的值。

子服务器申请一队列用于缓存主服务器分配的任

务该队列设有超时功能 在规定时限内一旦有用户

通过连接验证立即将对应任务取出并按任务规定的

偏移量I/O和提高数据服务。

3.3并行服务器群的M PI实现

3.3.1文件索引表

本文提出的并行文件传输服务器群建立在 MP I的消息传递机制之上.为了减少主服务器给子服务器

通信的数据量,在各子服务器内存中维护了同样的

文件索引表(字符串数组), 数组的下标代表文件编号,相应的字符串代表此文件的完整路径。 主服务

器只需告诉子服务器文件编号 ,子服务器就能从文件索引表得到完整路径。 但这样做的结果是主服务器每更改一次文件列表都要对子服务器上的索引表

进行更新。而对数组进行增加/减少元素开销比较大,但稳定运行的服务器都不会经常变动文件 ,这种运行期间的文件列表更新操作是很少的 ,所以不会对服务器性能造成影响。

3.3.2服务器命令处理流程图

根据不同命令的处理情况 ,将常用的命令分为以下5个组。 1申请数据通道命令,用于主服务器传送

文件列表信息给客户 2读文件列表命令 3写文

件列表命令 4读写文件命令 5其它命令。 主

服务器初始化完成后等待客户发送命令请求 ,接收到客户端命令后,通过命令解析 根据以上分类 进行不同的处理。流程图如下

COM(Component Object Model, 组件对象模型)是Microsoft 创建的一种编程规范,它允许任意两个组件互相通信,在二进制级别上重用代码。

PacificRack 下架旧款方案 续费涨价 谨慎自动续费

前几天看到网友反馈到PacificRack商家关于处理问题的工单速度慢,于是也有后台提交个工单问问,没有得到答复导致工单自动停止,不清楚商家最近在调整什么。而且看到有网友反馈到,PacificRack 商家的之前年付低价套餐全部下架,而且如果到期续费的话账单中的产品价格会涨价不少。所以,如果我们有需要续费产品的话,谨慎选择。1、特价产品下架我们看到他们的所有原来发布的特价方案均已下架。如果我们已有...

这几个Vultr VPS主机商家的优点造就商家的用户驱动力

目前云服务器市场竞争是相当的大的,比如我们在年中活动中看到各大服务商都找准这个噱头的活动发布各种活动,有的甚至就是平时的活动价格,只是换一个说法而已。可见这个行业确实竞争很大,当然我们也可以看到很多主机商几个月就消失,也有看到很多个人商家捣鼓几个品牌然后忽悠一圈跑路的。当然,个人建议在选择服务商的时候尽量选择老牌商家,这样性能更为稳定一些。近期可能会准备重新整理Vultr商家的一些信息和教程。以前...

618云上Go:腾讯云秒杀云服务器95元/年起,1C2G5M三年仅288元起

进入6月,各大网络平台都开启了618促销,腾讯云目前也正在开展618云上Go活动,上海/北京/广州/成都/香港/新加坡/硅谷等多个地区云服务器及轻量服务器秒杀,最低年付95元起,参与活动的产品还包括短信包、CDN流量包、MySQL数据库、云存储(标准存储)、直播/点播流量包等等,本轮秒杀活动每天5场,一直持续到7月中旬,感兴趣的朋友可以关注本页。活动页面:https://cloud.tencent...

文件传输加速为你推荐
免费注册域名怎样免费注册域名呢 要详细的步骤哦美国主机租用美国服务器多少钱一年?me域名注册什么是ME域名,为什么注册ME域名域名空间买域名空间是什么意思asp主机asp.net虚拟主机怎么样,它和asp虚拟主机是不是一样的,求解释info域名注册淘宝上有的注册info域名十元左右,是不是真的网站服务器租用网站服务器租用ip代理地址代理IP是什么台湾vps虚拟主机,VPS,服务器,其中哪个流量最大?美国网站空间我想买个国外的网站空间,那家好,懂的用过的来说说
中文域名 lunarpages 海外服务器 nerd evssl 天猫双十一抢红包 合肥鹏博士 全站静态化 电子邮件服务器 免费智能解析 免费dns解析 上海服务器 多线空间 便宜空间 日本代理ip photobucket 中国域名 WHMCS paypal兑换 域名商城 更多