缓存基于文件缓存价值量感知的网络边缘缓存策略之计算机研究

基于文件缓存价值量感知的网络边缘缓存策略之计算机研究

第一章绪论

1.1研究背景与意义

在互联网中因为智能终端设备能对数据进行实时的数据处理可以为终端用户提供实时可靠的服务[4] 所以智能终端设备在智慧城市、智能家居、环境监测、工业监控、公共场所视频监控、个人身体健康记录等应用方面被普遍使用.随着互联网在计算缓存和通信领域蓬勃发展网络慢慢融入到我们生活的方方面面我们像离不开空气一样地离不开网络。网络科技的发展改变了我们以往的生活方式也让我们真真实实的感受到智能化设备带给我们在生活上的方便和快捷。按照目前智能手机智能音响可穿戴电子设备等智能移动设备数量呈指数型增长的模式经过一段时间的数量积累预计到2020年未来的互联网将融入数百亿的智能设备[1] 。随着移动电子设备的普及 网络流量以及能量消耗也会迅速的增加[2] 。根据思科全球云指数报告[3] 经过对现有数据的分析预测到2021年所有人与人人与物物与物的互联会使网络数据以难以想象的形式快速增长这种数据源产生数据的数量是相当庞大的他们产生的数据量将达到近850泽字节zetta byte ZB。

虽然互联网的快速发展促进了移动终端设备的增长但是大多数移动终端设备的计算通信和存储资源都非常的有限[6] 。受移动终端设备硬件条件的限制很多新型的服务如增强现实虚拟现实在单独的移动终端设备上运行的效果不佳[7]。而云计算技术能为移动终端设备提供云服务来弥补其硬件资源有限的缺点[8] 。 目前 资源有限的移动终端设备必须依靠远端云来增强其计算通信和存储能力。移动终端设备作为数据的产生源在其自身产生数据后通过核心网core network CN将数据发送给比移动终端设备处理能力强得多的远端云服务器让云服务器代替终端设备进行数据的运算和处理。待处理的数据在云服务器中被处理完后云服务器将操作指令发送到网络边缘的移动终端设备移动终端设备接收并执行相应的指令。在集中式的云计算模式下即使所有的移动终端设备都处于同一个区域范围内它们也必须与远端云服务器进行通信。其中物联网设备通过核心网将收集到的大量原始数据传输到云服务器进行处理和分析用这种云计算的方式来满足用户的请求。在一定的网络规模下使用集中式的云计算模式可以显著提高网络的性能。但是在解决大量数据流量时基于云服务器的基础架构可能会因为长距离的数据传输和能量消耗等问题而导致较长的响应时间和较高的带宽消耗[9]。在万物互联的大数据时代云计算的集中处理方式给云服务器和核心网带来了不小的负担[10]。同时集中式的数据处理方式因响应延时较长的问题会大幅度降低用户对延迟敏感应用的体验质量Qual ity-of-Experience QoE。. . .. .. .. .. .. . .. .. .. .. .. .. .. . .

1.2边缘缓存技术概述

边缘缓存技术在接近终端用户的网络边缘使用缓存服务器来存储用户访问的部分网络文件

[13] 。例如如果一个用户访问了一个受欢迎的小视频文件考虑到后续该文件有很大的可能被再次访问所以网络边缘的缓存服务器会将这个小视频文件缓存起来。在这之后请求访问该小视频文件的所有用户将直接从缓存服务器中获得该内容直到这个小视频文件被缓存价值更大的其他文件所替换为止。高性能的边缘缓存需要着重考虑两个策略分别是缓存决

策策略和缓存替换策略[14]。首先缓存决策策略应该确保尽可能多的缓存接下来一段时间内被多次请求的文件。也就是说要尽可能的提高缓存命中率。一旦用户请求的文件被边缘缓存设备缓存了那么用户可以直接在靠近用户的网络边缘设备中获取请求的文件而不用通过核心网向远距离的云端来获取请求的文件。其次在边缘缓存设备缓存容量一定的情况下缓存替换策略应该确保继续缓存在本地的文件缓存价值较高并替换出未来不久被用户访问次数少甚至不会被再次访问的文件为新的待缓存文件腾出缓存空间。缓存替换策略和缓存决策策略的目标一样都是要最大化缓存命中率。在网络系统中边缘缓存技术主要涵盖缓存阈值缓存价值量和缓存污染。

1缓存阈值

缓存阈值是指能影响缓存决策结果的一个临界值。缓存阈值作为边缘缓存技术的关键性参数缓存阈值的设定在整个网络缓存系统中占据了很重要的地位它能直接影响终端用户的网络体验效果[15]。缓存阈值的存在形式有很多种在边缘缓存技术中有以文件大小为缓存阈值的。因为网络中文件大小各异有大到几GB的视频文件也有小到几KB的文本文件[16] 。当以文件大小为缓存阈值时若被请求的文件大小比缓存阈值大可以根据实际需求缓存该文件的部分内容或者不缓存该文件。而当文件大小小于或等于缓存阈值时缓存整个文件内容。缓存阈值也可以是以文件的流行度为缓存标准。例如设定当某一文件的请求次数达到一定数量时才缓存该文件。若没有达到设定的缓存阈值则不缓存该文件。为了保证缓存命中率缓存阈值的设定值至关重要设定的太大或者太小都会降低缓存命中率。可见缓存阈值对边缘缓存系统的性能具有重要意义。

2缓存价值量

缓存价值量是衡量一个文件被缓存后在后续的一段时间范围内能满足用户需求的指标。在不断有新的网络用户加入到网络中来的大背景下用户请求视频等文件的体验质量受到网络拥塞和信道带宽的影响。边缘缓存技术的兴起提高了用户的网络体验效果[17] 。如果每一个网络边缘设备的缓存能力无限大大到能缓存网络中的所有文件这样用户基本不会再受网络延时的困扰。但是事实上网络边缘设备的缓存能力非常有限。边缘缓存技术以“空间换时间”的方式来保证用户的需求在有限的缓存容量下只能通过对缓存价值量较高的文件进行缓存的原则来提高整个网络系统的性能。缓存价值量可以通过文件的大小来衡量。 比如文件大小越大的文件缓存价值量就越高。因为文件越大文件的传输成本越高。缓存价值量也可以通过文件受欢迎程度来衡量。比如越受欢迎的文件被用户访问的频率高自然该文件的缓存价值量也就越高。在边缘缓存技术中总的缓存价值量越高整个网络系统的效用越高。

. . .. .. .. .. .. . .. .. .. .. .. ..

第二章边缘缓存研究现状

2.1网络边缘相关研究

2.1.1网络边缘概述

网络是一个具有广泛意义的概念。网络是由终端设备和有关的网络设备组成的而终端设备和有关的网络设备之间相互作用形成了网络系统结构。图2-1展示了一般的网络系统结构。终端设备是电脑、手机、汽车、监控等可接入互联网的电子设备。网络接入层包括各种可供终端设备连接的热点、基站、路由器。 网络核心层主要由交换机/路由器对网络中的数据进行高速传输。 网络服务层由电子邮件服务器、Web服务器、文件服务器等多种服务器为用户提供其需要的相应服务。以使用终端设备的用户为参考对象终端设备直接通过接入层来融入网络接入层位于整个网络的边缘。所以通常将网络接入层和终端设备视为网络边缘。

<img alt=""src="http://www.sblunwen.com/uploads/al l img/191108/2696-19110Q44454592.png"style="text-size-adjust: none; paddi ng:0px;margin:0px

. . .. .. .. .. .. . .. .. .. .. .. .. ..

2.2网络缓存相关研究

2.2.1Web缓存

Web缓存通过在用户端本地缓存或在Web服务器上缓存Web文档来减少网络流量避免对原始服务器的不必要请求。Web缓存的主要思想是在Web缓存区中保存最受用户欢迎的Web对象[25]。而Web缓存的性能主要受其选择的替换策略的影响。文献[26]提出用户的移动性是对因特网有效访问的一个重大的挑战因为移动用户的位置和网络连接点都随时间的变化而在改变。所以文献[26]中提出基于不同用户对Web文档的请求数用分类的方法来预测用户最可能需要的Web文档。文献[27]指出尽管多年来已经开发出新型的网络缓存替换策略来增强Web缓存的性能但是还没有一种具有方法论的框架来评估和比较这些替换策略的性能。 目前的测验工具是以牺牲其中一些因素为代价来考虑其他某些因素。在此现状下文献[27]建立了一个统一的评估框架可用于评估更广泛场景中的各种缓存替换策略可以帮助开发人员和用户比较和选择各种替换策略以满足其需求和约束。

2.2.2边缘缓存

边缘缓存通过在接近移动用户的网络边缘部署边缘缓存服务器为用户提供网络应用需求。在边缘计算中随着缓存技术的发展边缘设备通过有效的缓存决策可以减少冗余数据的传输并大大提高文件传输的效率[28]。根据文献[29] 多媒体流量的一个基本特征是一些流行文件如视频文件可以在一定时间内被不同的用户请求。这将导致同一文件被重复传输下载浪费带宽最终增加网络拥塞的发生。如图2-2所示在没有边缘缓存的网络中假设八个用户同时向基站请求相同的文件那么云数据中心和核心网之间会形成八条链路。核心网和各个基站之间会形成两条链路而每条链路上重复的传输同一个文件。如果在网络中引入边缘缓存技术那么云数据中心和核心网之间只形成四条链路。核心网和各个基站之间只形成一条链路。可见具有边缘缓存的网络系统对同一文件的传输量比非边缘缓存网络系统传送的文件量少了一半。因此 目前对边缘缓存技术进行的大量相关研究 旨在通过在边缘缓

存网络中采用更智能更高效的缓存策略来减少对文件的重复传输进一步提高文件传输的效率。

. . .. .. .. .. .. . .. .. .. .. .. .

第三章网络边缘缓存决策策略. . .. .. .. .. . .. .. .. .. .. .. ..13

3.1引言.. .. .. . .. .. .. .. . . .. . .. .. .. .. ..13

3.2系统模型.. .. .. . .. .. .. .. .. .. . .14

第四章网络边缘缓存替换策略研究. . .. .. .. .. . .. .. .. .. .. .. . .. .. .. ..32

4.1引言.. .. .. . .. .. .. .. .. .. . .. .. .. .. .. .. .32

4.2系统模型.. .. .. . .. .. .. .. .. .. . .. .. .. .. .. .33

第五章总结与展望. . .. .. .. .. .. . .. .. .. .. .. .. . .. .42

第四章网络边缘缓存替换策略研究

4.1引言

在网络流量与日俱增的大数据时代节约网络中流量传输的开销逐渐成为一大热点话题网络缓存技术也随之发展起来[57] 。网络边缘缓存是将用户频繁请求的数据内容缓存在靠近用户端的基站。这样可以避免每次需要请求相同信息时都必须去远端云数据中心取数据。但是网络边缘设备的缓存容量相对于云数据中心来说很有限不能缓存云数据中心的所有内容。当缓存容量已满时需要通过有效的缓存替换策略把最没有缓存价值的内容替换掉给新的待缓存文件腾出缓存空间。 目前 FIFO算法 LRU算法 LFU算法和RR算法这四种算法成为各行各业倾向于选择的替换算法。 FIFO先进先出算法以时间全局性作为缓存替换的参考指标按时间顺序丢弃最先被缓存的数据把具有最大时间距离的数据替换出来。 LRU最近最少使用算法以时间局部性作为缓存替换的参考指标丢弃被闲置最久没有用户请求访问的数据。 LFU 使用最少频率算法以请求频率作为缓存替换的参考指标替换出最不常用的数据。它是根据经常被访问的数据在不久的将来往往会再次被访问的原则设计缓存替换策略的。 RR 随机替换算法随机的将已缓存内容替换出来。

但是以上被广泛使用的缓存替换算法是从单一的时间或频率角度对已缓存文件进行替换。在现在用户网络需求多样化的互联网高速发展时期这种单一角度替换文件的策略已经无法较好的发挥缓存替换的优势。例如在FIFO缓存替换策略中容易将一个最开始受欢迎并长期受欢迎的文件FL替换出去。虽然文件FL在缓存区存储的时间最长但是一直都有用户在访问这个文件。一旦替换出这个文件后续访问这个文件的用户必须去云数据中心获取这个文件。

. . .. .. .. .. .. . .. .. .. .. .. .. .. . .. ..

第五章总结与展望

本文所做的主要工作如下

1对边缘缓存技术进行了介绍简单介绍了研究边缘缓存技术的研究背景和意义并阐释了边缘缓存技术中包括的如缓存阈值缓存价值量和缓存污染等主要研究点。然后简要介绍了目前被广泛使用的几种缓存替换算法 FIFO算法 LRU算法 LFU算法和RR算法分别分析了以上多种算法的原理和特点。最后说明了缓存策略在边缘缓存技术中的重要性有效的缓存策略可以大大减少用户的请求延迟确保用户的服务质量。

2给出基于文件大小感知的缓存决策策略介绍了网络边缘缓存系统模型研究了用户请求行为文件受欢迎程度以及文件大小对边缘缓存系统和用户请求延时的影响。以获得最小延时为目标给出了基于文件大小感知的缓存决策算法通过仿真实验获取最佳缓存阈值并验证了缓存决策方案的有效性。实验结果表明所给出的缓存决策策略保证了缓存系统中的缓存命中率。

3在具有有限边缘缓存能力的网络系统模型中详细描述了文件缓存价值量的概念给出了文件缓存价值量的计算过程并提出了基于文件缓存价值量感知的缓存替换算法。实验结果表明 当基站的缓存容量达到4?104 MB时 FCVACR算法的缓存命中率高达69而FIFO算法 LRU算法 LFU算法和RR算法这四种算法的缓存命中率分别为54 52

56和48。 FCVACR算法的平均延时与FIFO算法 LRU算法 LFU算法和RR算法的平均延时相比分别比它们减少了14 13.9 12和15.6。 FCVACR算法的平均延时均低于其他四种算法的平均延迟表明F CVACR算法的缓存命中率更高进一步表明本章提出的FCVACR算法能更好地满足用户对延时敏感型网络应用低延迟的要求。