数据brandoff

随着物联网技术[1]与5G网络的快速发展,网络边缘设备急剧增加,其所产生的数据以爆炸式增长.
根据思科可视化网络指数报告[2],到2021年,全球IP数据流量将达到3.
3ZB,其中边缘设备产生的移动数据量占全球数据流量的63%,较2016年增长6.
7倍,边缘设备将成为数据生产的主流.
高速增长的边缘数据对边缘存储系统的容量、性能、功耗提出了严峻挑战.
另一方面,随着深度学习[3]和增强现实(AR)技术的广泛应用,边缘设备呈现出智能化趋势,其数据处理需要具备实时性.
而传统云计算模型采用集中式管理[4],该模式需要数据跨越地理位置限制,具有极大的数据传输延迟及网络波动可能性,难以满足边缘应用的实时性需求.
为解决上述问题,边缘存储——一种面向边缘大数据存储的新型分布式存储架构被提出.
边缘存储将数据分散存储在邻近的边缘存储设备或数据中心,大幅度缩短了数据产生、计算、存储之间的物理距离,为边缘计算提供高速低延迟的数据访问.
边缘计算[5]是一种新型分布式计算模型,通过将传统云计算架构中的部分任务下沉到智能终端设备或边缘计算节点执行,提供实时的数据计算服务.
边缘存储为边缘计算的发展提供了较为可靠的支撑.
边缘存储对边缘计算的高效数据储存主要体现在3个方面:第一,边缘存储可提供数据预取和缓存服务,以克服云存储远距离数据传输造成的高延迟、网络依赖等问题;第二,边缘存储可提供邻近边缘终端的分布式数据存储服务,借助数据去重和近似存储技术[6],缓解云数据中心的存储和带宽压力,降低数DOI:10.
12142/ZTETJ.
201903003网络出版地址:http://kns.
cnki.
net/kcms/detail/34.
1228.
TN.
20190529.
1739.
006.
html网络出版日期:2019-05-29收稿日期:2018-12-29摘要:边缘存储是支撑边缘计算的核心存储技术.
与云存储不同,边缘存储将数据从远距离的云服务器端迁移到离数据更近的边缘存储设备端,具有更低的网络通信开销、交互延迟和带宽成本,能为边缘计算提供实时可靠的数据存储和访问.
阐述了边缘存储的概念,描述了边缘存储的典型应用领域,并详细分析了与边缘存储相关的技术研究现状与挑战.
关键词:边缘计算;边缘存储;云存储;分布式存储架构Abstract:Edgestorageisthecorestoragetechnologytosupportedgecomputing.
Unlikecloudstorage,edgestoragestoresdatainthevicinityofdatagenerationdevices,reducingnetworkcommunicationoverheadandbandwidthcosts,providingreal-timedataaccessandhighreliability.
Inthispaper,theconceptofedgestorageisintroduced,andthetypicalapplicationareas,aswellastheresearchtrendsandchallengesofedgestorageareanalyzed.
Keywords:edgecomputing;edgestorage;cloudstorage;distributedstoragearchitecture边缘存储的发展现状与挑战ASurveyontheStorageIssuesiASurveyontheStorageIssuesinnEdgeComEdgeComputingputing刘铎/LIUDuo,杨涓/YANGJuan,谭玉娟/TANYujuan(重庆大学,重庆400044)(ChongqingUniversity,Chongqing400044,China)中兴通讯技术2019年6月第25卷第3期Jun.
2019Vol.
25No.
315据遭受网络攻击的风险;第三,边缘存储能够与云存储协同提供存储服务,支持边缘计算任务在边缘终端和云端的协同处理,促进边缘计算与云计算的融合.
本文中,我们将首先介绍边缘存储的概念,比较边缘存储与云存储的差异;然后介绍边缘存储的典型应用场景,包括工业物联网、车联网、智慧城市、无人机等;最后分析边缘存储相关的技术研究现状与挑战.
1边缘存储的概念边缘存储是边缘计算的延伸概念,主要为边缘计算提供实时可靠的数据存储与访问.
目前工业界和学术界对边缘存储还未进行详细定义.
本章节中,我们将从边缘存储的层次结构和特点阐述边缘存储的概念.
1.
1边缘存储的层次结构边缘存储由边缘设备、边缘数据中心、分布式数据中心3层结构组成,如图1所示.
顶层为分布式数据中心,部署在距离集中式云较远但互联网用户数量多的城市或地区,为用户提供城域EB级数据存储服务,也称作分布式云,通常与大型集中式云数据中心协同执行存储任务;中间层为边缘数据中心(EDC),也称作边缘云,通常部署在蜂窝基站和人群密集处,为区域内提供TB级实时存储服务,多个小型物理数据中心通过软件定义网络(SDN)可组合成一个逻辑数据中心;底层由数量庞大的边缘设备组成,涵盖桌面电脑、智能手机、传感器、物联网(IoT)网关、传感网执行器以及智能路边单元等多种设备,设备之间可通过无线接入技术相互连接组成边缘存储网络.
1.
2边缘存储的特点和优势不同于集中式云存储服务,边缘存储将数据存储从远距离的云服务器端,迁移到离数据更近的边缘存储设备或边缘数据中心就近存储,具有更低的网络通信开销、交互延迟和带宽成本,更高的自适应能力与可扩展性.
如表1所示,与云存储相比,边缘存储具有如下特点和优势:(1)边缘存储设备具备地理分布式特性.
边缘存储设备和边缘数据中心在地理上是分布式的.
大量地理位置分散的边缘存储设备可借助Wi-Fi、蓝牙、Zigbee等无线接入技术,与相邻的存储设备或边缘数据中心构成分布式存储网络.
这种地理分布式结构使数据能够及时地就近存储,为边缘计算关键任务的实时性数据存储和访问提供了保障.
而云数据中心在地理上是集中式的,远距离的传输延迟使得大量边缘设备的数据存储和处理需求无法被及时处理;拥塞的网络、高延迟的服务等都将会导致服务质量(QoS)的急剧下降.
(2)边缘存储介质和系统具备异构性.
边缘存储具有异构存储的特点,主要体现为水平边缘异构和垂直多层次异构.
水平边缘异构是指不同种类的边缘终端设备通常采用大型集中式云数据中心图1边缘存储的层次化结构表1边缘存储与云存储的比较存储设备存储架构存储系统存储数据云存储特点集中式部分支持内部部署(私有云)同构与数据产生的地理位置无关边缘存储特点地理分布式支持内部部署水平边缘异构和层次性垂直异构位置感知边缘存储优势低延迟的实时数据处理更高的安全性和隐私性多层次的数据缓存更低的网络负载、更快的数据处理分布式数据中心边缘数据中心边缘设备核心层汇聚层接入层物理层容量/与边缘的距离EB~ZB/100~5000kmTB~EB/10~100kmGB~TB/200m~10kmkB~GB/0~200m边缘存储的发展现状与挑战ZTETECHNOLOGYJOURNAL刘铎等专题中兴通讯技术2019年6月第25卷第3期Jun.
2019Vol.
25No.
316不同的存储介质,或者基于同一种存储介质采用不同的存储系统软件进行数据存储.
该特性使得边缘存储能利用大量的异构存储介质和存储系统就近快速地存储各类边缘数据.
垂直多层次异构是指根据距离大型集中式云数据中心的远近,边缘存储可分为3个层次:边缘设备、边缘数据中心、分布式数据中心,不同层次对应不同的存储系统.
该特性使不同层次的存储系统能够相互协作,通过多层次、多级别的数据缓存和预取策略优化边缘数据的存储和访问.
(3)边缘存储架构具备支持内部部署的特性.
边缘存储架构支持在边缘端设备内部部署存储系统,与外部网络进行隔离.
独立存储数据于内部部署的边缘存储系统,具有以下优势:能够为边缘计算任务提供高速的本地数据资源访问,满足边缘应用的实时性需求;能够在本地最大限度地控制访问内部存储设备,监测控制数据存储的位置,实时调整机密数据的冗余策略;能面向数据源对数据进行加密或其他预处理,增强数据安全性.
(4)边缘存储数据具备位置感知的特性.
边缘存储就近存储数据,数据分布与地理位置紧密相关,具备地理位置的强感知特性.
依托该特性,边缘计算任务在处理数据时,无须查询整个存储网络定位数据,极大地减少主干网络的流量负载.
同时,边缘计算任务可以和所需数据在地理位置上近距离绑定,减少数据在网络上的传输延迟,加快数据的处理速度,为大数据分析平台[7]提供更好的底层支持.
此外,通过对边缘存储数据的地理分布情况进行统计和分析,应用服务提供商可以联系移动用户与感兴趣的企业和事件,提升用户服务质量.
2边缘计算的典型应用领域与云存储不同,边缘存储适用于与物联网设备紧密相关、数据传输延迟敏感、数据交互次数多、数据传输量大的物联网应用,如工业物联网、车联网、智慧城市、无人机、视频监测控制等.
而云存储则适用于延迟敏感度稍低的互联网应用,如搜索引擎、社交网络、网络硬盘等.
边缘存储与云存储应用领域比较如图2所示.
本章节中,我们将对边缘存储的几个典型应用领域进行简要介绍.
2.
1工业物联网工业物联网(IIoT)由工业系统各种元素和处理其生成数据的高级分析平台组成.
机器对机器(M2M)通信会产生大量工业数据,云端存储模式不能满足工业物联网的需求,而法规禁止将工业数据传输到其他或公司计算架构之外的云服务器;因此,需要本地实时数据处理支持.
边缘存储支持内部部署,在本地和云之间架起桥梁,实现现场层的高频数据交换,这是IIoT的重要支撑技术.
工业物联网边缘存储平台通常由后端的边缘存储管理系统、存储设备以及边缘应用程序组成,提供设备级数据处理,安全地将高度完善的分析技术和边缘智能引入制造领域,使自动化设备得到进一步扩展.
例如,西门子公司发布的IndustrialEdge产品,其收集自动化组件数据并存储在本地,提供本地数据高速读取和实时处理功能,预处理后的数据转存至云端,云端将执行计算密集型神经网络模型训练,并将改进后的模型部署在边缘端.
由于本地存储及预处理了大量数据,只需将最终相关数据传输到云或IT基础架构,降低了数据泄露的风险,减少了内存占用和传输成图2边缘存储与云存储应用领域比较边缘存储集中式云存储低敏感度高敏感度数据处理的延迟大小传输至服务器的数据量/频率多媒体服务互联网服务搜索引擎电子邮件社交网络网络硬盘智能家居无人机智慧城市视频监测控制语音助手智能医疗车联网增强现实智慧交通工业物联网中兴通讯技术2019年6月第25卷第3期Jun.
2019Vol.
25No.
317边缘存储的发展现状与挑战专题刘铎等ZTETECHNOLOGYJOURNAL本,为工业生产提供持续稳定的生产流程和状态监测控制,显著提高生产力.
2.
2车联网车联网是由联网汽车与交通信息系统互联形成的巨大交互网络,车联网技术允许汽车与车辆内外的其他设备共享互联网访问[8].
由于车辆通常处于高速移动状态,联网状态不稳定,边缘存储架构在车联网中具有显著的优势.
自动驾驶汽车通常通过路测单元(RSU)实现网络接入和数据处理任务,并依赖于车联网技术采集路边信息、接入边缘计算服务.
通过RSU提供边缘存储支持,数据的存放更接近数据源,原始数据进一步丰富,车辆动作、决策的相关信息能快速发送到适当的目的地.
HUZ.
等人提出了一种基于多目标拍卖的机制,解决RSU缓存中的多服务提供商共存问题[9],仿真结果证明RSU边缘数据缓存能够加速车辆的下载任务.
2.
3智慧城市智慧城市使用信息和通信技术以及物联网设备来提高城市服务质量和运营效率[10],改善公民生活水平,降低能耗,其数据大多来自物联网传感器和网络摄像机.
目前,视频监测控制产生的数据正在快速增长.
据思科可视化网络指数[2]统计,2016年网络视频监测控制流量平均每月883PB,相比2015年增加72%.
尽管云存储架构具备丰富的存储资源,但实时传输视频监测控制数据至云服务器将对网络造成巨大负担,采用去中心化边缘存储技术可以改善这一情况.
传感器收集的数据无须上传至远端的云服务器;而是分散存储在各个边缘存储设备中,为智慧城市提供廉价的存储空间和更高的数据安全保障.
此外,位置感知的存储模式为智慧城市的决策制订与实施提供额外数据支持,帮助优化城市功能,推动经济增长,提高市民生活质量,例如水质监测系统中的传感器信息能够用于污染源的检测和溯源.
2.
4无人机无人机已由军用迈向商用,应用范围也越来越广[11],其中飞行数据采集系统是其主要应用.
该系统通常需要操作员手动完成飞行控制、数据分析以及任务的规划和设计等多个操作,过程繁琐且不利于业务扩展;因此可以使自动化飞行数据采集系统与边缘数据中心协作,将无人机的控制转移到边缘数据中心,通过无人机软件控制平台自动化完成数据收集与分析工作.
对于无人机自动化飞行数据采集系统,边缘存储的意义在于取代手动数据拷贝流程,数据可以实时存储在边缘数据中心(EDC)中并立即执行数据分析算法,控制平台可根据分析结果灵活调整任务流程.
市场上已经有公司开展此类研究,无人机自动化飞行数据采集公司Hanger与EDC服务提供商VaporIO合作,开展无人机与EDC的协作.
通过EDC提供的存储与网络支持,无人机能直接将建筑、桥梁、和输送管道的视频传送至EDC进行快速处理和分析,操作员无须手动操作.
无人机与EDC的协作,使得飞行数据采集系统更加灵活、更加自动化.
3研究现状与挑战边缘存储技术的研究目前还处于萌芽阶段[12],本章节中,我们将从边缘存储的介质和设备、边缘分布式存储架构,以及云-边协同3个方面介绍相关技术研究现状与挑战.
3.
1边缘存储介质和设备(1)边缘存储介质.
边缘存储终端多使用非易失性存储介质进行数据存储.
目前主流的非易失性存储介质为闪存(FLASH)[13],根据实现方法的不同,又分为NOR闪存与NAND闪存.
在NOR闪存的内部电路中,各存储器单元并联连接,支持快速的数据随机访问.
其适合于容量要求低、速度要求高、数据只读的应用,如存储边缘设备固定代码的基本输入输出系统(BIOS)应用.
NAND闪存内部有一系列串联的存储晶体管,相较于NOR闪存,其存储单元尺寸更小、存储密度更大.
NAND闪存通过对数据块的编程可以实现更快的写入和擦除,适合于存储成本低、存储密度高、需要进行快速擦写的应用,其特性正适用于成本低、数据量大的边缘设备.
近年来,随着非易失性存储器(NVM)的快速发展,基于NVM的存储技术研究得到广泛关注,如相变存储器(PCM)[14]、阻变式随机访问存储器(ReRAM)[15]等.
将NVM存边缘存储的发展现状与挑战ZTETECHNOLOGYJOURNAL刘铎等专题中兴通讯技术2019年6月第25卷第3期Jun.
2019Vol.
25No.
318储介质使用于边缘设备也逐渐成为研究热点.
NVM存储介质集合了动态随机存取存储器(DRAM)和闪存的优点,具有较高的存储密度,可字节寻址、读延迟低,能持久性存储数据.
NVM的成本预计介于DRAM和Flash之间,可作为DRAM内存或Flash固态硬盘(SSD)的替换方案.
然而,由于材料的限制,NVM自身也存在一些缺陷.
与DRAM相比,NVM的写次数有限,写入延迟更高;而与闪存相比,NVM的存储密度较小.
因此,NVM在边缘存储中作为内存与外存的一体化解决方案还有很多技术难点需要克服.
(2)边缘存储设备.
基于闪存芯片制造的SSD常作为边缘存储设备广泛地应用于各种系统中[16].
SSD被广泛使用主要得益于其具有很高的输入/输出(I/O)性能、低功耗和高可靠性.
不过,SSD的I/O读写性能具有不对称性,读性能往往优于写性能,在边缘设备进行大量数据写入时性能较低.
针对这些问题,硬件厂商在边缘设备内部提供闪存转化层(FTL),FTL主要负责数据读写的地址映射与转换以及垃圾数据块的标记与回收,以提高数据的读写性能,延长寿命,并向文件系统层屏蔽硬件调度细节,仅提供数据读写的逻辑接口.
但是,FTL封装在SSD中,无法根据上层应用的数据集特征进行动态调整,软件直管的SSD[17]是一种有效解决此问题的思路.
在Open-channelSSD中,传统SSD的FTL功能将在主机端以软件的方式实现,不再作为固件封装在边缘设备中,SSD提供给文件系统硬件调度的物理接口.
通过Open-channelSSD,便可以根据上层应用的特征定制其FTL的功能,性能更高,灵活性更大,使边缘存储设备更能满足边缘设备对数据存储的需求.
另外,大数据的趋势正在导致计算范式的变化,尤其是将计算转移到数据的概念,我们称之为近数据处理(NDP)方法[18].
NDP是指将计算迁移到离数据更近的地方,减少数据的移动.
数据的迁移往往在整个计算过程中占据极大的能耗开销,数据的搬运效率却并不会因为摩尔定律的发展而提高,存算一体化逐渐受到研究人员的关注.
CHIP.
等人提出PRIME[19]架构,即可在内存中实现神经网络的计算.
由于PRIME架构极大地减少了数据的搬移,性能和能耗分别改进了2360倍和895倍.
将边缘存储与存算一体化紧密结合,依靠设备或介质的计算能力,直接在存储控制器内部执行计算,在边缘设备上可极大减少存储器内部的数据迁移开销,在网络传输过程中也能极大减少带宽开销,这将极大减轻云端的计算压力.
(3)挑战:边缘设备上的数据的抽象.
边缘设备多样化,不同边缘设备上存储数据的标准不尽相同,为了使数据能在多种边缘设备之间交互或在边缘数据中心进行统一分析处理,需要对边缘数据进行抽象.
在边缘端进行数据抽象极具挑战性,主要体现在以下3点:其一,边缘设备的差异性,不同边缘设备制造商可能采取不同的数据格式标准,边缘存储系统需要适配各个设备制造商的数据抽象标准;其二,边缘数据的多样性,例如摄像头捕捉的视频流数据、温度传感器采集的温度变化曲线、移动用户访问文件频率,以上数据均从边缘端产生并传输至边缘数据中心存储,因此边缘存储系统需要设计不同的存储策略,对视频流数据压缩处理,对温度数据可以采取近似存储处理,对访问频率数据可以备份至云端进行大数据分析;其三,边缘数据预处理的不规范性,边缘数据在传输至边缘数据中心之前可能经过了数据清洗和有损压缩,导致部分信息丢失,无法与其他数据进行整合进行大数据分析,因此亟待制定统一的数据抽象和预处理标准.
3.
2边缘分布式存储架构3.
2.
1边缘分布式存储系统的2种架构边缘分布式存储系统管理海量数据和存储设备,需要强大的边缘数据中心或高效的自组织边缘存储集群提供硬件支持.
不同于传统的云端存储服务提供者,边缘分布式存储系统在网络拓扑结构中更靠近边缘设备,具有更少的通信开销和更高的服务质量.
从组织方式的角度来看,边缘分布式存储系统可以分为中心化与去中心化2种架构.
(1)中心化分布式存储架构.
中心化分布式存储通常采取主/从式架构:主节点具备丰富的计中兴通讯技术2019年6月第25卷第3期Jun.
2019Vol.
25No.
319边缘存储的发展现状与挑战专题刘铎等ZTETECHNOLOGYJOURNAL算和存储资源,负责存储节点的管理、存储任务的调度、数据布局以及数据的一致性维护等;从节点仅具备简单的数据存储功能.
最典型的中心化分布式存储技术有分布式文件系统(HDFS)[20],它以流式数据访问模式来存储超大规模的数据文件,NameNode(管理节点)作为主节点管理集群,DataNode(工作节点)作为从节点负责处理数据.
中心化分布式存储架构可以应用于边缘数据中心.
边缘数据中心类似于云存储数据中心.
与云存储数据中心相比,边缘数据中心在地理位置上离边缘设备更近,节点规模更小.
边缘设备中的数据可上传至边缘数据中心进行存储和管理,云存储数据中心的数据也可在边缘数据中心进行缓存和预取.
(2)去中心化分布式存储架构.
去中心化分布式存储没有中心节点,节点之间具有对等的功能.
多个边缘设备之间可以自组织地建立去中心化分布式存储网络.
随着边缘设备数量激增,该架构具有很大的潜力.
如StorjLabs推出了一种去中心化分布式云存储平台STORJ[21],该平台使用点对点网络连接存储设备,并借助以太坊区块链技术发行STORJ代币,用户可以在该平台选择出租闲置存储资源获取代币,或使用代币购买存储空间.
这种去中心化的分布式存储架构能将很多闲置的存储资源充分利用起来,以非常低廉的维护和管理成本为边缘端提供存储服务.
此外,这种结构使数据在边缘端就近存储,更容易满足边缘计算任务的实时性数据处理需求,比传统的云存储服务更加经济高效.
3.
2.
2融合中心化和去中心化的分布式存储架构边缘数据中心的中心化分布式存储能更好地保证服务质量和数据的一致性,适合需要高可靠性和高协作性的应用任务.
边缘设备端自组织的去中心化分布式存储具备造价成本低、可灵活部署等特性.
随着边缘设备的更新或迁移,可依据2种架构各自的优势,融合2种架构,提高边缘存储网络的可靠性和普适性.
而两者的融合需要解决中心化存储与去中心化存储的无缝切换问题.
现今的分布式文件系统无法做到中心化到去中心化的无缝切换,这将严重影响边缘存储系统的可靠性.
例如,当采用中心化设计的边缘存储系统断开与中心服务器连接后,大部分存储操作将受到限制.
若采用去中心化设计,边缘设备无法利用中心服务器维持数据一致性,不适用多人协作的应用场景.
中心化存储系统和去中心化存储系统之间如何互联互通、相互融合是边缘存储技术中极具挑战性的问题.
3.
3"云-边"协同在现有的云存储和边缘存储架构上,为了更好地满足边缘应用计算和大数据处理的需求,需要云端和边缘端协同执行存储任务,以提高数据处理的实时性、可靠性和安全性.
本节中,我们将从边缘数据的预取和缓存,以及云-边协同调度2方面阐述云端和边缘端如何协同执行存储任务的现状与挑战.
3.
3.
1云-边协同相关现状(1)边缘数据预取和缓存.
由于边缘存储设备离云存储数据中心较远,边缘数据的高效预取和缓存是提高数据访存性能的关键.
边缘存储设备访问数据内容之前通常需要将数据从云存储数据中心的服务器下载到边缘服务器中,以降低边缘设备访问数据的时间,这叫做边缘数据预取技术.
该技术的关键点在于如何对预先存储的数据进行选择.
常用的数据预取算法主要基于访问时间、频率、数据大小、优先级和关联度来建立预取模型.
基于访问时间的预取模型是假设上次被访问的数据具有较大可能被再次访问;基于频率的预取模型采用用户访问数据的频率来预测未来的访问情况;基于关联度的预取模型采用机器学习算法挖掘用户兴趣关联规则作为预测依据.
常用的数据预取算法可适用于边缘数据的预取.
此外,也有些新的边缘数据预取算法被提出.
如HAK.
等人采用了基于应用场景的预取模型[22],根据实际应用场景预测数据请求;U.
DROLIA等人利用马尔可夫模型预测用户可能使用到的神经网络模型并预取这些模型到边缘[23].
边缘数据缓存技术通过缓存历史文件的方式加速用户的访问速度.
当用户请求的静态内容没有存储在本地缓存中时,用户向内容分发的网络(CDN)发送请求;CDN在边缘高速缓存中搜索请求内容[24],边缘存储的发展现状与挑战ZTETECHNOLOGYJOURNAL刘铎等专题中兴通讯技术2019年6月第25卷第3期Jun.
2019Vol.
25No.
320然后将命中的内容传递给用户.
通过此技术能减少回程(Backhaul)网络的数据传输开销(如图3所示),降低数据中心的能耗,创造更高的经济效益.
边缘缓存技术的关键在于缓存位置的选择,依据与边缘用户的距离分为3种:边缘设备、边缘数据中心和分布式云.
将缓存保存在边缘设备能够提供数毫秒级的延迟,但边缘设备存储容量较小并且距离云端远;因此缓存命中率较低,缓存未命中的代价较高.
同理,缓存在分布式云能够取得较高的缓存命中率但延迟较高.
CHENB.
等人提出一种基于设备到设备(D2D)网络的边缘缓存模型[25],将边缘用户按集群划分,把热文件缓存在各个集群中,此策略可提升4倍D2D缓存网络吞吐量.
L.
RAMASWAMY等人提出合作边缘缓存网格[26],该网格由多个分布式的边缘缓存云组成,如果缓存未命中,边缘缓存节点能够从临近的缓存云中获取文件数据,无须从云端刷新缓存,减少用户等待时间.
(2)云-边协同调度.
如果仅对云端或边缘终端存储体系结构进行优化,忽略其协同与融合,便无法充分发挥两者各自的优势.
对于大规模数据,边缘存储与云存储相互协作才能最大限度发挥云存储地理集中式和边缘终端地理分布式的优势.
云-边协同存储技术旨在通过边缘存储与云存储的互补,提供更高效的存储服务.
诸多研究表明,通过对边缘存储资源的有效使用和管理,能够缓解云服务器存储资源紧张[21-24],有效节省能源[6],[27],从而提升边缘计算应用性能[23],[25],[28].
F.
JALALI通过对云存储应用的能耗进行分析,发现将部分应用迁移到边缘端能够显著减少能源消耗[27].
悉尼大学的研究者提出边缘网络和云平台的资源整合框架,该方案设计了用于众包传感器云服务的两级组合模型,抽象了云上传传感器数据的时间、空间特性,使用一种基于三维R-树的时空索引技术,用于快速识别合适的传感器云服务,并面向服务质量(QoS)指标为边缘节点选择最优的云服务组合方案[23].
阿廷根大学与南京大学的研究者研究了多信道无线干扰环境下移动边缘云计算的多用户计算卸载问题,采用博弈论的方法以分布式方式实现高效的卸载计算,使云平台和边缘终端的整体性能达到纳什均衡,从而最大化地利用边缘数据中心的计算资源[23].
上述工作从资源调配的角度研究了云-边协同的存储架构和优化技术.
3.
3.
2云-边协同面临的挑战(1)高效的数据预取以及缓存策略.
边缘计算任务对低延迟的需求推动了边缘存储的发展,所以边缘数据缓存策略是边缘数据中心设计过程中首要考虑的问题.
边缘计算需要适当的边缘预取与缓存技术来加速数据访问速度,并且需要与云服务器协同完成部分数据同步任务.
针对延迟容忍度低并且时效性要求较高的应用,边缘数据中心需要动态调整任务的优先级,优先满足延迟敏感应用的存储需求.
传统基于CDN采取的缓存策略仅将数据缓存在专用服务器上,通过反向代理的方式提供加速服务,该缓存策略无法结合数据的地理分布信息和区域热度进行调整,不适用于边缘数据缓存的情况.
所以重新设计一种适用于边缘存储环境下的数据缓存策略具有重大意义.
(2)边缘存储的计费模式.
边缘存储需要合理的计费模式.
在云计算架构下的计费由核心网负责,而边缘存储将存储服务分散到边缘数据中心和底层边缘设备中.
由于边缘存储网络涉及多个厂家的多种不同的存储设备,设备之间通过协同操作提供边缘存储服务,边缘存储的计费问题十分复杂.
在设计出合理的付费模式之前,云服务使用者将惯性维持现有商业行为.
因此,探索适合边缘存图3边缘数据缓存与传统数据传输无线连接有线连接回程回程回程传统数据传输——产生大量回程流量边缘数据缓存——减少回程流量开销无线连接有线连接边缘数据中心流量减少流量减少流量减少大型集中式云存储所有互联网数据存储部分互联网数据中兴通讯技术2019年6月第25卷第3期Jun.
2019Vol.
25No.
321边缘存储的发展现状与挑战专题刘铎等ZTETECHNOLOGYJOURNAL储的付费模式对于推动边缘存储商业化非常重要.
4结束语边缘存储技术目前还处于萌芽阶段.
5G时代的到来将我们推向了边缘大数据时代,研究适用于边缘计算架构的边缘存储技术是未来趋势.
边缘存储技术支持地理分布式存储架构、内部部署,并能感知基于地理位置的数据热度,能够应对未来日益增长的数据规模、日趋严格的数据响应延迟、数据安全和隐私等需求,必将成为实现边缘数据实时分析处理和有效管理的新途径.
因此,需要进一步推动物联网、人工智能、智慧城市、微型数据中心等相关技术和应用的推广和发展.
致谢感谢重庆大学陈咸彰博士在文章修改过程中提供的宝贵意见,段莫名、张润宇、吴宇同学也在文献收集、整理方面提供了大力帮助,谨致谢意!
参考文献[1]ASHTONK.
That'InternetofThings'Thing[J].
RFIDJournal,2009,22(7):97-114[2]Cisco.
CiscoVisualNetworkingIndex:ForecastandMethodology[R].
2017[3]LECUNY,BENGIOY,HINTONG.
DeepLearning[J].
Nature,2015,521(7553):436-444.
DOI:10.
1038/nature14539[4]ARMBRUSTM,STOICAI,ZAHARIAM,etal.
AViewofCloudComputing[J].
CommunicationsoftheACM,2010,53(4):50.
DOI:10.
1145/1721654.
1721672[5]施巍松,张星洲,王一帆,等.
边缘计算:现状与展望[J].
计算机研究与发展,2019,56(1):69-89[6]吴宇,杨涓,刘人萍,等.
近似存储技术综述[J].
计算机研究与发展,2018,55(9):2002-2015[7]郑纬民,陈文光.
大数据分析平台:从扩展性优先到性能优先[J].
中兴通讯技术,2016,22(2):11-13.
DOI:10.
3969/j.
issn.
1009-6868.
2016.
02.
003[8]ZHANGS,CHENJY,LYUF,etal.
VehicularCommunicationNetworksintheAutomatedDrivingEra[J].
IEEECommunicationsMagazine,2018,56(9):26-32.
DOI:10.
1109/mcom.
2018.
1701171[9]HUZ,ZHENGZ,WANGT,etal.
Poster:RoadsideUnitCachingMechanismforMulti-ServiceProviders[C]//Proceedingsofthe16thACMInternationalSymposiumonMobileAdHocNetworkingandComputing.
USA:ACM,2015:387-388[10]CARAGLIUA,DELBOC,NIJKAMPP.
SmartCitiesinEurope[J].
JournalofUrbanTechnology,2011,18(2):65-82.
DOI:10.
1080/10630732.
2011.
601117[11]MOTLAGHNH,BAGAAM,TALEBT.
UAV-BasedIoTPlatform:ACrowdSurveillanceUseCase[J].
IEEECommunicationsMagazine,2017,55(2):128-134.
DOI:10.
1109/mcom.
2017.
1600587cm[12]KASEYP.
TopTrendsintheGartnerHypeCycleforEmergingTechnologies[EB/OL].
[2019-12-20].
https://www.
gartner.
com/smarterwithgartner/top-trends-in-the-gartner-hype-cycle-for-emerging-technologies-2017/[13]BEZR,CAMERLENGHIE,MODELLIA,etal.
IntroductiontoFlashMemory[J].
ProceedingsoftheIEEE,2003,91(4):489-502.
DOI:10.
1109/jproc.
2003.
811702[14]BURRGW,BREITWISCHMJ,FRANCESCHINIM,etal.
PhaseChangeMemoryTechnology[J].
JournalofVacuumScience&TechnologyB,2010,28(2):223-262.
DOI:10.
1116/1.
3301579[15]AKINAGAH,SHIMAH.
ResistiveRandomAccessMemory(ReRAM)BasedonMetalOxides[J].
ProceedingsoftheIEEE,2010,98(12):2237-2251.
DOI:10.
1109/jproc.
2010.
2070830[16]CHENF,KOUFATYDA,ZHANGX.
UnderstandingIntrinsicCharacteristicsandSystemImplicationsofFlashMemorybasedSolidStateDrives[C]//ProceedingsoftheEleventhInternationalJointConferenceonMeasurementandModelingofComputerSystems.
USA:ACM,2019,37(1):181-192[17]BJORLINGM,GONZALEZJ.
LightNVM:TheLinuxOpen-ChannelSSDSubsystem[EB/OL].
[2018-12-20].
file:///C:/Users/susuyeye612/AppData/Local/Microsoft/Windows/Temporary%20Internet%20Files/Content.
IE5/S7313G2Q/Matias_Bj_rling___Javier_Gonzales.
pdf[18]BALASUBRAMONIANR,CHANGJC,MANNINGT,etal.
Near-DataProcessing:InsightsfromaMICRO-46Workshop[J].
IEEEMicro,2014,34(4):36-42.
DOI:10.
1109/mm.
2014.
55[19]CHIP,LIS,XUC,etal.
Prime:Anovelprocessing-in-memoryarchitectureforneuralnetworkcomputationinrera-m-basedmainmemory[C]//2016ACM/IEEE43rdAnnualInternationalSymposiumonComputerArchitecture(ISCA).
USA:IEEE,2016.
DOI:10.
1109/ISCA.
2016.
13[20]SHVACHKOK,KUANGHR,RADIAS,etal.
TheHadoopDistributedFileSystem[C]//2010IEEE26thSymposiumonMassStorageSystemsandTechnologies(MSST).
USA:IEEE,2010:1-10.
DOI:10.
1109/MSST.
2010.
5496972[21]WILKINSONS,BOSHEVSKIT,BRANDOFFJ,etal.
StorjaPeer-to-PeerCloudStorageNetwork[EB/OL].
[2019-05-23].
https://storj.
io/storj2014.
pdf[22]HAK,PILLAIP,LEWISG,etal.
TheImpactofMobileMultimediaApplicationsonDataCenterConsolidation[C]//2013IEEEInternationalConferenceonCloudEngineering(IC2E).
USA:IEEE,2013:166-176.
DOI:10.
1109/IC2E.
2013.
17[23]DROLIAU,GUOK,NARASIMHANP.
Precog:PrefetchingforImageRecognitionApplicationsattheEdge[C]//ProceedingsoftheSecondACM/IEEESymposiumonEdgeComputing.
USA:ACM,2017:17[24]NYGRENE,SITARAMANRK,SUNJ.
TheAkamaiNetwork[J].
ACMSIGOPSOperatingSystemsReview,2010,44(3):2.
DOI:10.
1145/1842733.
1842736[25]CHENBQ,YANGCY,WANGG.
High-ThroughputOpportunisticCooperativeDevice-To-DeviceCommunicationswithCaching[J].
IEEETransactionsonVehicularTechnology,2017,66(8):7527-7539.
DOI:10.
1109/tvt.
2017.
2659701[26]RAMASWAMYL,LIUL,IYENGARA.
ScalableDeliveryofDynamicContentUsingaCooperativeEdgeCacheGrid[J].
IEEETransactionsonKnowledgeandDataEngineering,2007,19(5):614-630.
DOI:10.
1109/tkde.
2007.
1031[27]JALALIF.
EnergyConsumptionofCloudComputingandFogComputingApplications[EB/OL].
[2018-12-20].
https://minerva-access.
unimelb.
edu.
au/handle/11343/58849[28]CHENX,JIAOL,LIWZ,etal.
EfficientMulti-UserComputationOffloadingforMobile-EdgeCloudComputing[J].
ACMTransactionsonNetworking,2016,24(5):2795-2808.
DOI:10.
1109/tnet.
2015.
2487344作者简介刘铎,重庆大学计算机学院教授、博士生导师;研究方向为智能物联网系统与边缘计算、大数据处理与先进存储;曾主持或作为主研人参与了国家"863"重大项目、重庆市科技攻关重点项目、国家自然科学基金、教育部博士点基金等.
杨涓,重庆大学计算机学院计算机科学与技术专业在读研究生;研究方向为边缘存储、近似存储等.
谭玉娟,重庆大学计算机学院副教授、硕士生导师;研究方向为重复数据删除、新型非易性存储和智能存储;曾主持或作为主研人员参与了国家"863"重大项目、国家自然科学基金、教育部博士点基金等.
边缘存储的发展现状与挑战ZTETECHNOLOGYJOURNAL刘铎等专题中兴通讯技术2019年6月第25卷第3期Jun.
2019Vol.
25No.
322