视频大视频时代下CDN相关的视频行业发展趋势

大视频时代下CDN相关的视频行业发展趋

势

本文来自时任云帆加速创始人/C TO扶凯在LiveVi deo StackCo n 2017上的分享并由LiveVi deo Stack整理而成 目前扶凯任南海集团下属大地零一深圳有限公司新零售业务VP。扶凯介绍了在海量视频和用户的背景下C DN如何有效、低成本的提供服务涉及到存储架构、边缘节点架构、流量调度等难题。

今天为大家分享的是与大视频时代下CDN相关的视频行业发展趋势。随着视频的内容越来越丰富流量越来越大视频所占用的网络带宽越来越多 以至于今年已占用网络总流量的70%80%而视频的玩法也花样繁多例如大家熟悉的短视频、VR、 4 K等。我们可以看到视频行业已进入一个爆炸式发展的时代。在此时代下的视频网站尤其是大型视频网站需要明确如何解决流量爆发背后隐藏的一系列亟待解决的问题如何有效应对视频服务需求的迅猛增长

在视频行业我们需要应对一系列问题例如架构问题、存储问题、分发问题、转码问题等等。这些问题归根结底是什么技术

其实是成本问题我们需要在控制成本的基础上为客户提供最好的服务体验以实现效益最大化。如果落实在技术上可以总结为以下几点

在解决以上两个问题之前需要追根溯源首先明确视频在整个网站架构中是如何处理的并对每一环节的成本有清晰的理解。

1、 存储与访问

例如用户是将视频通过基于HTML5分块上传的方式发送到线上接下来通过音视频分离的编码对用户上传的视频进行处理并通过有AI技术来审核视频对视频中的不良内容进行侦测……在众多处理流程中最麻烦的是存储为什么呢以UGC网站为例任何一个视频无论时长与内容UGC网站都需要将此视频的每一份拷贝单独存储。随着视频拍摄设备的硬件发展视频的清晰度与码率越来越高一个视频文件大小动辄几百MB甚至上GB而这样的文件经过转码依照不同的码流至少需要存储23份拷贝以至于对现如今的视频网站而言将这些文件存储在同一个机房十分困难。例如一份文件有几十个PB任何一个机房都无法满足如此极端的存储需求此时我们只能将这些文件

分散存储在多个机房那具体该如何分散存储呢

1.1分布式存储

当用户将视频文件上传完毕后会将文件存储在至少三个上层机房中的一个而每一个文件可能存储在不同的几个上层中。一般的超大型视频网站会使用推送机制将至少6份文件拷贝存储在全国所有的机房当中。例如上图A、B、C三个存储中心分布在全国各地简而言之这就是一个超大的对象分布式文件系统。

在这样一个超大的分布式文件系统中系统会将存储单元进行分层并根据算法将最热门的文件分发到最边缘的节点。此时便解决了存储的问题接下来需要解决的是访问问题。

1.2分层访问逻辑

关于访问采用的是冷热分层的访问逻辑。既然边缘节点无法存储太多数据那么必须采用一种高效的访问机制以分担存储的压力。我们会直接将冷门的文件调度至上层而在边缘将热门的文件直接传送给最近的用户直接从上层获取一部分完整的冷门文件而热门文件则从边缘获取。这样我们便妥善解决了存储与分发问题也就解决了存储空间和用户访问速度的二难问题。

但此时还需要解决的是推送热门文件的选择与数量。这是一个比较麻烦的问题推送的文件 因为不是全量 所以无论我怎么样推送的热门算法其实都有部分请求访问到上层上层可能是异地所以用户的访问体验质量可能不好。例如小的运营商象歌华都得透穿出来访问到上层。 原因

二是用户喜好的地理差异性例如北京的用户喜欢看的内容与上海的用户喜欢看的内容存在明显差别而使用通用算法得出的热门是大家普遍喜欢的无法针对不同地域特点进行个性化精准调整。之前使用了推的机制那这里能否反向思考使用拉的机制来妥善解决以上问题而CDN的出现可以说很好地解决了这个问题。

2、 用户体验大视频时代

2.1标准CDN结构与补充

上图是一个标准的CDN结构也就是当最边缘的用户访问最近的节点之后继续访问上层存储在经过第三层节点后对流量进行回源。这里需要做的第一件事是使用空间换