互联网cdn技术演进分析

CDN技术演进分析

2000年左右是全球互联网发展的鼎盛时期 由于HTT P网页内容加速的需求日益暴增 进而CD N成为了产业关注的热点。

当下 CDN行业化、智能化越来越明显主要是因为每个行业在技术、使用场景等方面都有个性化的需

求。

近日 51 CTO以“Tech Neo”为主题的技术沙龙第十五期于北京举行本次沙龙邀请了来自国美互联网应用运维技术负责人张高明。

这位互联网老兵的演讲不仅让开发者对智能CDN有了更深入的了解而且从中可以窥见国美互联网

在CDN方向的实践与痛点。

目前国美互联网的体量较小与大型互联网公司有一定差距。但麻雀虽小五脏俱全在CDN方面的应用有很多。包括视频、图片、 Js、 css、 Html等传统的一些内容以及APP的安装包、更新包、下载包等内容还有抗D防攻击方面的一系列产品。

介绍下抗D的产品 2016年在APP推广过程中受到几次攻击导致服务处于不可用状态非常被动。当时可选的解决方案有两套

自研但受到多方面限制如资源不足机房带宽、服务器都需要采购 、没有人员储备、时间

周期不允许等。

和已经有成熟产品的第三方公司合作 鉴于实际情况采用第二套方案。 产品的确没有出现问题但对于

第三方公司提供的数据没有有效的方法能够验证有效性和真实性。

智能CDN的六大元素

智能CDN也是CDN 但是智能化是趋势智能化的本质是通过技术、智能手段为消费者提供更好的服务。谈智能CDN之前有必要先来了解一下CDN的使用模型

从浏览器或其他途径请求资源。

由DNS对域名进行解析得到真实IP的地址。

通过链路传输到达目的机房。

经过CDN调度器把资源返给用户 CDN跳转或请求资源 。

基于CDN的使用模型依次具体地分析智能CDN 如下图所示

智能CDN由智能DNS 、链路优化以及智能调度器、大数据、 AI 、人六大元素组成。

01智能DNS

在目前所有网络活动中DNS的作用可以说是不可替代的。早期DNS相对简单功能也较单一这里我们称之为DNS

1 .0 。

DNS 1 .0的作用非常简单只是收到网址反馈IP地址。随着技术发展和产品需要 DNS2.0 、3.0先后出现。DNS2.0是根据用户所在ISP、区域智能提供最优IP地址使得访问速度得到提升。

DNS 3.0弥补了之前1 .0 、2.0没有的状态缺陷新增了健康检查的功能。智能剔除异常节点把可用且最优的节点返给用户。

这里值得提醒的是DNS有两个不可规避的坎儿

进行全网DNS更新时时间不可控。当更改DNS配置时用户的生效时间不一有时会达到不能容忍的时间长度。

用户地址解析的准确度完全依赖于用户Local Dns的设置。 DNS是以Local Dns作为反馈的唯一依据反馈最终地址。

一旦Local Dns设置错误那么地址一定不是最优甚至有可能是错误的。这样一来就会导致用户访问过慢或访问不到资源的情况出现。

02链路优化

中国网络的复杂度众所周知运营商多并且每个运营商的用户都各自为战融合起来并非易事。在跨网络请求情况下不仅仅是慢的问题有时候甚至无法访问目的资源。

链路优化方面可以借鉴一些成熟方案如协议的优化比如BGP、 OSPF等。还有就是资源部分如通过带宽的建设、 POP点建设、机房的扩容进一步对链路进行优化。

03智能调度器

DNS在细分时颗粒度很大不能精确为用户区分优化策略。想要提升精确度就要靠调度器来实现。调度器会基于访问请求资源的热度、大小、内部资源情况为用户提供最优的节点。

04大数据与AI

谈智能化不得不提大数据与AI 因为这两者正在给我们的生活带来潜移默化的影响。

对于DOS/DDOS攻击大数据可以给访问源地址合适的权重 知道哪些ip"更危险" 以前发起过攻击  更加精确地定位是普通访问还是攻击进而能够更加有力的防御攻击。

边缘计算与CDN的结合带动了整个“人工智能+云”在各个场景的服务。以视频直播为例同城互动直播放到边缘节点里去成本可能会减少 50% 涉黄的内容90%都能够在边缘网络上处理。

这其中涉及到与AI相结合的部分云厂商在其间拥有优势一边有数据中心一边运营边缘网络并且能够知道这两者之间如何高效合作。

而单纯的CDN公司在所获得的数据不多的情况下可能很难判断哪些东西需要过滤和分发最终还是需要与云及AI协

同去完成。

05人·决策

为什么要在智能CDN模块加入人的元素呢因为大多情况下都是人在做决策像采用哪种网络模型、 哪种算法、哪种分布式结构等等另一方面就是人的服务。

面我们来看看国美互联网在 CDN方面的优化实践和一些不可避免的痛点。

国美CDN的优化实践

面主要介绍国美互联网在 APP 、 IMG和视频三方面的CDN优化实践。

综上这些是张高明老师对智能CDN的一些见解但国美互联网因为精力、时间等原因没有涉及到这些。

01APP端

APP端主要做的是针对静态文件进行优化采用方式如下

缩略图。这里最主要的事情是图片匹配 国美互联网之前的缩略图更适用于PC端不是很合理。

这里的解决方案是基于自身访问和第三方的数据得到主流机型的标准再根据产品需求制定五种缩略图。

这样做在提升用户访问速度的同时还对带宽进行了优化。

两种Cache 。前端开发有一个简单的技术叫 App Cache 。把重要的Cache缓存到本地一

定时间段内请求时无须重新下载会对提升用户访问质量有很大帮助。

短缓存。规定合理的本地缓存时间提升用户的访问速度尤其是弱网情况下效果特别好。同时还能优化

带宽。

02IMG

图片部分采用WebP的格式谷歌推出这个图片格式的优点非常明显和其他格式相比WebP格式仅占用60%-70%资源。它的缺点也同样明显就是不是所有浏览器都支持。

在移动端就是Android的手机系统支持但是IOS的不支持。国美互联网的解决方案是在CDN中储存WebP和JPG两种Cache 在调度器设置UA判断流程对节省带宽有很大改进。

03视频

视频部分主要涉及推、拉模式选择、 CDN调度器、自适应播放器