节点负载均衡器

负载均衡器  时间:2021-03-26  阅读:()
搭建商用AI平台的挑战与思考宋翔目录ContentsAI基础平台的挑战UCloudAI基础平台整体架构如何实现弹性可靠如何实现环境分离开源PlayGroundAI!
AI!
AI!
安防零售教育游戏医疗艺术金融AI的选择框架多样性算法多样性TensorFlowMXNetCaffeKerasVGGResNetLSTMFast-RCNNVGG+LSTMFast-RCNN+LSTMCNTKTheanoAI场景选择AI框架选择AI算法选择训练平台选择在线服务选择AI的选择系统人看AITensorFlowMXNetCaffeKerasVGGResNetLSTMFast-RCNNVGG+LSTMFast-RCNN+LSTMAI基础平台GPUCPU存储网络AI基础平台的挑战更好地兼容各类AI框架和算法算法兼容性平台扩展性平台具备横向扩展能力,支持业务规模的不断扩大分布式化具备弹性伸缩的能力以及容灾能力同时可以支持CPU、GPU等各种计算设备同时可以支持S3、NFS、HDFS等多种存储类型纵向扩展上手简单,方便进行代码迁移易用性目录ContentsAI基础平台的挑战UCloudAI基础平台整体架构如何实现弹性可靠如何实现环境分离开源PlayGroundUCloudAI基础平台整体架构PythonSDK图形化界面训练日志TensorBoardTensorFLowKerasCaffeMXNet接入层AITrain训练平台AIService在线服务平台GPUzDataStore存储接入CPUKNLUFile(S3)UFS(NFS)HDFSTaskSchedulerFaultTolerancerTaskMonitorTaskSchedulerFaultTolerancerLoadBalancerUCloudAITrain平台GPU节点GPU节点GPU节点GPU节点数据存储任务调度TensorFlowMXNetCaffeKerasGPU节点GPU节点部署UCloudAIService平台Service平台Service节点负载均衡器TensorFlowMXNetCaffeKerasService节点Service节点Service节点负载均衡器Service节点Service节点Service节点负载均衡器Service节点Service节点Service节点负载均衡器Service节点Service节点空闲节点空闲节点空闲节点空闲节点空闲节点空闲节点部署UCloudAI基础平台核心挑战平台的兼容性–环境分离平台的弹性可靠AI框架/算法的兼容性计算资源兼容性GPU/CPU/分布式弹性伸缩的能力以及容灾能力目录ContentsAI基础平台的挑战UCloudAI基础平台整体架构如何实现弹性可靠如何实现环境分离开源PlayGround环境分离的目的Python2.
7P40V100P40X4KNLXeonKerasTensorFlowV1.
4V1.
3V1.
2V1.
1CaffeIntelCaffeBVLCCaffeMXNet0.
9.
00.
11.
0AI框架依赖环境Python3.
6numpycv2pillowcuda8.
0cudnn5cudnn6硬件设备K80XX存储X对象存储HDFSNFS本地存储如何实现环境分离Docker容器封装GPU主机TensorFlow1.
4Python3.
6Numpy,pillow…cuda8.
0+cudnn6Caffe1.
0.
0Python2.
7Numpy,pillow…cuda8.
0+cudnn6MXNet0.
11.
0Python2.
7Numpy,pillow…cuda8.
0+cudnn5Keras+TF1.
2Python3.
6Numpy,pillow…cuda7.
5+cudnn5…CPU主机Nvidia驱动Nvidia-DockerDockerCPU拓扑P40V100P40X4KNLXeonK80数据接入层对象存储HDFSNFS本地存储…本地存储NFS环境分离核心—容器Ubuntu14.
04/16.
04+Python2.
7/3.
6TensorFlow1.
4…Caffe1.
0.
0MXNet0.
11.
0…Keras+TF1.
2…GPUCPUcuda8cudnn6/cudnn5cuda7cudnn5/cudnn4OpenBlasMKL/MKL-DNNnumpypillowscipyopencv_pythoncython…TensorFlow1.
4…IntelCaffeMXNet0.
11.
0…Keras+TF1.
2…算法,代码…环境分离核心—容器优势运行环境完全隔离,不同任务之间不会产生软件冲突基础镜像内置各类基础软件环境,减少使用者环境准备开销封装预装自由可以自由安装各类软件包,封装各类算法可重用算法的容器镜像可以重复使用兼容性GPU容器镜像可以在任意类型GPU节点运行CPU容器镜像可以在任意类型CPU节点运行环境分离核心—数据接入GPU主机CPU主机数据接入层对象存储HDFSNFS本地存储…本地存储NFS本地存储NFS接口转义带宽控制权限控制完整性检查环境分离核心—统一数据接入优势计算节点逻辑不需要支持各种存储接口,仅需要通过2-3种(例如本地存储、NFS)接口就可以对接各类存储类型通过扩展数据接入层可接入的存储类型,也就可以扩展AI平台的数据接入类型封装灵活弹性数据接入层作为中间层可以承载更大的数据访问流量.
安全数据接入层可以做数据流量控制,确保各个任务的SLA,同时对后端的数据存储系统进行带宽、流量保护目录ContentsAI基础平台的挑战UCloudAI基础平台整体架构如何实现弹性可靠如何实现环境分离开源PlayGround为什么要弹性可靠024681012048121620需求配置资源不足资源闲置掉节点资源不足++AI在线推理场景如何实现弹性可靠充足的资源负载均衡请求调度算法性能监控高可用部署负载均衡器(LVS、ULB)计算节点交换机计算节点计算节点计算节点计算节点计算资源池Hashing/RR/ShortestExpectedDelay充足的资源请求调度算法负载均衡如何实现弹性可靠计算节点计算节点计算节点CPU/Mem使用率请求延时变化QPS数量变化缩容扩容如何实现弹性可靠Set0计算节点计算节点计算节点ZooKeeper集群请求(任务)调度集群节点发现计算节点节点注册Set1Set2Region1Region0负载均衡负载均衡如何实现弹性可靠目录ContentsAI基础平台的挑战UCloudAI基础平台整体架构如何实现弹性可靠如何实现环境分离开源PlayGround开源PlayGround公共Docker镜像库开源UAI-SDKuhub.
ucloud.
cn/uaishare/https://github.
com/ucloud/uai-sdk/GPU基础镜像CPU基础镜像UAITrainUAIServiceGPU基础镜像CPU基础镜像UAITrainUAIServiceTensorFlowCaffeMXNetKerasTensorFlowCaffeMXNetKerasX=GPU训练镜像CPU在线服务镜像CPU训练镜像GPU在线服务镜像开源PlayGroundGPU训练镜像CPU在线服务镜像CPU训练镜像GPU在线服务镜像本地GPU/CPU环境UAITrainUAIService开源PlayGround感兴趣Github:https://github.
com/ucloud/uai-sdk/UAITrain:https://www.
ucloud.
cn/site/product/uaitrain.
htmlUAIService:https://www.
ucloud.
cn/site/product/uaiservice.
html更多分享与交流,请关注"UCloud技术公告牌"

美得云(20元)香港特价将军澳CTG+CN2云服务器

美得云成立于2021年,是一家云产品管理服务商(cloud)专业提供云计算服务、DDOS防护、网络安全服务、国内海外数据中心托管租用等业务、20000+用户的选择,43800+小时稳定运行香港特价将军澳CTG+CN2云服务器、采用高端CPU 优质CN2路线 SDD硬盘。香港CTG+CN22核2G3M20G数据盘25元点击购买香港CTG+CN2​2核2G5M30G数据盘39元点击购买香港CTG+CN...

柚子互联(34元),湖北十堰高防, 香港 1核1G 5M

柚子互联官网商家介绍柚子互联(www.19vps.cn)本次给大家带来了盛夏促销活动,本次推出的活动是湖北十堰高防产品,这次老板也人狠话不多丢了一个6.5折优惠券而且还是续费同价,稳撸。喜欢的朋友可以看看下面的活动详情介绍,自从站长这么久以来柚子互联从19年开始算是老商家了。六五折优惠码:6kfUGl07活动截止时间:2021年9月30日客服QQ:207781983本次仅推荐部分套餐,更多套餐可进...

DogYun27.5元/月香港/韩国/日本/美国云服务器,弹性云主机

DogYun怎么样?DogYun是一家2019年成立的国人主机商,称为狗云,提供VPS及独立服务器租用,其中VPS分为经典云和动态云(支持小时计费及随时可删除),DogYun云服务器基于Kernel-based Virtual Machine(Kvm)硬件的完全虚拟化架构,您可以在弹性云中,随时调整CPU,内存,硬盘,网络,IPv4路线(如果该数据中心接入了多条路线)等。DogYun弹性云服务器优...

负载均衡器为你推荐
硬盘工作原理简述硬盘的工作原理。硬盘工作原理硬盘的工作原理是什么?西部妈妈网九芽妈妈网加盟费多少psbc.comwww.psbc.com怎样注册百花百游迎得春来非自足,百花千卉共芬芳什么意思网站检测请问,对网站进行监控检测的工具有哪些?336.com求那个网站 你懂得 1552517773@qq杨丽晓博客明星的最新博文lcoc.topoffsettop和scrolltop的区别广告法新修订的《广告法》有哪些内容
域名备案只选云聚达 godaddy域名解析 java主机 国外服务器网站 l5520 NetSpeeder 中国特价网 135邮箱 cdn加速原理 河南移动网 美国免费空间 太原网通测速平台 网通服务器托管 上海服务器 国外ip加速器 万网空间购买 域名dns 空间租赁 服务器防火墙 金主 更多