节点负载均衡器

搭建商用AI平台的挑战与思考宋翔目录ContentsAI基础平台的挑战UCloudAI基础平台整体架构如何实现弹性可靠如何实现环境分离开源PlayGroundAI!
AI!
AI!
安防零售教育游戏医疗艺术金融AI的选择框架多样性算法多样性TensorFlowMXNetCaffeKerasVGGResNetLSTMFast-RCNNVGG+LSTMFast-RCNN+LSTMCNTKTheanoAI场景选择AI框架选择AI算法选择训练平台选择在线服务选择AI的选择系统人看AITensorFlowMXNetCaffeKerasVGGResNetLSTMFast-RCNNVGG+LSTMFast-RCNN+LSTMAI基础平台GPUCPU存储网络AI基础平台的挑战更好地兼容各类AI框架和算法算法兼容性平台扩展性平台具备横向扩展能力,支持业务规模的不断扩大分布式化具备弹性伸缩的能力以及容灾能力同时可以支持CPU、GPU等各种计算设备同时可以支持S3、NFS、HDFS等多种存储类型纵向扩展上手简单,方便进行代码迁移易用性目录ContentsAI基础平台的挑战UCloudAI基础平台整体架构如何实现弹性可靠如何实现环境分离开源PlayGroundUCloudAI基础平台整体架构PythonSDK图形化界面训练日志TensorBoardTensorFLowKerasCaffeMXNet接入层AITrain训练平台AIService在线服务平台GPUzDataStore存储接入CPUKNLUFile(S3)UFS(NFS)HDFSTaskSchedulerFaultTolerancerTaskMonitorTaskSchedulerFaultTolerancerLoadBalancerUCloudAITrain平台GPU节点GPU节点GPU节点GPU节点数据存储任务调度TensorFlowMXNetCaffeKerasGPU节点GPU节点部署UCloudAIService平台Service平台Service节点负载均衡器TensorFlowMXNetCaffeKerasService节点Service节点Service节点负载均衡器Service节点Service节点Service节点负载均衡器Service节点Service节点Service节点负载均衡器Service节点Service节点空闲节点空闲节点空闲节点空闲节点空闲节点空闲节点部署UCloudAI基础平台核心挑战平台的兼容性–环境分离平台的弹性可靠AI框架/算法的兼容性计算资源兼容性GPU/CPU/分布式弹性伸缩的能力以及容灾能力目录ContentsAI基础平台的挑战UCloudAI基础平台整体架构如何实现弹性可靠如何实现环境分离开源PlayGround环境分离的目的Python2.
7P40V100P40X4KNLXeonKerasTensorFlowV1.
4V1.
3V1.
2V1.
1CaffeIntelCaffeBVLCCaffeMXNet0.
9.
00.
11.
0AI框架依赖环境Python3.
6numpycv2pillowcuda8.
0cudnn5cudnn6硬件设备K80XX存储X对象存储HDFSNFS本地存储如何实现环境分离Docker容器封装GPU主机TensorFlow1.
4Python3.
6Numpy,pillow…cuda8.
0+cudnn6Caffe1.
0.
0Python2.
7Numpy,pillow…cuda8.
0+cudnn6MXNet0.
11.
0Python2.
7Numpy,pillow…cuda8.
0+cudnn5Keras+TF1.
2Python3.
6Numpy,pillow…cuda7.
5+cudnn5…CPU主机Nvidia驱动Nvidia-DockerDockerCPU拓扑P40V100P40X4KNLXeonK80数据接入层对象存储HDFSNFS本地存储…本地存储NFS环境分离核心—容器Ubuntu14.
04/16.
04+Python2.
7/3.
6TensorFlow1.
4…Caffe1.
0.
0MXNet0.
11.
0…Keras+TF1.
2…GPUCPUcuda8cudnn6/cudnn5cuda7cudnn5/cudnn4OpenBlasMKL/MKL-DNNnumpypillowscipyopencv_pythoncython…TensorFlow1.
4…IntelCaffeMXNet0.
11.
0…Keras+TF1.
2…算法,代码…环境分离核心—容器优势运行环境完全隔离,不同任务之间不会产生软件冲突基础镜像内置各类基础软件环境,减少使用者环境准备开销封装预装自由可以自由安装各类软件包,封装各类算法可重用算法的容器镜像可以重复使用兼容性GPU容器镜像可以在任意类型GPU节点运行CPU容器镜像可以在任意类型CPU节点运行环境分离核心—数据接入GPU主机CPU主机数据接入层对象存储HDFSNFS本地存储…本地存储NFS本地存储NFS接口转义带宽控制权限控制完整性检查环境分离核心—统一数据接入优势计算节点逻辑不需要支持各种存储接口,仅需要通过2-3种(例如本地存储、NFS)接口就可以对接各类存储类型通过扩展数据接入层可接入的存储类型,也就可以扩展AI平台的数据接入类型封装灵活弹性数据接入层作为中间层可以承载更大的数据访问流量.
安全数据接入层可以做数据流量控制,确保各个任务的SLA,同时对后端的数据存储系统进行带宽、流量保护目录ContentsAI基础平台的挑战UCloudAI基础平台整体架构如何实现弹性可靠如何实现环境分离开源PlayGround为什么要弹性可靠024681012048121620需求配置资源不足资源闲置掉节点资源不足++AI在线推理场景如何实现弹性可靠充足的资源负载均衡请求调度算法性能监控高可用部署负载均衡器(LVS、ULB)计算节点交换机计算节点计算节点计算节点计算节点计算资源池Hashing/RR/ShortestExpectedDelay充足的资源请求调度算法负载均衡如何实现弹性可靠计算节点计算节点计算节点CPU/Mem使用率请求延时变化QPS数量变化缩容扩容如何实现弹性可靠Set0计算节点计算节点计算节点ZooKeeper集群请求(任务)调度集群节点发现计算节点节点注册Set1Set2Region1Region0负载均衡负载均衡如何实现弹性可靠目录ContentsAI基础平台的挑战UCloudAI基础平台整体架构如何实现弹性可靠如何实现环境分离开源PlayGround开源PlayGround公共Docker镜像库开源UAI-SDKuhub.
ucloud.
cn/uaishare/https://github.
com/ucloud/uai-sdk/GPU基础镜像CPU基础镜像UAITrainUAIServiceGPU基础镜像CPU基础镜像UAITrainUAIServiceTensorFlowCaffeMXNetKerasTensorFlowCaffeMXNetKerasX=GPU训练镜像CPU在线服务镜像CPU训练镜像GPU在线服务镜像开源PlayGroundGPU训练镜像CPU在线服务镜像CPU训练镜像GPU在线服务镜像本地GPU/CPU环境UAITrainUAIService开源PlayGround感兴趣Github:https://github.
com/ucloud/uai-sdk/UAITrain:https://www.
ucloud.
cn/site/product/uaitrain.
htmlUAIService:https://www.
ucloud.
cn/site/product/uaiservice.
html更多分享与交流,请关注"UCloud技术公告牌"