加速ai内存不足

2019年5月,IDC#US45083519白皮书AI扩展万事俱备切勿陷入"内核饥饿"赞助方:IBMPeterRutten2019年5月IDC观点人工智能(AI)可以带给我们极具前景的商机.
企业和其他类型的组织都知道,如果在AI方面无所作为的话,可能会造成商业灾难,因为竞争对手已经获得了大量以前无法获得的数据和功能来扩大和取悦他们的客户群.
如今,鲜有企业认为"AI不适合我们企业"或者"AI主要是炒作".
相反,各个行业、各种规模的企业均已开始采取切实的AI计划.
许多组织的业务线(LOB)、IT人员、数据科学家和开发人员一直都在了解AI及其用例,为其业务定义AI战略、启动初始AI计划并开发和测试相应的AI应用,这些应用能够使用机器学习(ML)算法-特别是深度学习(DL)算法-提供新的洞察力和功能.
如今,组织已准备好扩展这些计划并应对出现的新问题.
的确,他们可能拥有第一手经验,但他们也知道他们无法使用标准的多功能基础架构.
此外,他们已经明确了一个事实,即:AI训练(AI模型的训练)和AI推理(使用已训练的模型来理解或预测事件)需要不同类型的计算.
不过这种不同的计算是什么此外,他们应该在内部部署,还是应该在云端部署或部署混合云模型AI应用尤其是深度学习系统可以解析指数级增长的数据量,非常需要基于大量内核的强大并行处理功能,而标准的CPU无法充分执行这些AI任务.
IDC的相关研究表明,就核心容量而言,实际的CPU能力与所需的CPU能力之间的差距将会在未来几年变得更大.
为了弥补这一差距,已经在现有基础架构上进行过尝试并做好扩展准备的AI用户需要对其基础架构进行变革,以获得所需的并行处理性能,而这种性能需要结合使用多线程CPU、GPU、快速互联组件、大量的内存及高级I/O功能来实现.
背景概述世界各地的企业都在积极地响应AI工作负载带来的新机遇.
按照IDC对AI的定义,AI是指一系列使用自然语言处理(NLP)、图像/视频分析、机器学习、知识图形和其他技术来回答问题、发现洞察力并提供建议的技术.
这些系统能够根据现有证据来假定和编制可能的答案、通过摄取大量内容来接受训练,还能通过重新训练或人类监管根据错误和失败自动进行适应和学习.
2019IDC#US450835192机器学习是AI技术的一个子集,它能够使计算机系统学习和改进其对给定任务的行为,同时无需由人类进行编程.
机器学习模型是指通过使用大量结构化数据和/或非结构化数据一遍又一遍地进行自我测试,进而随着时间的推移而不断改进自身,直至它们被认为已经完成了某个任务(如人脸识别)的"学习"的算法.
图1说明了为何说深度学习是ML的一个子集.
典型的DL架构包括深度神经网络(DNN)、卷积神经网络(CNN)、递归神经网络(RNN)、生成式对抗网络(GAN)等.
图1机器学习和深度学习机器学习(ML)朴素贝叶斯分类算法CNN随机预测算法结构化数据RNNGAN深度学习(DL)非结构化数据K-Means算法DNN等等等等来源:IDC,2019年AI软件平台包括:会话式AI软件(例如数字助理)预测性分析,用以发现数据中的隐藏关系并作出预测文本分析和自然语言,用以识别和理解文本并从文本中提取价值语音分析,用于识别音频和语音并从中提取信息图像和视频分析,用以识别图像和视频并从中提取信息,包括模式、对象、颜色,以及人体、面部、情绪、汽车和景物等其他特性许多企业的AI计划进展顺利,已处于可开始以生产规模部署AI的就绪阶段.
有一些企业仍处在AI试验阶段,而第三组企业目前还在评估AI应用可能会对其组织带来的影响.
2019IDC#US450835193就第一组企业(准备部署的企业)而言,IDC发现许多企业、政府和其他组织已经开始实施一系列AI用例.
目前最常见的五个用例分别是(根据企业在硬件、软件和服务方面的开支进行排名):自动化客户服务代理.
举例来说,在银行业,这些AI应用通过一项学习计划来提供客户服务,该项学习计划可了解客户需求和问题,还能帮助银行减少解决客户问题所需的时间和资源.
这些代理已经在各个行业得到了广泛使用.
销售流程推荐和自动化.
这些AI应用被应用于多个行业,它们与客户关系管理(CRM)系统协同工作,实时了解客户情境信息并向销售代理推荐相关措施.
自动威胁情报和防范系统.
这些AI应用已成为各个政府和行业威胁防范系统的重要组成部分,主要用于处理情报报告,从中提取信息,在不同的信息之间建立关系,然后识别针对数据库、系统、网站等的威胁.
欺诈分析和调查.
这些AI应用主要用于保险行业,也广泛用于其他行业;它们采用基于规则的学习来识别欺诈交易,同时还会自动学习如何识别各种与保险相关的欺诈计划.

自动预防性维护.
在制造业中,这些AI应用以机器学习算法为基础,构建一个准确的潜在设备与机械故障预测模型,从而帮助企业减少停机时间和维护成本.
已在企业中得到运用的其他AI用例包括(根据企业在硬件、软件和服务方面的开支进行排名):项目顾问与推荐系统诊断与治疗系统智能处理自动化质量管理调查与推荐系统IT自动化面向企业知识型工作者的数字助理专业购物顾问及产品推荐供应与物流监管智能资产/车队管理自动化索赔处理数字孪生/高级数字模拟公共安全与紧急响应适应性学习智能网络货运管理制药研究与发现2019IDC#US450835194云部署与内部部署解决这些用例的应用可以由组织定制开发,也可以基于商业AI软件,或者作为AISaaS进行交付.
在部署定制开发的商业软件时可考虑以下选择:内部部署、在IaaS上的云端部署,或作为混合云部署(其中,内部环境会与公有云环境交互作用).

对于各种部署场景,必须针对以下两点考虑相应的解决方案:如何对以极高性能训练AI模型所需的数据量进行安全处理.
深度学习训练的性能要求涉及到使用GPU结合高带宽数据摄取功能执行大规模并行处理的能力.
如何对AI模型以极高性能进行推理所需的数据量进行安全处理.
就推理性能而言,意味着能够通过经训练的AI模型处理传入数据,并提供近乎实时的AI洞察力或决策.
对于数据科学家和开发人员来说,有时在云端启动AI计划可能会更加轻松,这样一来,他们就不必安排对于深度计算而言通常都需要加速的本地计算.
大多数公有云都提供了加速的AI云实例,通常采用的是开源AI堆栈.
当然,对于用于AI训练的加速云实例来说,可供最终用户使用的处理器、协处理器、互联组件、内存大小、I/O带宽等内容都是由云服务提供商决定的.
并非所有云服务提供商都能提供这些组件的最优组合,这最终决定了数据科学家开发训练模型的速度和质量.
因此,许多组织都选择采用内部部署.
在过去几年的AI尝试中,许多组织发现自己在标准基础架构或基本云实例方面屡屡"碰壁".
训练模型花费了太长的时间,而且推理速度过慢.
IDC的相关研究显示,77.
1%的受访者表示,他们在使用内部AI基础架构方面遇到过一个或多个局限,90.
3%的受访者表示他们在云端计算方面遇到过局限.
图2显示了内部部署和云端部署时最常遇到的硬件局限.
大多数组织都遇到过一个或多个这些阻碍因素.
我们按照这些内部部署阻碍因素被提及的次数对受访者给出的答案进行了排名.

2019IDC#US450835195(受访者百分比)图2运行AI用例的服务器基础架构面临的主要硬件局限2520151050内部部署公有云难以扩展性能局限服务器虚拟化方面的难题高能耗内存局限插槽功能不足数据摄入速度过慢散热能力不足来源:IDC,2019年IDC发现,由于硬件相关的局限,许多企业会彻底变革他们的AI基础架构,有些情况下,会在短短几年内进行两次变革.
图3显示了这些基础架构变革的性质,并说明了有些时候部分变革会相互矛盾,即某些组织会与其他一些组织采用完全相反的方向.
图3还显示,为改善AI性能而最常实施的基础架构变革是转向更高的处理器性能,如图中最左侧一列所示.
第四个最常见的变革是提高I/O性能,以加快AI的数据摄入速度.
添加加速器变得越来越普遍,而扩展节点的数量也越来越普遍.
请注意,图表中描述的变革并非相互排斥的;举例来说,一些受访者在变革基础架构时,会同时采用横向扩展和加速.
此外,还有一些组织会采用完全相反的基础架构变革方式(从向上扩展到向外扩展、从向外扩展到向上扩展),这表明在AI进入商业世界的最初几年中,组织已经进行了一些实验.
2019IDC#US450835196(受访者百分比)图3AI基础架构代次变革的性质454035302520151050转向处理器性能更高的服务器从向外扩展转向向上扩展从VM或分区转向专用服务器转向I/O带宽更高的服务器从线上扩展转向向外扩展从专用服务器转向VM或分区增加GPU或FPGA等加速器技术扩展节点数量来源:IDC,2019年内核饥饿IDC将企业所遇到的这些局限背后的根本原因称之为"内核饥饿".
AI以复杂的数据计算和统计计算为基础.
我们以图像与视频分析为例来说明.
图像会被转换为矩阵,每个像素则由数字来表示.
数百万个矩阵及其分类会被输入到神经网络中进行关联.
然后,矩阵相互相乘,以找到正确的结果(例如"狗"或"易拉罐").
为了加快这个过程,它必须在比CPU可提供的更多内核上并行完成.
CPU专为串行处理而设计,而且由于材料物理方面的限制,它们已接近其最大潜力.
如今,所有处理器制造商都承认:我们已经达到了摩尔定律的极限,并且需要继续沿着几十年来常见的性能提升路径采用除CPU改进之外的补充性方法.
主要原因是由于内核大小和成本方面的因素,CPU的内核数量有限(只有数十个而不是数千个).
图4显示了2011年到2018年CPU能力的历史增长情况以及2011年到2022年CPU能力对数建模曲线,其中假定CPU能力并未受到物理限制因素的影响.
在对CPU能力进行建模时,我们假设(与当前的现实相反)CPU能力未受到物理限制因素的影响,这样有助于深入了解对CPU能力的需求将会如何发展.
图4还说明了对CPU能力的需求与可用的实际CPU能力之间的差距.
2019IDC#US450835197(内核数)图4世界范围内所有工作负载对内核数的实际需求和预估需求2,0001,8001,6001,4001,2001,00080060040020002011年2012年2013年2014年2015年2016年2017年2018年2019年2020年2021年2022年实际值预估值来源:IDC,2019年因此,具有数千个内核的GPU以及ASIC、FPGA等定制设计的处理器的兴起填补了对CPU能力的实际需求和预估需求之间的差距.
这些加速器具有大规模并行架构,芯片上配有数百甚至数千个内核,能够以成本高效的方式提供所需的并行计算性能.
这些协处理器的所带来的影响是性能出现了明显提升,同时不同类型的协处理器还能够带来其他诸多益处.
同时,为这些协处理器提供大量数据的技术也变得越来越重要,比如协处理器之间、CPU与协处理器之间的互联技术、增加内存大小的技术和快速存储等.
IDC预计,全球加速服务器市场在2022年将会增长到256亿美元,复合年增长率为31.
6%.
这些服务器由GPU、FPGA或ASIC进行加速,可在内部部署,也可以在云端部署.
事实上,该市场的增长速度非常快,以致于IDC预测,加速计算将会开始蚕食市场中非加速计算的份额:到2021年,全球服务器市场的价值将会有12%来自加速计算.
不过加速计算仍是一项相对较新颖的技术.
IDC研究发现,平均而言,利用加速器来提升其基础架构性能的组织大约在两到三年前已经开始采取这方面的措施.
IDC预计,加速计算将会在计算领域永久占据一席之地,而在全新类型的计算(如量子计算)成为主流之前,面向多个工作负载的加速将会成为标准功能.
即便如此,加速的经典计算仍将会是大多数工作负载的标配.
除了具有最高加速水平的网络、加密、安全和压缩等工作负载之外,实时分析、AI深度学习、Hadoop和数据库、视频、图像和语音识别、模拟与建模以及AI推理等工作负载也将会增加协处理器在加速市场的渗透.
2019IDC#US450835198(受访者百分比)到目前为止,内部部署一直是加速服务器领域的首选.
图5显示了GPU加速服务器在特定行业的内部部署与云部署情况.
图5还显示,在内部部署GPU加速服务器最广泛的行业是个人和消费者服务行业(80%的受访者),云部署方面最广泛的则是广播/电信行业(45.
5%的受访者).
图5GPU加速服务器的内部部署与云端部署对比(按行业)9080706050403020100内部部署云端部署个人和消费者服务医疗保健/生命科学零售/批发运输/公用事业/建筑金融广播/电信政府/教育制造来源:IDC,2019年有趣的是,内部部署的数量将在未来12个月内有所增加,而且云服务提供商应该意识到这一点所代表的挑战.
举例来说,在使用GPU进行加速的企业中,有50.
8%的企业表示他们目前选择的是在内部部署,而这一比例在未来12个月内将会上升到54.
2%.
同样,ASIC和FPGA的内部部署数量将会增加约5个百分点.
更令云服务提供商担忧的是,相当多的企业正在将他们在公有云中运行的某些加速工作负载迁回到内部部署环境(也称为"遣返").
至于为何将工作负载迁回到内部部署环境,这些组织给出的原因是他们在云环境中遇到了与成本、安全性、可扩展性和性能相关的问题.
66%的组织表示,过去他们启动过一项需要云端加速器的工作负载,但后来已将该工作负载迁移到了内部部署的数据中心.

2019IDC#US450835199加速带来的成本与性能增益会因行业而不同;在某些行业中,性能平均翻了一番,而内部部署的资本支出(即加速服务器的采购成本)或云运营成本(即运行加速实例的成本)增加了26-33%,具体取决于行业.
性能提升在很大程度上取决于实际所用的基础架构,而且借助一些加速服务器,性能提升增益会更高.
无论如何,组织都应将这一点视为一个强大的投资回报点,即使随着时间的推移,AI会开始需要性能提高一倍以上;因此,许多硬件初创公司以及IBM、Intel、AMD、Xilinx和NVIDIA等公司已经开始针对新的处理器和协处理器进行大量研究.
IDC通过研究还发现,大多数组织更愿意让服务器供应商来负责安装加速技术,很少有组织选择使用系统集成商或VAR或他们自己的IT团队来负责安装加速器.
举例来说,如果要使用CUDA、OpenACC或OpenMPforGPU对加速器进行编程,就需要技能熟练的工作人员,组织表示他们平均需要2.
4到3.
7个全职工作人员,具体取决于他们所在的行业(与加速器类型无关).
GPU的编程最容易,FPGA更难一些,而ASIC的开发周期较长.
大多数企业表示他们对加速器的编程速度非常满意.
换句话说,这一点不应被视为障碍.
最终,企业表示,提升性能是选择加速服务器的最重要目标.
性能对数据科学家等待AI模型训练所需的时间、AI模型的深度和准确程度,以及在经训练的AI模型上执行推理的速度有着直接的影响.
换句话说,更高的性能意味着更快、更准确的结果.
排在第二位的是成本,而受访者认为对新技能集的需求则不那么重要.
从各方面来看,企业都希望采用AI,而且也愿意为此支付费用,而不太担心成本或对新技能的需求.
推理业内对AI模型训练方面的需求与基于模型进行推理方面的需求有着哪些差异存在着争议.
IDC研究表明,随着时间的推移,用于推理的服务器基础架构的增长速度将会比用于训练的服务器基础架构更快.

这包括用于所有类型的机器学习的基础架构,包括"经典"的机器学习(如最近邻算法或朴素贝叶斯分类算法)和深度学习(如用于语音或图像和视频分析的算法).
就全球服务器市场的价值而言,到2020年,推理的价值将会超过训练.
推理同样需要性能更高的计算,并且在许多情况下需要加速计算.

造成AI推理工作负载与AI训练工作负载存在差异的因素有很多.
推理会将传入的数据应用于经训练的AI模型中.
在大多数应用中,这需要确保最低延迟,以便交付近乎实时的结果.
数据量可能是小规模(比如一次性图像识别任务),也可能是大规模(比如公共街道上的持续、实时面部识别任务).
业内的共识是,推理对整体服务器基础架构的要求可能与主要用于所需加速类型的训练(例如功能较弱的GPU)或执行高度重复性推理任务的大规模部署(例如FPGA或FPGA)的需求有所不同.
在某些情况下,如果推理工作负载足够轻量,以致于可以在功能强大的主处理器上执行,则可能不需要使用协处理器进行加速.
支持AI的应用(与完全采用AI应用相比)可能就属于这种情况.
在支持AI的应用中,只有一小部分应用会执行AI功能,例如使用会话式界面的商业软件中的采购功能.
借助功能强大的CPU,此类应用可能无需通过将AI处理任务卸载到协处理器(如GPU)上的方式来实现加速.
AI推理也可以通过集群技术而获益,但也可以在多插槽向上扩展平台上执行.

2019IDC#US4508351910AI基础架构考虑事项在过去的两到三年中,企业一直都在探索什么才是适合AI应用的基础架构.
为此企业进行了各种尝试:从超融合到向上扩展再到向外扩展.
从那时起,随着AI实施的不断成熟并开始扩大规模,IDC发现,业内已经围绕AI的概念达成了重要共识,并最先通过集群技术而获益.
由于AI处理的并行特性,如果能够在加速器中利用数百个内核、在服务器节点中利用多个加速器、在服务器集群中利用多个服务器,就能够提供性能优势.
准备开始扩展其AI基础架构的企业通常会考虑一系列因素,这些考虑因素既可通过内部部署实现,也可以通过云端部署实现,只是程度有所不同而已.
因此,在决定是在本地还是在云端或是混合云中扩展经加速的AI基础架构之前,他们需要花时间来确定最重要的因素.
对于希望为其客户提供最佳AI实例的云服务提供商而言,这些考虑因素非常重要,尤其是在我们看到需要加速的应用的内部部署量不断增加的情况下.
因此,云服务提供商如果希望被视为首选的AI云提供商,他们的加速即服务产品就需要达到与最佳的内部部署产品不相上下的水平.

表1汇总了加速系统在硬件、软件和数据中心方面的多个考虑事项.
您可以根据它们的重要性(基于IDC针对加速系统用户进行的调研)以及它们在内部部署或大型云服务提供商方面的可达性对其加以考虑.
性能、内存、安全性、高可用性、虚拟化和互联带宽都是重要的服务器特性,并且就目前而言,内部部署比云端部署更容易实现这些特性,这表明混合云模型是理想的方法.
2019IDC#US4508351911表1加速服务器内部部署与云端部署的考虑事项和可达性的重要性重要性内部部署可达性云端部署可达性硬件主机CPU性能加速器可用内存的大小加速服务器的安全性加速服务器的高可用性加速系统的服务器虚拟化在服务器节点中向上扩展加速器加速器与主机CPU之间的互联带宽通过加速器实现的性能改善加速服务器的功率需求加速服务器节点的向外扩展加速服务器散热软件加速器编程的简易性加速服务器上的诊断功能API、库、软件开发套件、工具包、框架、编程语言等的可用性加速器编程所需时间加速器编程所需成本对OpenCL、OpenMP和OpenACC等技术的支持数据中心加速服务器与基础架构其他部分的可互操作性操作环境所需的技能水平加速服务器的可管理性高:;较高:;一般:来源:IDC,2019年2019IDC#US4508351912IBMPOWERSYSTEMAC922IBMPowerSystemAC922是位于橡树岭国家实验室、地球上最快的超级计算机Summit的构建块.
IDC认为IBM对其在2018年年中宣布的这一成就表现得过于谦虚.
Summit的计算性能高达200petaflop(每秒千万亿次),是第一台操作数达到百亿亿次的超级计算机,即每秒可完成1018次操作.
Summit还是在环保方面全球排名第三的超级计算机.
有趣的是,Summit是专为AI而构建的,不同于为模拟和建模而构建的许多其他超级计算机.
IBM可提供加速计算平台-您可以称之为"迷你Summit"-适用于希望扩展超大型AI工作负载的企业.
对于那些规模不大的组织而言,他们可以利用单个PowerSystemAC922或中小型PowerSystemAC922集群的卓越性能.
据IBM称,由于PowerSystemAC922采用密集设计,同时结合采用了PCIeGen4和InfiniBand,因此企业可以从单个PowerSystemAC922节点开始着手,然后以近乎线性的扩展效率扩展到机架甚至数千个节点.
几年前,当IBM开始构建基于Linux的向外扩展PowerSystems时,他们专注于构建用于超高数据密集型计算的系统,在该战略的采用方面领先于市场平均水平,在那时,AI和分析仍属于新兴工作负载.
同时,IBM还提出了将PowerSystems作为一个安全、可靠的任务关键型数据平台扩展到这些基于Linux的新的向外扩展系统.
结果是,IBM推出了广泛的单插槽和双插槽Linux服务器组合,展示了业界最高的内核性能.
PowerSystemAC922是该系列产品中的"龙头"-一个双插槽2U系统,配备4或6个NVIDIATeslaV100GPU,与POWER9处理器、NVIDIA的互联NVLink2(第二代NVLink)进行了独特集成,可实现CPU-GPU无缝交互和一致的内存共享.
这种一致性允许系统像处理GPU内存那样处理系统内存,从而简化了编程、提升了AI模型的规模.
到目前为止,还没有任何其他服务器平台将NVLink直接内置到处理器中,以实现极快的CPU-GPU连接,从而允许GPU通过该链路获得对DRAM的高带宽访问.
关于PowerSystemAC922,还有其他一些值得注意的细节.
每个内核的2级缓存为512KB,3级缓存不小于10MB,系统内存在256到2,048GB之间.
凭借八个线程,POWER内核可提供的线程数量是x86解决方案的四倍-这对AI等并行工作负载而言非常重要.
PowerSystemAC922采用高吞吐量的芯片上结构,其中包括一个芯片上交换机,能以7TBps的速度移动数据.
将数据移入和移出每个内核的速度为256GBps.
除了NVLink2之外,它还采用了CAPI2.
0,可实现与ASIC、FPGA或外部闪存存储器之间的一致、超高带宽连接,同时还采用了业界首创的PCIeGen4,用以连接PCIe设备.
配置4个GPU的PowerSystemAC922既可以采用空冷,也可以采用水冷,而配置6个GPU版本,只可以采用水冷.
在这方面,IBM与其他几家供应商一同领先于市场平均水平.
在当今的加速计算机时代,水冷是一种新兴技术,或者说是一种再现的技术,有助于实现更高的密度,即每个节点可配备更多的GPU、每个机架中可配备更多节点.
PowerSystemAC922在AI方面的优势在于系统可缩短AI训练时间.
IDC认为训练时间是组织在将AI解决方案运用到生产时所面临的重大障碍之一.
数据科学家通常需要等待数天甚至数周才能完成模型训练,之后他们还可能需要进行调整并重新开始.
PowerSystemAC922使其能够更快地迭代模型.
更重要的是,由于从GPU到系统内存均可实现近乎直接的访问,因此他们可以使用IBM的大型模型支持(LMS)进行训练,这意味着他们可以使用比仅依赖GPU时更大、更复杂的模型和/或更高的精度级别.
2019IDC#US4508351913为了实现扩展,IBM开发了一个名为"分布式深度学习(DDL)"的库,该库允许任何单个任务以近乎线性的方式在数百个服务器上进行扩展,所采用的方式对于数据科学家而言是完全无缝的.
他们只需要进行简单的呼叫并请求他们想要的GPU数量即可.
DDL与TensorFlow、Caffe、Torch和Chainer等ML框架相连,而且支持这些框架扩展到多个GPU.
如此一来,数据科学家可以轻松地跨越数十个GPU扩展他们的训练项目(如果没有DDL,是很难实现这一点的),并让系统帮助他们进行动态管理.
表2针对最终用户认为重要的上述硬件功能对PowerSystemAC922进行了评价.
表2IBMPowerSystemAC922在加速服务器重要硬件功能方面的表现硬件主机CPU性能加速器可用内存的大小加速服务器的安全性加速服务器的高可用性加速系统的虚拟化在服务器节点中向上扩展加速器加速器与主机CPU之间的互联带宽通过加速器实现的性能改善加速服务器的功率需求加速服务器节点的向外扩展加速服务器散热来源:IDC,2019年2019IDC#US4508351914无论是内部部署还是在IBMCloud上部署,PowerSystemAC922都代表了IBM的新的基于开源的AI堆栈的硬件基础(不过值得一提的是,IBM的大部分堆栈也可用于基于x86的硬件).
对于PowerSystemAC922,堆栈已经过高度优化.
深度学习非常依赖于加速器,而IBM已对软件进行了优化,以充分利用PowerSystemAC922中的4个或6个GPU、NVLink以及PowerSystemAC922的服务器集群.
该堆栈可用于私有云以及公有云(包括IBMCloud).
它由以下组件构成:WatsonStudio-用于数据准备和模型开发,包括Jupyter和RStudio.
WatsonStudio目前还包括WatsonMachineLearningCommunityEdition(WMLCE),其本质上是将PowerAI集成到WatsonStudio中.
这是一款免费产品.
WatsonMachineLearning-用于在私有云和公有云中训练、部署和管理AI模型的运行时环境.
该组件是IBM与一些模型管理公有云解决方案的区别所在,它提供了一些私有云选项,包括IBMCloudPrivate或基于Kubernetes的方法.
WatsonMachineLearning包括Spark、TensorFlow、PyTorch、Chainer、Keras以及IBM新推出的"传统"机器学习性能提升程序SnapML,经实践证明,该程序在逻辑回归、决策树、随机森林等数据科学方法中非常受欢迎.

此外还包括WMLCommunityEditiona以及目前被称为WatsonMLAccelerator的版本.
WatsonMLAccelerator之前被称为PowerAIEnterprise,这是IBM针对深度学习模型的训练而推出的一款软件.
WatsonMLAccelerator专注于在多个数据科学家尝试使用相同的基础架构的情况下以及在整个基础架构中弹性扩展单个任务的情况下的资源管理.