英特尔thinksystem

解决方案简介联想高性能大数据一体机基于英特尔傲腾持久内存的软硬件一体化解决方案"英特尔傲腾持久内存在性能、成本效益等方面具备非常明显的优势,能够将高性能大数据一体机的性能提升到新的层次,帮助金融等行业用户在数据爆炸式增长的背景下满足数据高速处理的要求,高效挖掘数据潜能.
"—王达联想高性能大数据一体机产品经理如今,依托于人工智能(AI)、大数据等技术应用,以全要素数字化转型为重要推动力的数字经济正在成为推动企业转型的关键因素.
为了推动AI创新与规模化落地,企业不仅需要借助行业领先的统一方法论和数据治理模式,还需要完善IT基础设施建设,提升对于海量数据的高速、实时处理与分析能力,赋能智慧应用.
为帮助企业加速数字化重构与升级、推动智慧应用落地,联想集团(以下简称:联想)推出了基于第二代英特尔至强可扩展处理器以及英特尔傲腾持久内存的联想高性能大数据一体机.
该一体机实现了硬件基础架构与大数据计算平台LeapHD的预集成与预优化,可全面提升数据处理与分析能力,优化面向AI负载的性能表现,节省软硬件集成所需的时间,实现快速部署与快速应用,能够支撑不同合作伙伴的应用层AI计算,满足不同行业的AI落地场景的需求.
挑战:如何构建高性能IT基础设施,推动行业智慧转型人工智能正在成为企业数字化转型过程中最值得关注的趋势之一,英特尔预测,到2020年,企业内部训练深度学习模型进行推理的比例将从现在的1:1迅速转变为1:51,并将迎来"大规模推理"时代.
它标志着人工智能与深度学习日趋成熟,企业可以利用人工智能盈利,通过将经过训练的模型应用于新数据集,推出新的应用或服务.
但与此同时,AI模型和数据复杂度均呈指数级增长,推动人工智能的计算需求每3.
5个月增长一倍2.
显然,提升面向人工智能应用的数据处理与分析能力,对于支撑金融行业的智慧转型有着至关重要的意义.
然而,对于金融机构而言,构建能够满足人工智能应用落地需求的基础设施平台却不可避免地面临以下艰巨挑战:如何实现更高效的数据计算:由于需要对海量且不断增长的数据进行快速处理,用于赋能光学字符识别(OCR)、风险控制、反欺诈、精准营销、客户旅程、工艺管理、"英特尔一直以来都致力于能够通过软硬协同来推动人工智能和数据分析的创新,基于英特尔傲腾持久内存及第二代英特尔至强可扩展处理器的联想高性能大数据一体机解决方案有效发挥了英特尔硬件的优势.
而在软件层面,英特尔打造了从oneAPI到OpenVINO、BigDL、AnalyticsZoo等众多软件工具.
英特尔大数据分析和人工智能创新研究院还将与联想进行更加广泛的生态合作,进一步推动利用包括AnalyticsZoo等在内的创新软件产品与技术的应用潜力,通过统一的数据分析和人工智能工具推动行业的AI技术应用落地,为行业的数字化转型赋能.
"—戴金权英特尔高级首席工程师大数据技术全球CTO大数据分析和人工智能创新院院长2供应链优化等工作的复杂上层应用在近年来实现了快速增长,这在为人工智能应用奠定了数据基础的同时,也要求更高的数据处理与分析能力.
同时,算法的进化正在推动各行业的AI模型复杂度不断上升,这些都要求更高性能的基础设施.
如何控制总体拥有成本(TCO):人工智能和大数据项目建设,均会面临服务器部署和环境准备,软硬件的集成设计、安装、配置、调试与后期运维,以及多头的商务采购和技术对接等工作,都会带来巨大的资金和人力成本等TCO压力,以及引发未知问题的风险.
如何缩短产品交付时间:缩短服务器等基础设施的交付时间,对于企业提升业务敏捷性、加快人工智能应用上线、提升竞争优势有着重要意义.
然而,传统软硬件分开采购、集成、优化的模式会涉及到硬件准备、网络配置、资源及拓扑规划、组件兼容性、软件部署及验证等问题,AI系统很难在短时间内交付上线.
联想高性能大数据一体机让AI系统部署化繁为简为了解决传统分散化的基础设施部署模式存在的问题,大数据一体机应运而生.
作为面向大数据存储、处理、展现全环节、软硬一体化的方案型产品,大数据一体机实现了软硬件的预集成与预优化,解决了原有架构的扩展瓶颈和新技术条件下的客户应用门槛,可以快速满足金融等行业用户对于人工智能等高负载应用的性能需求,降低系统部署的复杂性和TCO,提升交付灵活性.
联想高性能大数据一体机三元素1.
联想LeapHD大数据平台系统通过搭建LeapHD企业级大数据分析平台,打破传统各系统烟囱式建设模式,实现跨专业、跨层级、跨主体、全过程的数据呈现、敏捷开发与能力嵌入,充分发挥大数据的核心资产能力与价值能力,持续推动透明管控、科学运营和价值创造.
平台层面:主要提供数据存储和数据处理能力,提供统一的集成平台环境,实现硬件和平台软件的有效集成.
搭建Hadoop和Spark等计算框架,实现海量数据的分布式处理;通过新技术,降低系统总体拥有成本.
功能层面:主要提供数据整合、数据清洗/转换/加载、数据共享、数据分析与查询、数据挖掘、数据管理能力;提供新的IT功能架构,提供多租户的ETL、统一的数据计算与存储、数据共享、多租户的应用开发、数据平台管控.
联想紧密研究和实践大数据先进技术,基于企业内部多年的PB级大数据建设实践经验,形成了适应企业级应用的稳定可靠、性能优异、易用易管理的大数据平台,可更好地满足企业级客户的需求.
LeapHD平台核心技术优势包括:超高性能基于英特尔傲腾持久内存深度优化的Spark性能,评测显示其性能大幅提升.
同时结合自主研发的自动化压力测试工具,实现Apache社区正式发布后1个月即可导入LeapHD架构中,完成产品组件的快速更新.
极佳的SQL兼容性,便于业务人员使用深度优化的SparkSQL解析引擎,率先通过TPC-DS99条语句的全部测试,满足企业OLAP和OLTP等多类场景支撑,在大幅提升系统易用性的同时,显著降低应用迁移的难度和工作量.
全源数据整合能力,提供10多种数据采集接口自主研发,突破传统架构和性能瓶颈,提供十多种数据接入适配能力;通过全图形化的灵活配置,可以实现多源异构数据的快速采集与集成.
高可扩展性LeapHD的高可扩展性体现在基础架构高可扩展和平台功能的高可扩展两个方面.
它支持通过在线增加集群节点数,线性提高系统的处理能力;同时插件式的开放架构设计可支持快速便捷地扩展平台功能.
最高标准数据安全保障平台支持表列级细粒度的数据访问控制,并扩展了多租户管理及资源隔离;支持基于Kerberos/Sentry/LDAP实现用户访问和服务间的强认证;支持AES128/256加解密算法;提供全面和高标准的数据安全保障机制.
简单的运维操作和监控管理,功能全面、简洁、易用、易维护LeapHD在大数据平台的运维管理方面,支持产品一键安装、一键升级和图形化运维,并提供了预警和健康检测功能,帮助用户极简化运维操作.
3一站式图形化的数据开发套件提供强大的开发组件环境和丰富的图形化管理与开发界面,支持运行、调试、日志跟踪、结果预览等功能,极大地方便业务人员的使用.
全球实践验证的一流可靠性联想已在全球部署了规模达到3000+台服务器和12000+名操作用户的超大规模实证集群,是国内最大的制造企业数据集群.
系统经受了12PB级复杂业务的实战锤炼,可实现出色的全球高可用性.
联想LeapHD大数据平台从功能架构上分为数据集成、数据计算与存储、数据查询与分析、数据资产管理、数据服务和系统运维监控等部分,主要采用Hadoop和Spark等分布式技术构建,可全面满足客户对于计算能力线性扩展及数据汇总能力的需求.
2.
高可靠的ThinkSystemSR650服务器计算平台适用于计算密集型工作负载LenovoThinkSystemSR650为大中型企业提供了一款理想的2U双插槽服务器,在全球应用广泛.
凭借205WCPU、低延迟NVMe硬盘和大功率GPU,SR650具备卓越的性能.
高度灵活且可配置的SR650展现了联想多年来积累的技术实力,具有强大的可靠性,是运行超融合基础架构(HCI)或软件定义存储(SDS)的理想平台.
功能全面且可扩展ThinkSystemSR650支持英特尔傲腾持久内存和多达两颗第二代英特尔至强可扩展铂金处理器,整体性能比上一代产品有明显提升.
它支持两个300W高性能GPU和具有共享管理功能的ML2NIC适配器.
独特的LenovoAnyBay技术可在相同的硬盘托架内灵活混搭SAS/SATAHDD/SSD和NVMeSSD,当前最高可支持24个NVMe硬盘.
主板上的四个直连NVMe端口利用NVMe驱动器提供超快的读/写速度,同时无需使用PCIe交换机适配器,进一步降低成本.
此外,SR650还支持对存储进行分层来提高应用程序性能,打造最具成本效益的解决方案.
可选的镜像M.
2硬盘能够确保可靠性并快速完成OS初始化.
SR650同时还带有80PLUS白金电源和钛金电源,并能在45℃的环境中持续运作,能够显著降低能耗.
图1.
联想LeapHD大数据平台总体框架数据集成存储计算数据开发数据服务数据抽取、清洗、转换、加载(DataHub)批量/增量数据/实时数据数据治理DataGovernanceLeapHDHadoopCore集成31个开源组件,基于X86平台的深度集成和调优数据服务DataService实时流计算DataStream大数据存储存储计算引擎LeapHDCore分布式计算框架流式计算框架数据分析离线批处理TaskScheduler内存计算框架交互式查询引擎SQLEditor数据洞察PowerQuesterLiteLeapHDDataSecurityLeapHDManager数据目录数据质量元数据监控与报告安装监控运维管理安全、多租户及权限控制43.
源自英特尔的领先技术加持第二代英特尔至强可扩展处理器专为数据中心现代化革新而设计,能够提高各种基础设施、企业应用及技术计算应用的运行效率,进而改善总体拥有成本(TCO),提升用户生产力.
它拥有更高的每核性能,能够在计算、存储和网络应用中,为计算密集型工作负载提供高性能和可扩展性.
其拥有48通道PCIe3.
0带宽和吞吐量,并支持英特尔超级通道互联(英特尔UPI)、英特尔InfrastructureManagement技术(英特尔IMT)、英特尔高级矢量扩展指令集512(英特尔AVX-512)等功能,可满足严苛的I/O密集型工作负载的需求,能够帮助云数据中心着力打造性能更强的敏捷服务和突破性功能.
此外,第二代英特尔至强可扩展处理器还内置人工智能加速并已针对工作负载进行优化,提供真实应用场景中由客户驱动的性能,能够为各种高性能计算工作负载、AI应用以及高密度基础设施带来一流的性能和前所未有的内存带宽.
同时,采用矢量神经网络指令(VNNI)的英特尔深度学习加速(英特尔外形/高度2U机架式服务器处理器多达2颗第二代英特尔至强铂金可扩展处理器,最高205W内存多达9TB(24个DIMM插槽,128GBDIMM和英特尔傲腾持久内存;2666MHz/2933MHZTruDDR4)扩展插槽8个可选的PCIe3.
0插插,包含1个适用于RAID适配器的专用PCIe插槽,可通过NVME交换机适配器扩展到12个PCIe3.
0驱动器托架支持热插拔硬盘,多达14个3.
5英寸硬盘或多达24个2.
5英寸硬盘(多达12个AnyBay或多达24个NVMe);另可支持2个M.
2启动盘(可支持RAID1)HBA/RAID支持硬件RAID(多达24个端口),带有闪存缓存;多达16端口HBA安全性与可用性特征TPM1.
2/2.
0;PFA;热插拔/冗余驱动器、风扇和电源;45°C温度下持续运行;光通路诊断LED,通过专用USB端口进行前端访问诊断网络接口2/4端口1GbE1LOM;2/4端口10GbELOM(Base-T或SFP+);1个专用1GbE管理端口电源(符合Energystar2.
0规范)2个热插拔/冗余:550W/750W/1100W/1600W80PLUS白金电源;或750w80PLUS钛金电源;或-48VDC80PLUS白金电源支持的操作系统Microsoft、RedHat、SUSE、VMware有限保修3年7x24x4全国上门有限保修服务及安装服务表1.
ThinkSystemSR650配置第二代英特尔至强可扩展处理器第二代英特尔至强可扩展处理器:为企业数据中心提供高可扩展性与上一代处理器相比,为虚拟基础设施提供更高性能实现卓越的资源利用效率和敏捷性针对数据中心解决方案,提高数据和工作负载的完整性,确保监管合规性基于全新英特尔架构的联想高性能大数据一体机推荐采用第二代英特尔至强可扩展处理器.
5DLBoost)显著提高了人工智能推理的表现,与上一代产品相比,性能提升高达14倍3,这使其成为拓展AI应用的卓越平台.
为了进一步提升性能表现,联想高性能大数据一体机采用了英特尔傲腾持久内存+DDR4内存的方式来构建内存池.
英特尔傲腾持久内存是一种颠覆传统的持久内存,可提供融合高速、高性价比、大容量、持久数据保护、高级加密等优势于一体的内存选项.
不同于传统的DRAM,其集大容量、经济性和持久性于一身,读写带宽比NVMe设备高数倍,并大幅降低了延时问题.
在联想高性能大数据一体机中,英特尔傲腾持久内存以应用直接访问模式的形态存在,并被加入到存储池,以利用英特尔傲腾持久内存的超高性能.
通过启用应用直接访问模式,用户能够以更低的成本扩展一体机内存池容量,在一体机中使用独立的易失和持久性内存存储,加快使用基于传统DRAM的数据缓存结构的操作速度,并根据个人工作负载需求定制内存子系统,从而进一步提高性能.
此外,针对AI数据定义硬件中的存储设备,联想高性能大数据一体机通过配置高性能的英特尔固态盘DCP4600,满足搭载的企业级AI软件对特征处理、数据落盘等环节的定制化调节,以及Spark等组件的升级和调优,使得最终计算性能大幅提升.
三元素的深度优化定制铸就联想高性能大数据一体机的核心引擎历时一年联想高性能大数据一体机经历了从最初产品原型设计、可行性验证、高性能大数据平台定制版开发到结果测试等一年时间的潜心努力,并进行了深度适配、定制及优化,三元素绝非简单堆砌,才有如今惊人的性能表现.
联想与英特尔数十人研发团队联想大数据、服务器解决方案、英特尔共同投入数十人合作研发团队.
业界领先模型借鉴业界领先模型,结合大数据典型应用场景,参照联想自身十年的大数据实践经验,从稳定性、兼容性等多方面进行重点攻关,解决大量的疑难和隐性问题.
展望:高性能一体化交付释放数据潜力,加速AI落地通过与人工智能融合,各行业可以依托庞大的业务数据,以智能的方式驱动数据分析与预测方法创新,进而获得新的洞察,拥抱更为灵敏、高效的商业模式.
在人工智能发展大潮中,以联想高性能大数据一体机为代表的一体化设备交付模式能够有效减少安装调试、集成等程序,在交付效率方面有着巨大的优势,有望会成为未来企业级基础设施,特别是数据库系统的优先交付方式.
英特尔作为唯一一家能提供所有架构并引领人工智能性能走向极致的公司,致力于通过针对具体用途量身定制的多种方案,以及优越的硬件选择和软件加持,助力推动AI价值的全面实现.
其中,英特尔傲腾持久内存技术作为针对以数据为中心的环境而构建的新型内存和存储创新产品,有着出色的系统内存容量,可加速工作负载处理和服务交付,显著加速IO密集型应用的处理,为最终客户提供更高的投入产出比.
英特尔傲腾持久内存英特尔傲腾持久内存可以提供:更低的总体拥有成本(TCO):要组建性能或容量相当的内存池,将仅需使用更低的成本,这也有助企业降低基础设施的TCO,获得更大的竞争优势.
敏捷的应用模式:企业用户可以根据自己的应用需求,在不对硬件进行调整的前提下,自由地使用英特尔傲腾持久内存的内存模式或是应用直接访问模式.
强大的性能,远超传统固态盘.
基于全新英特尔架构的联想高性能大数据一体机推荐采用英特尔傲腾持久内存.
1https://www.
intel.
cn/content/www/cn/zh/analytics/artificial-intelligence/how-to-get-ready-for-inference-at-scale.
html2https://baijiahao.
baidu.
com/sid=1600708821467077192&wfr=spider&for=pc3《第二代英特尔至强可扩展处理器产品简介》,https://www.
intel.
cn/content/dam/www/public/cn/zh/documents/product-briefs/2nd-gen-xeon-scalable-processors-brief-cn.
pdf在特定系统中对组件性能进行特定测试.
硬件、软件或配置的任何差异都可能影响实际性能.
考虑购买时,请查阅其他信息来源以评估性能.
如欲了解有关性能及性能指标评测结果的更完整信息,请访问:http://www.
intel.
cn/content/www/cn/zh/benchmarks/benchmark.
html在性能测试过程中使用的软件及工作负载可能仅针对英特尔微处理器进行了性能优化.
SYSmark*和MobileMark*等性能测试使用特定的计算机系统、组件、软件、操作和功能进行测量.
上述任何要素的变动都有可能导致测试结果的变化.
您应当参考其它信息和性能测试以帮助您完整评估您的采购决策,包括该产品与其它产品一同使用时的性能.
更多信息敬请登陆:http://www.
intel.