不要将大型RDD中所有元素发送到Driver端

内存溢出时间:2021-01-16 阅读:()

如果你的Driver内存容量不能容纳一个大型RDD里面的所有数据,那么不要做以下操作:valvalues=iteblogVeryLargeRDD.
collect()Collect操作会试图将RDD里面的每一条数据复制到Driver上,如果你Driver端的内存无法装下这些数据,这时候会发生内存溢出和崩溃.
相反,你可以调用take或者takeSample来限制数据大小的上限.
或者对你RDD中的数据使用过滤或抽样操作.

展开全文

不要将大型RDD中所有元素发送到Driver端相关文档

实验项目技术报告-减速电机测控系统设计

《移动程序设计-Android》课程标准

数据内存溢出

大连市西岗区人民法院安全管理系统升级建设项目

IMS固定接入网安全问题分析

磁共振内存溢出

极光KVM(限时16元),洛杉矶三网CN2,cera机房，香港cn2

极光KVM创立于2018年，主要经营美国洛杉矶CN2机房、CeRaNetworks机房、中国香港CeraNetworks机房、香港CMI机房等产品。其中，洛杉矶提供CN2 GIA、CN2 GT以及常规BGP直连线路接入。从名字也可以看到，VPS产品全部是基于KVM架构的。极光KVM也有明确的更换IP政策，下单时选择“IP保险计划”多支付10块钱，可以在服务周期内免费更换一次IP，当然也可以不选择，...

GreenCloudVPS($30/年),500G大硬盘VPS,10Gbps带宽

GreenCloudVPS最近在新加坡DC2节点上了新机器，Dual Xeon Silver 4216 CPU，DDR4内存，10Gbps网络端口，推出了几款大硬盘VPS套餐，基于KVM架构，500GB磁盘起年付30美元。除了大硬盘套餐外，还加推了几款采用NVMe硬盘的常规套餐，最低年付20美元。不过需要提醒的是，机房非直连中国，尤其是电信用户ping值感人，包括新加坡DC1也是如此。大硬盘VPS...

萤光云(20元/月),香港CN2国庆特惠

可以看到这次国庆萤光云搞了一个不错的折扣，香港CN2产品6.5折促销，还送50的国庆红包。萤光云是2002年创立的商家，本次国庆活动主推的是香港CN2优化的机器，其另外还有国内BGP和高防服务器。本次活动力度较大，CN2优化套餐低至20/月（需买三个月，用上折扣+代金券组合），有需求的可以看看。官方网站：https://www.lightnode.cn/地区CPU内存SSDIP带宽/流量价格备注购...