不要将大型RDD中所有元素发送到Driver端

内存溢出时间:2021-01-16 阅读:()

如果你的Driver内存容量不能容纳一个大型RDD里面的所有数据,那么不要做以下操作:valvalues=iteblogVeryLargeRDD.
collect()Collect操作会试图将RDD里面的每一条数据复制到Driver上,如果你Driver端的内存无法装下这些数据,这时候会发生内存溢出和崩溃.
相反,你可以调用take或者takeSample来限制数据大小的上限.
或者对你RDD中的数据使用过滤或抽样操作.

展开全文

不要将大型RDD中所有元素发送到Driver端相关文档

实验项目技术报告-减速电机测控系统设计

《移动程序设计-Android》课程标准

数据内存溢出

大连市西岗区人民法院安全管理系统升级建设项目

IMS固定接入网安全问题分析

磁共振内存溢出

酷锐云香港(19元/月) ,美国1核2G 19元/月,日本独立物理机,

酷锐云是一家2019年开业的国人主机商家，商家为企业运营，主要销售主VPS服务器，提供挂机宝和云服务器，机房有美国CERA、中国香港安畅和电信，CERA为CN2 GIA线路，提供单机10G+天机盾防御，提供美国原生IP，支持媒体流解锁，商家的套餐价格非常美丽，CERA机房月付20元起，香港安畅机房10M带宽月付25元，有需要的朋友可以入手试试。酷锐云自开业以来一直有着良好的产品稳定性及服务态度，支...

vpsdime7美元/月，美国达拉斯Windows VPS,2核4G/50GB SSD/2TB流量/Hyper-V虚拟化

vpsdime怎么样?vpsdime是2013年成立的国外VPS主机商，以大内存闻名业界，主营基于OpenVZ和KVM虚拟化的Linux套餐，大内存、10Gbps大带宽、大硬盘，有美国西雅图、达拉斯、新泽西、英国、荷兰机房可选。在上个月搞了一款达拉斯Linux系统VPS促销，详情查看：vpsdime夏日促销活动,美国达拉斯vps,2G内存/2核/20gSSD/1T流量,$20/年，此次推出一款Wi...

UCloud新人优惠中国香港/日本/美国云服务器低至4元

UCloud优刻得商家这几年应该已经被我们不少的个人站长用户认知，且确实在当下阿里云、腾讯云服务商不断的只促销服务于新用户活动，给我们很多老用户折扣的空间不多。于是，我们可以通过拓展选择其他同类服务商享受新人的福利，这里其中之一就选择UCloud商家。UCloud服务商2020年创业板上市的，实际上很早就有认识到，那时候价格高的离谱，谁让他们只服务有钱的企业用户呢。这里希望融入到我们大众消费者，你...