不要将大型RDD中所有元素发送到Driver端

内存溢出时间:2021-01-16 阅读:()

如果你的Driver内存容量不能容纳一个大型RDD里面的所有数据,那么不要做以下操作:valvalues=iteblogVeryLargeRDD.
collect()Collect操作会试图将RDD里面的每一条数据复制到Driver上,如果你Driver端的内存无法装下这些数据,这时候会发生内存溢出和崩溃.
相反,你可以调用take或者takeSample来限制数据大小的上限.
或者对你RDD中的数据使用过滤或抽样操作.

展开全文

不要将大型RDD中所有元素发送到Driver端相关文档

实验项目技术报告-减速电机测控系统设计

《移动程序设计-Android》课程标准

数据内存溢出

大连市西岗区人民法院安全管理系统升级建设项目

IMS固定接入网安全问题分析

磁共振内存溢出

弘速云香港VPSVPS线路有CN2+BGP、CN2 GIA，KVM虚拟化架构，裸金属月付564元

弘速云怎么样?弘速云是创建于2021年的品牌，运营该品牌的公司HOSU LIMITED(中文名称弘速科技有限公司)公司成立于2021年国内公司注册于2019年。HOSU LIMITED主要从事出售香港vps、美国VPS、香港独立服务器、香港站群服务器等，目前在售VPS线路有CN2+BGP、CN2 GIA，该公司旗下产品均采用KVM虚拟化架构。可联系商家代安装iso系统。点击进入：弘速云官方网站地址...

Hostodo（年付$34.99）， 8TB月流量 3个机房可选

Hostodo 算是比较小众的海外主机商，这次九月份开学季有提供促销活动。不过如果我们有熟悉的朋友应该知道，这个服务商家也是比较时间久的，而且商家推进活动比较稳，每个月都有部分活动。目前有提供机房可选斯波坎、拉斯维加斯和迈阿密。从机房的地理位置和实际的速度，中文业务速度应该不是优化直连的，但是有需要海外业务的话一般有人选择。以前一直也持有他们家的年付12美元的机器，后来用不到就取消未续约。第一、开...

vdsina：俄罗斯VPS(datapro)，6卢布/天，1G内存/1核(AMD EPYC 7742)/5gNVMe/10T流量

今天获得消息，vdsina上了AMD EPYC系列的VDS，性价比比较高，站长弄了一个，盲猜CPU是AMD EPYC 7B12（经过咨询，详细CPU型号是“EPYC 7742”）。vdsina，俄罗斯公司，2014年开始运作至今，在售卖多类型VPS和独立服务器，可供选择的有俄罗斯莫斯科datapro和荷兰Serverius数据中心。付款比较麻烦：信用卡、webmoney、比特币，不支持PayPal...