不要将大型RDD中所有元素发送到Driver端

内存溢出时间:2021-01-16 阅读:()

如果你的Driver内存容量不能容纳一个大型RDD里面的所有数据,那么不要做以下操作:valvalues=iteblogVeryLargeRDD.
collect()Collect操作会试图将RDD里面的每一条数据复制到Driver上,如果你Driver端的内存无法装下这些数据,这时候会发生内存溢出和崩溃.
相反,你可以调用take或者takeSample来限制数据大小的上限.
或者对你RDD中的数据使用过滤或抽样操作.

展开全文

不要将大型RDD中所有元素发送到Driver端相关文档

实验项目技术报告-减速电机测控系统设计

《移动程序设计-Android》课程标准

数据内存溢出

大连市西岗区人民法院安全管理系统升级建设项目

IMS固定接入网安全问题分析

磁共振内存溢出

2021年恒创科技618活动：香港/美国服务器/云服务器/高防全场3折抢购

2021年恒创科技618活动香港美国服务器/云服务器/高防全场3折抢购，老客户续费送时长，每日限量秒杀。云服务器每款限量抢购，香港美国独服/高防每款限量5台/天，香港节点是CN2线路还不错。福利一：爆品秒杀超低价秒杀，秒完即止；福利二：云服务器火爆机型 3折疯抢；福利三：物理服务器爆款直降 800元/月起；福利四：DDOS防护超强防御仅 1750元/月。点击进入：2021年恒创科技618活...

HostNamaste$24 /年，美国独立日VPS优惠/1核1G/30GB/1Gbps不限流量/可选达拉斯和纽约机房/免费Windows系统/

HostNamaste是一家成立于2016年3月的印度IDC商家，目前有美国洛杉矶、达拉斯、杰克逊维尔、法国鲁贝、俄罗斯莫斯科、印度孟买、加拿大魁北克机房。其中洛杉矶是Quadranet也就是我们常说的QN机房（也有CC机房，可发工单让客服改机房）；达拉斯是ColoCrossing也就是我们常说的CC机房；杰克逊维尔和法国鲁贝是OVH的高防机房。采用主流的OpenVZ和KVM架构，支持ipv6，免...

美国服务器20G防御 50G防御 688元CN2回国

全球领先的IDC服务商华纳云“美国服务器”正式发售啦~~~~此次上线的美国服务器包含美国云服务器、美国服务器、美国高防服务器以及美国高防云服务器。针对此次美国服务器新品上线，华纳云也推出了史无前例的超低活动力度。美国云服务器低至3折，1核1G5M低至24元/月，20G DDos防御的美国服务器低至688元/月，年付再送2个月，两年送4个月，三年送6个月，且永久续费同价，更多款高性价比配置供您选择。...