不要将大型RDD中所有元素发送到Driver端

内存溢出时间:2021-01-16 阅读:()

如果你的Driver内存容量不能容纳一个大型RDD里面的所有数据,那么不要做以下操作:valvalues=iteblogVeryLargeRDD.
collect()Collect操作会试图将RDD里面的每一条数据复制到Driver上,如果你Driver端的内存无法装下这些数据,这时候会发生内存溢出和崩溃.
相反,你可以调用take或者takeSample来限制数据大小的上限.
或者对你RDD中的数据使用过滤或抽样操作.

展开全文

不要将大型RDD中所有元素发送到Driver端相关文档

实验项目技术报告-减速电机测控系统设计

《移动程序设计-Android》课程标准

数据内存溢出

大连市西岗区人民法院安全管理系统升级建设项目

IMS固定接入网安全问题分析

磁共振内存溢出

7月RAKsmart独立服务器和站群服务器多款促销 G口不限量更低

如果我们熟悉RAKsmart商家促销活动的应该是清楚的，每个月的活动看似基本上一致。但是有一些新品或者每个月还是有一些各自的特点的。比如七月份爆款I3-2120仅30美金、V4新品上市，活动期间5折、洛杉矶+硅谷+香港+日本站群恢复销售、G口不限流量服务器比六月份折扣力度更低。RAKsmart 商家这个月依旧还是以独立服务器和站群服务器为主。当然也包括有部分的低至1.99美元的VPS主机。第一、I...

香港2GB内存DIYVM2核（￥50月）香港沙田CN2云服务器

DiyVM 香港沙田机房，也是采用的CN2优化线路，目前也有入手且在使用中，我个人感觉如果中文业务需要用到的话虽然日本机房也是CN2，但是线路的稳定性不如香港机房，所以我们在这篇文章中亲测看看香港机房，然后对比之前看到的日本机房。香港机房的配置信息。CPU内存硬盘带宽IP价格购买地址2核2G50G2M1￥50/月选择方案4核4G60G3M1￥100/月选择方案4核8G70G3M4￥200/月选择...

10gbiz七月活动首月半价$2.36/月: 香港/洛杉矶CN2 GIA VPS

10gbiz怎么样?10gbiz 美国万兆带宽供应商，主打美国直连大带宽，真实硬防。除美国外还提供线路非常优质的香港、日本等数据中心可供选择，全部机房均支持增加独立硬防。洛杉矶特色线路去程三网直连(电信、联通、移动)回程CN2 GIA优化，全天低延迟。中国大陆访问质量优秀，最多可增加至600G硬防。香港七星级网络，去程回程均为电信CN2 GIA+联通+移动，大陆访问相较其他香港GIA线路平均速度更...