不要将大型RDD中所有元素发送到Driver端

内存溢出时间:2021-01-16 阅读:()

如果你的Driver内存容量不能容纳一个大型RDD里面的所有数据,那么不要做以下操作:valvalues=iteblogVeryLargeRDD.
collect()Collect操作会试图将RDD里面的每一条数据复制到Driver上,如果你Driver端的内存无法装下这些数据,这时候会发生内存溢出和崩溃.
相反,你可以调用take或者takeSample来限制数据大小的上限.
或者对你RDD中的数据使用过滤或抽样操作.

展开全文

不要将大型RDD中所有元素发送到Driver端相关文档

实验项目技术报告-减速电机测控系统设计

《移动程序设计-Android》课程标准

数据内存溢出

大连市西岗区人民法院安全管理系统升级建设项目

IMS固定接入网安全问题分析

磁共振内存溢出

简单测评v5.net的美国cn2云服务器：电信双程cn2+联通AS9929+移动直连

v5.net一直做独立服务器这块儿的，自从推出云服务器(VPS)以来站长一直还没有关注过，在网友的提醒下弄了个6G内存、2核、100G SSD的美国云服务器来写测评，主机测评给大家趟雷，让你知道v5.net的美国云服务器效果怎么样。本次测评数据仅供参考，有兴趣的还是亲自测试吧！官方网站：https://v5.net/cloud.html 从显示来看CPU是e5-2660(2.2GHz主频)，...

腾讯云轻量服务器两款低价年付套餐 2核4GB内存8M带宽年74元

昨天，有在"阿里云秋季促销活动轻量云服务器2G5M配置新购年60元"文章中记录到阿里云轻量服务器2GB内存、5M带宽一年60元的活动，当然这个也是国内机房的。我们很多人都清楚备案是需要接入的，如果我们在其他服务商的域名备案的，那是不能解析的。除非我们不是用来建站，而是用来云端的，是可以用的。这不看到其对手腾讯云也有推出两款轻量服务器活动。其中一款是4GB内存、8M带宽，这个比阿里云还要狠。这个真...

DogYun香港BGP月付14.4元主机简单测试

前些天赵容分享过DogYun(狗云)香港BGP线路AMD 5950X经典低价云服务器的信息(点击查看)，刚好账户还有点余额够开个最低配，所以手贱尝试下，这些贴上简单测试信息，方便大家参考。官方网站：www.dogyun.com主机配置我搞的是最低款优惠后14.4元/月的，配置单核，512MB内存，10GB硬盘，300GB/50Mbps月流量。基本信息DogYun的VPS主机管理集成在会员中心，包括...

不要将大型RDD中所有元素发送到Driver端

简单测评v5.net的美国cn2云服务器：电信双程cn2+联通AS9929+移动直连

腾讯云轻量服务器两款低价年付套餐 2核4GB内存8M带宽 年74元

DogYun香港BGP月付14.4元主机简单测试

腾讯云轻量服务器两款低价年付套餐 2核4GB内存8M带宽年74元