不要将大型RDD中所有元素发送到Driver端

内存溢出时间:2021-01-16 阅读:()

如果你的Driver内存容量不能容纳一个大型RDD里面的所有数据,那么不要做以下操作:valvalues=iteblogVeryLargeRDD.
collect()Collect操作会试图将RDD里面的每一条数据复制到Driver上,如果你Driver端的内存无法装下这些数据,这时候会发生内存溢出和崩溃.
相反,你可以调用take或者takeSample来限制数据大小的上限.
或者对你RDD中的数据使用过滤或抽样操作.

展开全文

不要将大型RDD中所有元素发送到Driver端相关文档

实验项目技术报告-减速电机测控系统设计

《移动程序设计-Android》课程标准

数据内存溢出

大连市西岗区人民法院安全管理系统升级建设项目

IMS固定接入网安全问题分析

磁共振内存溢出

韩国服务器租用优惠点评大全

韩国服务器怎么样?韩国云服务器租用推荐?韩国服务器距离中国近，有天然的地域优势，韩国服务器速度快而且非常稳定!有不少有亚洲市场的外贸公司选择韩国服务器开拓业务，韩国服务器因自身的优势也受到不少用户的青睐。目前的IDC市场上，韩国、香港、美国三个地方的服务器几乎占据了海外服务器的百分之九十以上。韩国服务器相比美国服务器来说速度更快，而相比香港机房来说则带宽更充足，占用市场份额非常大。那么，韩国服务器...

819云互联(800元/月),香港BGP E5 2650 16G,日本 E5 2650 16G

819云互联在本月发布了一个购买香港，日本独立服务器的活动，相对之前的首月活动性价比更高，最多只能享受1个月的活动续费价格恢复原价是有些颇高这次819云互联与机房是合作伙伴本次拿到机房活动7天内购买独立服务器后期的长期续费价格加大力度确实来说这次的就可以买年付或者更长时间了…本次是5个机房可供选择，独立服务器最低默认是50M带宽，不限制流量，。官网：https://ww...

旅途云（￥48 / 月），雅安高防4核4G、洛阳BGP 2核2G

公司成立于2007年，是国内领先的互联网业务平台服务提供商。公司专注为用户提供低价高性能云计算产品，致力于云计算应用的易用性开发，并引导云计算在国内普及。目前，旅途云公司研发以及运营云服务基础设施服务平台（IaaS），面向全球客户提供基于云计算的IT解决方案与客户服务，拥有丰富的国内BGP、双线高防、香港等优质的IDC资源。点击进入：旅途云官方网商家LOGO优惠方案：CPU内存硬盘带宽/流量/防御...