不要将大型RDD中所有元素发送到Driver端

内存溢出  时间:2021-01-16  阅读:()

如果你的Driver内存容量不能容纳一个大型RDD里面的所有数据,那么不要做以下操作:valvalues=iteblogVeryLargeRDD.
collect()Collect操作会试图将RDD里面的每一条数据复制到Driver上,如果你Driver端的内存无法装下这些数据,这时候会发生内存溢出和崩溃.
相反,你可以调用take或者takeSample来限制数据大小的上限.
或者对你RDD中的数据使用过滤或抽样操作.

酷锐云香港(19元/月) ,美国1核2G 19元/月,日本独立物理机,

酷锐云是一家2019年开业的国人主机商家,商家为企业运营,主要销售主VPS服务器,提供挂机宝和云服务器,机房有美国CERA、中国香港安畅和电信,CERA为CN2 GIA线路,提供单机10G+天机盾防御,提供美国原生IP,支持媒体流解锁,商家的套餐价格非常美丽,CERA机房月付20元起,香港安畅机房10M带宽月付25元,有需要的朋友可以入手试试。酷锐云自开业以来一直有着良好的产品稳定性及服务态度,支...

vpsdime7美元/月,美国达拉斯Windows VPS,2核4G/50GB SSD/2TB流量/Hyper-V虚拟化

vpsdime怎么样?vpsdime是2013年成立的国外VPS主机商,以大内存闻名业界,主营基于OpenVZ和KVM虚拟化的Linux套餐,大内存、10Gbps大带宽、大硬盘,有美国西雅图、达拉斯、新泽西、英国、荷兰机房可选。在上个月搞了一款达拉斯Linux系统VPS促销,详情查看:vpsdime夏日促销活动,美国达拉斯vps,2G内存/2核/20gSSD/1T流量,$20/年,此次推出一款Wi...

UCloud新人优惠中国香港/日本/美国云服务器低至4元

UCloud优刻得商家这几年应该已经被我们不少的个人站长用户认知,且确实在当下阿里云、腾讯云服务商不断的只促销服务于新用户活动,给我们很多老用户折扣的空间不多。于是,我们可以通过拓展选择其他同类服务商享受新人的福利,这里其中之一就选择UCloud商家。UCloud服务商2020年创业板上市的,实际上很早就有认识到,那时候价格高的离谱,谁让他们只服务有钱的企业用户呢。这里希望融入到我们大众消费者,你...

内存溢出为你推荐
网络域名注册怎么才能申请一个网站?申请到域名以后需要怎么做?国际域名注册现在注册一个WWW的国际域名要多少钱?是什么步骤?linux虚拟主机linux下最好的虚拟机是什么呢 VMware 还是virtualboxasp主机请问虚似主机和Asp服务器软件都是一个意思吗免费网站空间申请申请免费空间的网站什么是虚拟主机虚拟主机是什么?虚拟主机评测网怎么选一台好的虚拟主机大连虚拟主机找个大连企业建站公司,大家给推荐一下吧。东莞虚拟主机哪里的虚拟主机便宜 性价比高?虚拟主机99idc网站后台织梦系统重装、空间转移、及上传技巧有哪些?
域名服务器 php空间租用 securitycenter 国外主机 堪萨斯服务器 yardvps 美国翻墙 gitcafe 免费名片模板 panel1 云全民 东莞数据中心 免费高速空间 网通服务器 群英网络 免费个人网页 腾讯数据库 睿云 netvigator 中国电信宽带测速 更多