不要将大型RDD中所有元素发送到Driver端

内存溢出时间:2021-01-16 阅读:()

如果你的Driver内存容量不能容纳一个大型RDD里面的所有数据,那么不要做以下操作:valvalues=iteblogVeryLargeRDD.
collect()Collect操作会试图将RDD里面的每一条数据复制到Driver上,如果你Driver端的内存无法装下这些数据,这时候会发生内存溢出和崩溃.
相反,你可以调用take或者takeSample来限制数据大小的上限.
或者对你RDD中的数据使用过滤或抽样操作.

展开全文

不要将大型RDD中所有元素发送到Driver端相关文档

实验项目技术报告-减速电机测控系统设计

《移动程序设计-Android》课程标准

数据内存溢出

大连市西岗区人民法院安全管理系统升级建设项目

IMS固定接入网安全问题分析

磁共振内存溢出

青云互联：香港安畅CN2弹性云限时首月五折,15元/月起,可选Windows/可自定义配置

青云互联怎么样?青云互联是一家成立于2020年的主机服务商，致力于为用户提供高性价比稳定快速的主机托管服务，目前提供有美国免费主机、香港主机、韩国服务器、香港服务器、美国云服务器，香港安畅cn2弹性云限时首月五折，15元/月起；可选Windows/可自定义配置，让您的网站高速、稳定运行。点击进入：青云互联官方网站地址青云互联优惠码：八折优惠码：ltY8sHMh (续费同价)青云互联香港云服务器活动...

Sharktech：美国/荷兰独立服务器,10Gbps端口/不限流量/免费DDoS防护60G,319美元/月起

sharktech怎么样?sharktech (鲨鱼机房)是一家成立于 2003 年的知名美国老牌主机商，又称鲨鱼机房或者SK 机房，一直主打高防系列产品，提供独立服务器租用业务和 VPS 主机，自营机房在美国洛杉矶、丹佛、芝加哥和荷兰阿姆斯特丹，所有产品均提供 DDoS 防护。此文只整理他们家10Gbps专用服务器，此外该系列所有服务器都受到高达 60Gbps(可升级到 100Gbps)的保护。...

半月湾hmbcloud升级500Mbps带宽,原生VPS，$4.99/月

关于半月湾HMBCloud商家之前也有几篇那文章介绍过这个商家的产品，对于他们家的其他产品我都没有多加留意，而是对他们家的DC5机房很多人还是比较喜欢的，这个比我们有些比较熟悉的某商家DC6 DC9机房限时，而且半月湾HMBCloud商家是相对便宜的。关于半月湾DC5机房的方案选择和介绍：1、半月湾三网洛杉矶DC5 CN2 GIA同款DC6 DC9 1G内存 1TB流量月$4.992、亲测选择半...