不要将大型RDD中所有元素发送到Driver端

内存溢出时间:2021-01-16 阅读:()

如果你的Driver内存容量不能容纳一个大型RDD里面的所有数据,那么不要做以下操作:valvalues=iteblogVeryLargeRDD.
collect()Collect操作会试图将RDD里面的每一条数据复制到Driver上,如果你Driver端的内存无法装下这些数据,这时候会发生内存溢出和崩溃.
相反,你可以调用take或者takeSample来限制数据大小的上限.
或者对你RDD中的数据使用过滤或抽样操作.

展开全文

不要将大型RDD中所有元素发送到Driver端相关文档

实验项目技术报告-减速电机测控系统设计

《移动程序设计-Android》课程标准

数据内存溢出

大连市西岗区人民法院安全管理系统升级建设项目

IMS固定接入网安全问题分析

磁共振内存溢出

IMIDC(rainbow cloud)：香港/台湾/日本/莫斯科独立服务器特价,闪购大促销,最低30usd/月起

imidc怎么样?imidc彩虹网路，rainbow cloud知名服务器提供商。自营多地区数据中心，是 Apnic RIPE Afrinic Arin 认证服务商。拥有丰富的网路资源。在2021年 6.18 开启了输血大促销，促销区域包括香港台湾日本莫斯科等地促销机型为 E3係，参与促销地区有香港日本台湾莫斯科等地，限量50台,售罄为止,先到先得。所有服务器配置 CPU ...

LOCVPS-2021年6月香港便宜vps宽带升级，充值就送代金券，其它八折优惠！

LOCVPS怎么样？LOCVPS是一家成立于2011年的稳定老牌国人商家，目前提供中国香港、韩国、美国、日本、新加坡、德国、荷兰等区域VPS服务器，所有机房Ping延迟低，国内速度优秀，非常适合建站和远程办公，所有机房Ping延迟低，国内速度优秀，非常适合做站。XEN架构产品的特点是小带宽无限流量、不超售！KVM架构是目前比较流行的虚拟化技术，大带宽，生态发展比较全面！所有大家可以根据自己业务需求...

Gcore(75折)迈阿密E5-2623v4 CPU独立服务器

部落分享过多次G-core(gcorelabs)的产品及评测信息，以VPS主机为主，距离上一次分享商家的独立服务器还在2年多前，本月初商家针对迈阿密机房限定E5-2623v4 CPU的独立服务器推出75折优惠码，活动将在9月30日到期，这里再分享下。G-core(gcorelabs)是一家总部位于卢森堡的国外主机商，主要提供基于KVM架构的VPS主机和独立服务器租用等，数据中心包括俄罗斯、美国、日...