不要将大型RDD中所有元素发送到Driver端

内存溢出时间:2021-01-16 阅读:()

如果你的Driver内存容量不能容纳一个大型RDD里面的所有数据,那么不要做以下操作:valvalues=iteblogVeryLargeRDD.
collect()Collect操作会试图将RDD里面的每一条数据复制到Driver上,如果你Driver端的内存无法装下这些数据,这时候会发生内存溢出和崩溃.
相反,你可以调用take或者takeSample来限制数据大小的上限.
或者对你RDD中的数据使用过滤或抽样操作.

展开全文

不要将大型RDD中所有元素发送到Driver端相关文档

实验项目技术报告-减速电机测控系统设计

《移动程序设计-Android》课程标准

数据内存溢出

大连市西岗区人民法院安全管理系统升级建设项目

IMS固定接入网安全问题分析

磁共振内存溢出

RAKsmart：美国洛杉矶独服,E3处理器/16G/1TB,$76.77/月;美国/香港/日本/韩国站群服务器,自带5+253个IPv4

RAKsmart怎么样？RAKsmart机房即日起开始针对洛杉矶机房的独立服务器进行特别促销活动：低至$76.77/月，最低100Mbps带宽，最高10Gbps带宽，优化线路，不限制流量，具体包括有：常规服务器、站群服务器、10G大带宽服务器、整机机柜托管。活动截止6月30日结束。RAKsmart，美国华人老牌机房，专注于圣何塞服务器，有VPS、独立服务器等。支持PayPal、支付宝付款。点击直达...

半月湾($59.99/年),升级带宽至200M起步三网CN2 GIA线路

在前面的文章中就有介绍到半月湾Half Moon Bay Cloud服务商有提供洛杉矶DC5数据中心云服务器，这个堪比我们可能熟悉的某服务商，如果我们有用过的话会发现这个服务商的价格比较贵，而且一直缺货。这里，于是半月湾服务商看到机会来了，于是有新增同机房的CN2 GIA优化线路。在之前的文章中介绍到Half Moon Bay Cloud DC5机房且进行过测评。这次的变化是从原来基础的年付49....

宝塔面板批量设置站点404页面

今天遇到一个网友，他在一个服务器中搭建有十几个网站，但是他之前都是采集站点数据很大，但是现在他删除数据之后希望设置可能有索引的文章给予404跳转页面。虽然他程序有默认的404页面，但是达不到他引流的目的，他希望设置统一的404页面。实际上设置还是很简单的，我们找到他是Nginx还是Apache，直接在引擎配置文件中设置即可。这里有看到他采用的是宝塔面板，直接在他的Nginx中设置。这里我们找到当前...

不要将大型RDD中所有元素发送到Driver端

RAKsmart：美国洛杉矶独服,E3处理器/16G/1TB,$76.77/月;美国/香港/日本/韩国站群服务器,自带5+253个IPv4

半月湾($59.99/年),升级带宽至200M起步 三网CN2 GIA线路

宝塔面板批量设置站点404页面

半月湾($59.99/年),升级带宽至200M起步三网CN2 GIA线路