不要将大型RDD中所有元素发送到Driver端

内存溢出时间:2021-01-16 阅读:()

如果你的Driver内存容量不能容纳一个大型RDD里面的所有数据,那么不要做以下操作:valvalues=iteblogVeryLargeRDD.
collect()Collect操作会试图将RDD里面的每一条数据复制到Driver上,如果你Driver端的内存无法装下这些数据,这时候会发生内存溢出和崩溃.
相反,你可以调用take或者takeSample来限制数据大小的上限.
或者对你RDD中的数据使用过滤或抽样操作.

展开全文

不要将大型RDD中所有元素发送到Driver端相关文档

实验项目技术报告-减速电机测控系统设计

《移动程序设计-Android》课程标准

数据内存溢出

大连市西岗区人民法院安全管理系统升级建设项目

IMS固定接入网安全问题分析

磁共振内存溢出

Hostodo，美国独立日特价优惠，四款特价VPS云服务器7折，KVM虚拟架构，NVMe阵列，1核512M内存1Gbps带宽3T月流量，13.99美元/月，赠送DirectAdmin授权

Hostodo近日发布了美国独立日优惠促销活动，主要推送了四款特价优惠便宜的VPS云服务器产品，基于KVM虚拟架构，NVMe阵列，1Gbps带宽，默认分配一个IPv4+/64 IPv6，采用solusvm管理，赠送收费版DirectAdmin授权，服务有效期内均有效，大致约为7折优惠，独立日活动时间不定，活动机型售罄为止，有需要的朋友可以尝试一下。Hostodo怎么样？Hostodo服务器好不好？...

可抵御99%的攻击中国单域版cdn：9元/月7T防御 cloudsecre

官方网站：点击访问CDN客服QQ:123008公司名：贵州青辞赋文化传媒有限公司域名和IP被墙封了怎么办？用cloudsecre.com网站被攻击了怎么办？用cloudsecre.com问：黑客为什么要找网站来攻击？答：黑客需要找肉鸡。问：什么是肉鸡？答：被控的服务器和电脑主机就是肉鸡。问：肉鸡有什么作用？答：肉鸡的作用非常多，可以用来干违法的事情，通常的行为有：VPN拨号，流量P2P，攻击傀儡，...

RAKsmart：美国洛杉矶独服,E3处理器/16G/1TB,$76.77/月;美国/香港/日本/韩国站群服务器,自带5+253个IPv4

RAKsmart怎么样？RAKsmart机房即日起开始针对洛杉矶机房的独立服务器进行特别促销活动：低至$76.77/月，最低100Mbps带宽，最高10Gbps带宽，优化线路，不限制流量，具体包括有：常规服务器、站群服务器、10G大带宽服务器、整机机柜托管。活动截止6月30日结束。RAKsmart，美国华人老牌机房，专注于圣何塞服务器，有VPS、独立服务器等。支持PayPal、支付宝付款。点击直达...