不要将大型RDD中所有元素发送到Driver端

内存溢出时间:2021-01-16 阅读:()

如果你的Driver内存容量不能容纳一个大型RDD里面的所有数据,那么不要做以下操作:valvalues=iteblogVeryLargeRDD.
collect()Collect操作会试图将RDD里面的每一条数据复制到Driver上,如果你Driver端的内存无法装下这些数据,这时候会发生内存溢出和崩溃.
相反,你可以调用take或者takeSample来限制数据大小的上限.
或者对你RDD中的数据使用过滤或抽样操作.

展开全文

不要将大型RDD中所有元素发送到Driver端相关文档

实验项目技术报告-减速电机测控系统设计

《移动程序设计-Android》课程标准

数据内存溢出

大连市西岗区人民法院安全管理系统升级建设项目

IMS固定接入网安全问题分析

磁共振内存溢出

PQ.hosting：香港HE/乌克兰/俄罗斯/荷兰/摩尔多瓦/德国/斯洛伐克/捷克vps,2核/2GB内存/30GB NVMe空间,€3/月

PQ.hosting怎么样?PQ.hosting是一家俄罗斯商家，正规公司，主要提供KVM VPS和独立服务器，VPS数据中心有香港HE、俄罗斯莫斯科DataPro、乌克兰VOLIA、拉脱维亚、荷兰Serverius、摩尔多瓦Alexhost、德国等。部分配置有变化，同时开通Paypal付款。香港、乌克兰、德国、斯洛伐克、捷克等为NVMe硬盘。香港为HE线路，三网绕美(不太建议香港)。免费支持wi...

spinservers：圣何塞物理机7.5折，$111/月，2*e5-2630Lv3/64G内存/2T SSD/10Gbps带宽

spinservers美国圣何塞机房的独立服务器补货120台，默认接入10Gbps带宽，给你超高配置，这价格目前来看好像真的是无敌手，而且可以做到下单后30分钟内交货，都是预先部署好了的。每一台机器用户都可以在后台自行安装、重装、重启、关机操作，无需人工参与！官方网站：https://www.spinservers.com 比特币、信用卡、PayPal、支付宝、webmoney、Payssi...

Dataideas：$1.5/月KVM-1GB/10G SSD/无限流量/休斯顿(德州)_主机域名

Dataideas是一家2019年成立的国外VPS主机商，提供基于KVM架构的VPS主机，数据中心在美国得克萨斯州休斯敦，主机分为三个系列：AMD Ryzen系列、Intel Xeon系列、大硬盘系列，同时每个系列又分为共享CPU和独立CPU系列，最低每月1.5美元起。不过需要注意，这家没有主页，你直接访问根域名是空白页的，还好他们的所有套餐支持月付，相对风险较低。下面以Intel Xeon系列共...