rhadoophadoop和spss,sas,r有什么区别和联系

如何使用Hadoop的Partitioner

Partitioner partitions the key space. 　　Partitioner controls the partitioning of the keys of the intermediate map-outputs. The key (or a subset of the key) is used to derive the partition, typically by a hash function. The total number of partitions is the same as the number of reduce tasks for the job. Hence this controls which of the m reduce tasks the intermediate key (and hence the record) is sent to for reduction. 　　HashPartitioner is the default Partitioner. 　　大概意思就是：Partitioner控制着map任务的输出的key的分区，也就是会根据Partitioner对key进行分区，以方便传输给不同的reduce节点处理，分区的总数等于reduce的任务个数。

默认的Partitioner是HashPartitioner。

　　引用自 /docs/r2.7.2/hadoop-mapreduce-client/hadoop-mapreduce-client-core/MapReduceTutorial.html#Partitioner 　　2. 如何使用？ 　　...... 　　Configuration conf = getConf(); 　　//Create Job Job job = new Job(conf, "hello"); ...... //set partitioner statement job.setPartitionerClass(HashPartitioner.class);

如何实现r与hadoop联合作业的三种方法

用R语言，通过分析少量数据，对业务目标建回归建模，并定义指标d2:用Hadoop从海量日志数据中，提取指标数据d3:用R语言模型，对指标数据进行测试和调优d4:用Hadoop分步式算法，重写R语言的模型，部署上线这个场景中，R和Hadoop分别都起着非常重要...

搭建一个hadoop2.x需要准备哪些软件

工具/原料 linux系统（本篇使用的是CentOS v6.5） Hadoop安装包（本篇使用的是hadoop v2.6.0） 环境要求 1 需要安装JDK6.0以上版本（可自行解压安装或使用自带的软件安装包，如yum） 2 需要无密码登录的SSH环境（安装ssh及sshd，具体配置步骤在后面介绍） END 安装/配置 步骤 1 配置hosts文件，将主机名和对应IP地址映射。

如图中Master、Slave1和Slave2是我们要搭建分布式环境的机器。

Master为主机，Slavex为从机。

2 配置SSH的无密码登录：可新建专用用户hadoop进行操作，cd命令进入所属目录下，输入以下指令（已安装ssh） ssh-keygen -t rsa -P "" cat .ssh/id_rsa.pub >>.ssh/authorized_keys 解释一下，第一条生成ssh密码的命令，-t 参数表示生成算法，有rsa和dsa两种；-P表示使用的密码，这里使用“”空字符串表示无密码。

第二条命令将生成的密钥写入authorized_keys文件。

这时输入 ssh localhost，弹出写入提示后回车，便可无密码登录本机。

同理，将authorized_keys文件 通过 scp命令拷贝到其它主机相同目录下，则可无密码登录其它机器。

3 安装hadoop：安装方式很简单，下载安装包到所属目录下，使用 tar -zxvf 安装包名 进行解压，解压完毕可通过mv 命令重命名文件夹，安装至此完成。

解压后的目录内容如图所示。

4 hadoop配置过程：要实现分布式环境，配置过程是最为重要的， 这里要涉及到的配置文件有7个： ~/hadoop/etc/hadoop/hadoop-env.sh ~/hadoop/etc/hadoop/yarn-env.sh ~/hadoop/etc/hadoop/slaves ~/hadoop/etc/hadoop/core-site.xml ~/hadoop/etc/hadoop/hdfs-site.xml ~/hadoop/etc/hadoop/mapred-site.xml ~/hadoop/etc/hadoop/yarn-site.xml 之后会分别介绍各个配置的的作用和配置关键 5 配置文件1：hadoop-env.sh 该文件是hadoop运行基本环境的配置，需要修改的为java虚拟机的位置。

故在该文件中修改JAVA_HOME值为本机安装位置（如，export JAVA_HOME=/usr/lib/jvm/java-1.7.0） 6 配置文件2：yarn-env.sh 该文件是yarn框架运行环境的配置，同样需要修改java虚拟机的位置。

在该文件中修改JAVA_HOME值为本机安装位置（如，export JAVA_HOME=/usr/lib/jvm/java-1.7.0） 7 配置文件3：slaves 该文件里面保存所有slave节点的信息，以本篇为例 写入以下内容（hosts里从机的主机名）： Slave1 Slave2 8 配置文件4：core-site.xml <configuration> <property> <name>hadoop.tmp.dir</name> <value>/data/hadoop-${user.name}</value> </property> <property> <name>fs.default.name</name> <value>hdfs://Master:9000</value> </property> </configuration> 这个是hadoop的核心配置文件，这里需要配置的就这两个属性，fs.default.name配置了hadoop的HDFS系统的命名，位置为主机的9000端口；hadoop.tmp.dir配置了hadoop的tmp目录的根位置。

这里使用了一个文件系统中没有的位置，所以要先用mkdir命令新建一下。

9 配置文件5：hdfs-site.xml <configuration> <property> <name>dfs.http.address</name> <value>Master:50070</value> </property> <property> <name>dfs.namenode.secondary.http-address</name><value>Master:50090</value> </property> <property> <name>dfs.replication</name> <value>1</value> </property> </configuration> 这个是hdfs的配置文件，dfs.http.address配置了hdfs的http的访问位置；dfs.replication配置了文件块的副本数，一般不大于从机的个数。

10 配置文件6：mapred-site.xml <configuration> <property> <name>mapred.job.tracker</name> <value>Master:9001</value> </property> <property> <name>mapred.map.tasks</name> <value>20</value> </property> <property> <name>mapred.reduce.tasks</name> <value>4</value> </property> <property> <name>mapreduce.framework.name</name> <value>yarn</value> </property> <property> <name>mapreduce.jobhistory.address</name><value>Master:10020</value> </property> <property><name>mapreduce.jobhistory.webapp.address</name><value>Master:19888</value> </property> </configuration> 这个是mapreduce任务的配置，由于hadoop2.x使用了yarn框架，所以要实现分布式部署，必须在mapreduce.framework.name属性下配置为yarn。

mapred.map.tasks和mapred.reduce.tasks分别为map和reduce的任务数，至于什么是map和reduce，可参考其它资料进行了解。

其它属性为一些进程的端口配置，均配在主机下。

11 配置文件7：yarn-site.xml <configuration> <property> <name>yarn.resourcemanager.address</name> <value>Master:8032</value> </property> <property> <name>yarn.resourcemanager.scheduler.address</name> <value>Master:8030</value> </property> <property> <name>yarn.resourcemanager.webapp.address</name> <value>Master:8088</value> </property> <property> <name>yarn.resourcemanager.resource-tracker.address</name><value>Master:8031</value> </property> <property> <name>yarn.resourcemanager.admin.address</name><value>Master:8033</value> </property> <property> <name>yarn.nodemanager.aux-services</name><value>mapreduce_shuffle</value> </property> <property> <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name><value&.apache.hadoop.mapred.ShuffleHandler</value></property> </configuration> 该文件为yarn框架的配置,主要是一些任务的启动位置 12 将配置好的hadoop复制到其他节点 scp –r ~/hadoop hadoop@Slave1:~/ scp –r ~/hadoop hadoop@Slave2:~/ END 启动验证 格式化namenode： ./bin/hdfs namenode -format 若出现如图所示提示，则格式化成功 启动hdfs: ./sbin/start-dfs.sh 此时在Master上面运行的进程有：namenode secondarynamenode Slave1和Slave2上面运行的进程有：datanode 启动yarn: ./sbin/start-yarn.sh 此时在Master上面运行的进程有：namenode secondarynamenode resourcemanager Slave1和Slave2上面运行的进程有：datanode nodemanager 3 检查启动结果 查看集群状态：./bin/hdfs dfsadmin –report 查看文件块组成： ./bin/hdfsfsck / -files -blocks 查看HDFS: http://192.168.101.248:50070（主机IP） 查看RM: http:// 192.168.101.248:8088（主机IP） 正确情况如图显示

hadoop和spss,sas,r有什么区别和联系

Hadoop是在分布式服务器集群上存储海量数据并运行分布式分析应用的一种方法。

可以在廉价的机器上实现以往用大型MPP架构才能完成的大规模数据计算。

同时可以进行数据挖掘和统计分析。

　　SPSS、SAS、R这三类工具传统来说都是在关系数据库上进行数据统计分析的，现在可以基于hadoop平台用这些工具进行数据统计分析，结合hadoop强大的横向扩展和并行计算能力，来发挥数据分析工具的能力。

　　因为R语言是开源的，所以互联网企业很多在用，还有一些通迅行业的咨询公司，不过上手还是需要长期的学习; 　　SPSS界面友好型，不过一般是市场研究用的比较多，如果你会用SPSS编程，其实功能还是比较强大的; 　　SAS一般是金融企业，特别是银行业和医学统计，银行业人员有一些是用SAS做统计，一般是银行业内部人做的，另一种是给银行业做数据挖掘的公司,不过正版一年也要上百万。

　　所以，想在传统或者咨询公司做的，SPSS比较合适，想去金融，特别是银行业，SAS不错，想进互联网公司，学R语言可能是比较明智的。