基于Windows7环境下Eclipse调试MapReduce

　　基于Windows7环境下Eclipse调试MapReduce

　　MapReduce已经成为受欢迎的互联网技术，对于实现基于Windows7环境下Eclipse调试MapReduce是有一定意义的。下面小编就以香港vps为例为大家讲解一下。

　　MapReduce是一种编程模型，进行大规模数据集的并行运算;在MapReduce当中，概念"Map是映射"和"Reduce是规约";对于这个MapReduce的理解，通过软件是可以指定一个Map函数，用来把一组键值对映射成一组新的键值对，指定并发的Reduce函数，来保证所有映射的键值对中的每一个共享相同的键组。MapReduce在分布grep与排序、web连接图反转及访问日志分析，机器学习等等有着很广泛的应用。

　　MapReduce在现在互联网+时代、互联网+公司如此受欢迎，是因为如下主要功能与特点。MapReduce主要功能有哪些：(1)数据划分和计算任务调度，(2)数据/代码互定位，(3)系统优化，(4)出错检测和恢复。MapReduce主要功能有哪些：(1)MapReduce易于编程，(2)良好的扩展性，(3)高容错性，(4)适合PB级以上海量数据的离线处理，(5)实时计算，(6)流式计算，(7)DAG(有向图)计算。

　　MapReduce是和Hadoop分布式文件系统(HDFS)一样，采用Master/Slave的架构，在MapReduce架构当中包含四个组成部分，分别为Client、JobTracker、TaskTracker以及Task。具体情况不进行描述了。

　　现在介绍一下如何在Windows7下Eclipse调试CentosHadoop2.2-MapReduce。

　　1.搭建开发环境，需要搭建一套Centos5.3+Hadoop2.2+Hbase0.96.1.1的开发环境;

　　2.Hadoop安装，先进行Hadoop下载，然后进行HadoopHsfs的安装，并进行MapReduce的配置;

　　3.Hadoop2.xeclipse-plugin，将Hadoopinstallationdirectory里填写Win下的hadoophome地址，其目的在于创建MapReduceProject能从这个地方自动引入MapReduce需要的jar;

　　4.创建一个MapReduceProject，运行时发现一些问题，比如"HADOOP_HOME的问题"、"无法启动此程序，因为计算机中丢失MSVCR100.dll"等一系列问题;

　　5.经过MapReduceProject创建与编译运行，得到正确输出。

　　补充几点，(1)HadoopEclipse插件不是必须的，对于study-hadoop是一个普通project，是可以直接调试到MapReduce。创建MapReduceProject时帮你引入依赖的jar。Configurationconf=newConfiguration();时就已经包含了所有的配置信息。

　　对于基于Windows7环境下Eclipse调试MapReduce方法已经给大家描述了，其实这个调试看起来比较复杂，但自己下载hadoop2.2的源码编译好，应该是不会有什么大问题的。如果您还有什么不明确或不懂的地方，欢迎咨询新世界主机了解，详细请咨询QQ： ，TEL： ;我们将竭诚为您服务。