基于Hadoop的MapReduce配置与测试

　　基于Hadoop的MapReduce配置与测试

　　基于香港vps上进行Hadoop编写MapReduce应用程序。，但是如何开发出更加适合在不同环境下运行的MapReduce程序，以及如何提高MapReduce的运行效率，和相关测试工具对程序进行测试的方法。

　　首先给大家讲解一下MapReduce环境变量的配置。MapReduce需要相应的运行环境，就必须对其运行环境进行配置。通常情况下：MapReduce程序环境配置方式有两种：1.XML脚本文件配置2.API方式配置。

　　(1)使用XML脚本文件配置，首先XML是一种脚本标记语言，用来标记数据大小和定义数据类型，Hadoop配置的XML文件放在安装路径的conf文件夹下。Hadoop通过载入XML文件的方式读取其中的内容。读取方式是通过一个Configuration实例来实现，然后调用实例读取XML文件中的每一个属性来配置Hadoop文件值。

　　如何配置XML脚本文件?首先找到Hadoop目录下的conf文件夹在里面新建一个.XML文件。定义简单的结构体键值对应映射。然后MapReduce会根据相应的配置进行读取，部分源码如下：

　　public void addResource(String name){

　　addResourceObject(name); //调用添加属性文件

　　}

　　private synchronized void addResourceObiect(Object resource){

　　resource.add(resource); //添加属性文件

　　reloadConfiguration(); //重载环境变量

　　}

　　(2)修改已经有的配置文件

　　通过设定XML文件是一个可行有效的方法，但是针对属性的设置和来源多种多样，在不同属性文件的属性设置存在冲突的前提下，会存在属性被其他配置文件覆盖的情况。那么如何避免这个情况，可以修改已有的配置文件。

　　建立新的XML文件，定义新的属性内容，从而避免冲突

　　通过设置已有属性的引用去实现某项配置。

　　通过特殊的配置方法。即通过System.setProperty来设置属性文件，然后引用使用。System系统属性的配置优先级高于一般属性，因此可以将某些高级别的属性设置成System系统属性，从而实现优先获取避免被覆盖。

　　(3)使用MRUnit对MapReduce进行测试。

　　MRUnit是基于Junit的单元测试框架，MapReduce需要分别编写Map类与Reduce类，确定两个任务的工作目的和范围。要通过编写测试程序来保证程序的正确运行并显示相应的结果。

　　下载MRUnit的jar包。

　　建立关联联系。

　　添加MRUnit支持jar包。

　　使用MRUnit完成Mapper单元测试。

　　测试一般分为一些几种：

　　MapDriver,测试Map

　　ReduceDriver，测试Reduce。

　　MapReduceDriver，将Map和Reduce连接测试。

　　(4)在Eclipse中配置Hadoop插件。

　　下载Eclipse。

　　打开MapReduce控制面板配置HDFS文件系统。

　　执行文件，导入MapReduce运行依赖jar包。

　　创建MapReduce项目。

　　本次讲解就到这里，相信小编已经给大家对于Hadoop的MapReduce程序的配置与测试做了一些正确合理的普及，大家现在应该理解Hadoop的MapReduce程序的配置文件和性能测试了，喜欢动手的朋友可以自行编写MapReduce程序并修改配置文件进行性能研究(上述操作本人都亲自试验过)。

　　希望大家踊跃的购买我们公司的香港vps，更好的进行hadoop相关的研究和实战。

　　如果还有什么不明确或者不懂的地方，欢迎来到新世界主机咨询了解，详情请咨询QQ： ，TEL： 。我们必将竭诚为您服务。