发布于 2014-11-10 10:23:05 | 176 次阅读 | 评论: 0 | 来源: 网友投递

这里有新鲜出炉的Hadoop教程,程序狗速度看过来!

Hadoop分布式系统

一个分布式系统基础架构,由Apache基金会所开发。 用户可以在不了解分布式底层细节的情况下,开发分布式程序。充分利用集群的威力高速运算和存储。


本文为大家讲解的是Hadoop的配置文件详解,配置方法,格式等,感兴趣的同学参考下。

Hadoop是一个分布式系统基础架构,由Apache基金会所开发。用户可以在不了解分布式底层细节的情况下,开发分布式程序。充分利用集群的威力高速运算和存储。

1 Hadoop Configuration简介
    Hadoop没有使用java.util.Properties管理配置文件, 也没有使用Apache Jakarta Commons Configuration管理配置文件,而是使用了一套独有的配置文件管理系统,并提供自己的API,即使用 org.apache.hadoop.conf.Configuration处理配置信息。

    org.apache.hadoop.conf目录结构如下:

  

2 Hadoop配置文件的格式解析
    Hadoop配置文件采用XML格式,下面是Hadoop配置文件的一个例子:

    <?xml version="1.0"?>
    <?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
    <configuration>
      <property>
         <name>io.sort.factor</name>
         <value>10</value>
         <description>The number of streams to merge at once while sorting  
         files.  This determines the number of open file handles.</description>
      </property>
    <property>
         <name>dfs.name.dir</name>
         <value>${hadoop.tmp.dir}/dfs/name</value>
         <description>Determines where on the local filesystem the DFS name  
         nodeshould store the name table(fsimage).  ……</description>
      </property>
    <property>
         <name>dfs.web.ugi</name>
         <value>webuser,webgroup</value>
         <final>true</final>
         <description>The user account used by the web interface.  
         Syntax: USERNAME,GROUP1,GROUP2, ……</description>
      </property>
    </configuration>
 

    Hadoop 配置文件的根元素是configuration,一般只包含子元素property。每一个property元素就是一个配置 项,配置文件不支持分层或分级。每个配置项一般包括配置属性的名称name、值value和一个关于配置项的描述description;元素final 和Java中的关键字final类似,意味着这个配置项是“固定不变的”。final一般不出现,但在合并资源的时候,可以防止配置项的值被覆盖。
    在 上面的示例文件中,配置项dfs.web.ugi的值是“webuser,webgroup”,它是一个final配置项;从description看, 这个配置项配置了Hadoop Web界面的用户账号,包括用户名和用户组信息。这些信息可以通过Configuration类提供的方法访问。
    在 Configuration中,每个属性都是String类型的,但是值类型可能是以下多种类型,包括Java中的基本类型,如 boolean(getBoolean)、int(getInt)、long(getLong)、float(getFloat),也可以是其他类型,如 String(get)、java.io.File(getFile)、String数组(getStrings)等。以上面的配置文件为 例,getInt("io.sort.factor")将返回整数10;而getStrings("dfs.web.ugi")返回一个字符串数组,该数 组有两个元素,分别是webuser和webgroup。
    合并资源指将多个配置文件合并,产生一个配置。如果有两个配置文件,也就是两个资源,如core-default.xml和core-site.xml,通过Configuration类的loadResources()方法,把它们合并成一个配置。代码如下:
    Configurationconf = new Configuration();  
    conf.addResource("core-default.xml");  
    conf.addResource("core-site.xml");
    如 果这两个配置资源都包含了相同的配置项,而且前一个资源的配置项没有标记为final,那么,后面的配置将覆盖前面的配置。上面的例子中,core- site.xml中的配置将覆盖core-default.xml中的同名配置。如果在第一个资源(core-default.xml)中某配置项被标记 为final,那么,在加载第二个资源的时候,会有警告提示。

3 直接运行Configuration.java则会调用默认配置文件部分结果如下:

<?xml version="1.0" encoding="UTF-8" standalone="no"?>
<configuration>
<property>
    <name>ipc.client.fallback-to-simple-auth-allowed</name>
    <value>false</value>
    <source>core-default.xml</source>
</property>
<property>
    <name>file.bytes-per-checksum</name>
    <value>512</value>
    <source>core-default.xml</source>
</property>
<property>
    <name>ipc.server.tcpnodelay</name>
    <value>false</value>
    <source>core-default.xml</source>
</property>
<property>
    <name>ftp.client-write-packet-size</name>
    <value>65536</value>
    <source>core-default.xml</source>
</property>
<property>
    <name>nfs3.mountd.port</name>
    <value>4272</value>
    <source>core-site.xml</source>
</property>
</configuration>
 

4 我们一般在wordcount程序中使用Configuration的set函数来添加或修改相关配置项,下面通过这种途径解析其具体实现方式

4.1 Configuration conf = new Configuration(true)的具体实现如下(见4.1.2):

    Configuration有3个构造函数:

    4.1.1 如果在新建Configuration对象时无参数,则系统默认调用该构造函数

    public Configuration() {
        this(true);
    }

    4.1.2 如果在新建Configuration对象时有boolean类型形参,则调用该构造函数

    /**
     * 1 新建一个Configuration类,如果loadDefaults=false,
     * 则新建的Configuration实例默认不会加载默认的配置文件
     */
    public Configuration(boolean loadDefaults) {
        System.out.println("Configuration(boolean loadDefaults)");
        this.loadDefaults = loadDefaults;// 选择是否加载默认配置文件,false为不加载,true加载
        System.out.println("loadDefaults: " + loadDefaults);
        updatingResource = new HashMap<String, String[]>();// 保存修改过的配置项
        synchronized (Configuration.class) {
            REGISTRY.put(this, null);
        }
    }
 

    4.1.3 如果在新建Configuration对象时有Configuration类型形参,则调用该构造函数

    /**
     * 
     * @param 调用其它Configuration对象的配置文件
     */
    @SuppressWarnings("unchecked")
    public Configuration(Configuration other) {
        this.resources = (ArrayList<Resource>) other.resources.clone();
        synchronized (other) {
            if (other.properties != null) {
                this.properties = (Properties) other.properties.clone();
            }
 
            if (other.overlay != null) {
                this.overlay = (Properties) other.overlay.clone();
            }
 
            this.updatingResource = new HashMap<String, String[]>(
                    other.updatingResource);
        }
 
        this.finalParameters = new HashSet<String>(other.finalParameters);
        synchronized (Configuration.class) {
            REGISTRY.put(this, null);
        }
        this.classLoader = other.classLoader;
        this.loadDefaults = other.loadDefaults;
        setQuietMode(other.getQuietMode());
    }

4.2 conf.set("fs.defaultFS", "file///");

    set函数有:

        public void set(String name, String value, String source)

        public void set(String name, String value)

        public synchronized void setIfUnset(String name, String value)

        public void setInt(String name, int value)

        public void setLong(String name, long value)

        public void setFloat(String name, float value)

        public void setDouble(String name, double value)

        public void setBoolean(String name, boolean value)

        public void setBooleanIfUnset(String name, boolean value)

        public <T extends Enum<T>> void setEnum(String name, T value)

        public void setTimeDuration(String name, long value, TimeUnit unit)

        public void setPattern(String name, Pattern pattern)

        public void setStrings(String name, String... values)

        public void setStrings(String name, String... values)

        public void setClass(String name, Class<?> theClass, Class<?> xface)

其中,后面的set相关函数都是调用第一个set函数实现,下面就具体解析一下public void set(String name, String value, String source)

 
    /**
     * 
     * @Title        set
     * @Description  将参数name对应的value存入property中,如果该name在property中存在则覆盖,否则添加
     * @param
     * @return
     * @throws
     */
    public void set(String name, String value, String source) {
        System.out.println("set(name, value, source) start !");
 
        Preconditions.checkArgument(name != null, "Property name must not be null");
        Preconditions.checkArgument(value != null, "The value of property " + name + " must not be null");
        DeprecationContext deprecations = deprecationContext.get();//保存不在配置文件的key
        System.out.println("deprecations: "+deprecations);
        System.out.println("deprecations.getDeprecatedKeyMap().isEmpty(): "+deprecations.getDeprecatedKeyMap().isEmpty());
        if (deprecations.getDeprecatedKeyMap().isEmpty()) {
            getProps();
        }
         
        getOverlay().setProperty(name, value);
        getProps().setProperty(name, value);
        String newSource = (source == null ? "programatically" : source);
 
        System.out.println("newSource: " + newSource);
        if (!isDeprecated(name)) {//检测该name(key)项是否在配置文件中存在
             
            System.out.println("!isDeprecated(name): " + !isDeprecated(name));
             
            updatingResource.put(name, new String[] { newSource });//将该name(key)项参数添加进updatingResource中,说明该项已被修改
            String[] altNames = getAlternativeNames(name);//判断该name(key)是否在默认配置文件中存在,如果存在则将name存入altNames中
             
            /**
             * 如果name(key)则默认配置文件中存在,则将name对应value存入updatingResource
             */
            if (altNames != null) {
                for (String n : altNames) {
                    System.out.println("altNames: "+n);
                    if (!n.equals(name)) {
                        getOverlay().setProperty(n, value);
                        getProps().setProperty(n, value);
                        updatingResource.put(n, new String[] { newSource });
                    }
                }
            }
        } else {
            String[] names = handleDeprecation(deprecationContext.get(), name);
            String altSource = "because " + name + " is deprecated";
            for (String n : names) {
                 
                System.out.println("names: "+names);
                 
                getOverlay().setProperty(n, value);
                getProps().setProperty(n, value);
                updatingResource.put(n, new String[] { altSource });
            }
        }
    }

5 Configuration测试程序如下:

/**  
 * @Title        ConfigurationTest.java
 * @Package      org.apache.hadoop.conftest
 * @Description  TODO
 * @date         2014年9月11日 上午11:27:14
 * @version      V1.0
 */
package org.apache.hadoop.conftest;
 
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
 
public class ConfigurationTest {
    public static void main(String args[]){
        Configuration conf = new Configuration(true);
        Path hadoop_mapred = new Path("hadoop-2.3.0/etc/hadoop/mapred-site.xml");
        Path hadoop_yarn = new Path("hadoop-2.3.0/etc/hadoop/yarn-site.xml");
        conf.addResource(hadoop_mapred);
        conf.addResource(hadoop_yarn);
        conf.set("mapreduce.jobtracker.system.dir", "file:///data1");//this conf can change the same parameter in the mapred-site.xml when the paramter is used
        conf.setInt("test1", 10);//This parameter will be add to property due to it not in the properties
        conf.set("fs.defaultFS", "file///data");//This parameter will change the same parameter value in the properties
        System.out.println(conf.get("test1"));
        System.out.println(conf.get("mapreduce.jobtracker.system.dir"));
        System.out.println(conf.get("yarn.resourcemanager.admin.address"));
        System.out.println("ok");
    }
}


相关阅读 :
Hadoop配置文件解析
hadoop入门之通过java代码实现将本地文件上传到hadoop的文件系统
linux下配置部署Hadoop和Hbase
Hadoop 获取 DFS Remaining hadoop文件系统可使用的剩余容量大小
hadoop入门之hdfs的重要配置项的说明
hadoop入门之统计单词在文件中出现的个数示例
hadoop的hdfs文件操作实现上传文件到hdfs
用PHP和Shell写Hadoop的MapReduce程序示例
hadoop中一些常用的命令介绍
php通过shell调用Hadoop的方法
Hadoop中的Python框架的使用指南
Hadoop大数据解决方案
最新网友评论  共有(0)条评论 发布评论 返回顶部

Copyright © 2007-2017 PHPERZ.COM All Rights Reserved   冀ICP备14009818号  版权声明  广告服务