发布于 2015-12-19 16:54:00 | 111 次阅读 | 评论: 0 | 来源: PHPERZ

这里有新鲜出炉的Hadoop教程,程序狗速度看过来!

Hadoop分布式系统

一个分布式系统基础架构,由Apache基金会所开发。 用户可以在不了解分布式底层细节的情况下,开发分布式程序。充分利用集群的威力高速运算和存储。


刚刚安装好了hadoop的单机版,这里记录一下

其实hadoop是免安装的,直接下载包就可以使用

关键是单机版的配置

hadoop下载地址:http://hadoop.apache.org/releases.html
注意不要把源码下载下来,要下载binary包

下载好之后主要配置一下几个地方:

hadoop-env.sh:主要配置JAVA_HOME

core-site.xml:

<configuration>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/datapool/fengkai/hadoop/tmp</value>
        <description>A base for other temporary directories.</description>
    </property>
    <property>
        <name>fs.default.name</name>
        <value>hdfs://localhost:9000</value>
    </property>
</configuration>

hdfs-site.xml:

<configuration>
    <property>
        <name>dfs.replication</name>
        <value>1</value>
        (备注:replication 是数据副本数量,默认为3,salve少于3台就会报错)
    </property>
</configuration>

mapred-site.xml:

<configuration>
<property>
    <name>mapred.job.tracker</name>
    <value>localhost:9001</value>
</property>
</configuration>

这样的配置是单机版的配置,如果是分布式的话还压迫配置slaves和masters,不过单机版就不用了
最后还要注意hadoop的存放目录要改成hadoop:hadoop的权限,之后就差不多了
首先:
hadoop namenode -format
start-all.sh
直接运行一下jps;

    jar
    NameNode
    DataNode
    SecondaryNameNode
    Jps


相关阅读 :
hadoop单机版安装配置
Hadoop伪分布式安装
hadoop完全分布式模式的安装和配置
详解Ubuntu16.04下Hadoop 2.7.3的安装与配置
redhat下Hadoop 安装部署
使用yum安装CDH Hadoop集群
离线安装Hadoop最新发行版本hdp2.4
hadoop2.6完全分布式环境安装搭建
docker搭建Hadoop集群
Hadoop 2.6 + Hive 1.2.1 + spark-1.4.1(3)
hadoop2.6.0 在64位CentOS 6.4系统上的编译安装
linux下搭建hadoop环境步骤分享
最新网友评论  共有(0)条评论 发布评论 返回顶部

Copyright © 2007-2017 PHPERZ.COM All Rights Reserved   冀ICP备14009818号  版权声明  广告服务