发布于 2016-02-13 18:27:37 | 97 次阅读 | 评论: 0 | 来源: 网友投递

这里有新鲜出炉的Hadoop教程,程序狗速度看过来!

Hadoop分布式系统

一个分布式系统基础架构,由Apache基金会所开发。 用户可以在不了解分布式底层细节的情况下,开发分布式程序。充分利用集群的威力高速运算和存储。


linux下搭建hadoop环境步骤,需要的朋友可以参考下

1、下载hadoop包
wget http://apache.freelamp.com/hadoop/core/stable/hadoop-0.20.2.tar.gz
2、tar xvzf hadoop-0.20.2.tar.gz
3、安装JDK,从oracle网站上直接下载JDK,地址:http://www.oracle.com/technetwork/java/javase/downloads/index.html
4、chmod +x jdk-6u21-linux-i586.bin;./jdk-6u21-linux-i586.bin,当前目录下出现了jdk1.6.0_21目录
5、配置java环境变量 vi /etc/profile


export JAVA_HOME=/root/src/hadoop/jdk1.6.0_21
export CLASSPATH=$CLASSPATH:$JAVA_HOME/lib:$JAVA_HOME/jre/lib
export PATH=$PATH:$JAVA_HOME/bin


在终端下执行 source /etc/profile 使配置生效

6、可以用以下命令查看
显示JAVA版本 java -vesion


echo $JAVA_HOME
which java
echo $PATH
echo $CLASSPATH

如果java -version没有显示你的JDK的版本,请检查你的path的设置。

7、配置hadoop环境变量 vi /etc/profile


export HADOOP_INSTALL=/root/src/hadoop/hadoop-0.20.2
export PATH=$PATH:$HADOOP_INSTALL/bin

source /etc/profile 使配置生效

8、测试环境
hadoop version 显示
Hadoop 0.20.2
Subversion https://svn.apache.org/repos/asf/hadoop/common/branches/branch-0.20 -r 911707
Compiled by chrisdo on Fri Feb 19 08:07:34 UTC 2010

9、配置
hadoop每一个组件都使用一个XML文件配置,核心属性在core-site.xml中,HDFS属性在hdfs-site.xml中,MapReduce属性在mapred-site.xml中。这些文件都在conf子目录下。
hadoop有本地模式、伪分布模式和完全分布模式三种,默认配置为本地模式,没有守护进程,一切都运行在单个JVM上。



相关阅读 :
linux下搭建hadoop环境步骤分享
在win7上hadoop环境搭建的方法(图)
docker搭建Hadoop集群
redhat下Hadoop 安装部署
hadoop2.6完全分布式环境安装搭建
详解Ubuntu16.04下Hadoop 2.7.3的安装与配置
使用yum安装CDH Hadoop集群
hadoop单机版安装配置
hadoop完全分布式模式的安装和配置
Hadoop 2.6 + Hive 1.2.1 + spark-1.4.1(3)
离线安装Hadoop最新发行版本hdp2.4
Hadoop伪分布式安装
最新网友评论  共有(0)条评论 发布评论 返回顶部

Copyright © 2007-2017 PHPERZ.COM All Rights Reserved   冀ICP备14009818号  版权声明  广告服务