发布于 2016-05-12 10:23:40 | 373 次阅读 | 评论: 0 | 来源: 网友投递

这里有新鲜出炉的Hadoop教程,程序狗速度看过来!

Hadoop分布式系统

一个分布式系统基础架构,由Apache基金会所开发。 用户可以在不了解分布式底层细节的情况下,开发分布式程序。充分利用集群的威力高速运算和存储。


操作系统:win7

hadoop版本:CDH3u6

1、下载安装JDK,以及Eclipse

   具体看此链接:http://blog.csdn.net/weixuehao/article/details/17715793

2、新建JAVA Project

3、去cloudera网站下载hadoop的CDH3u6版本。将起解压到win7的某个目录

4、选中OperateHDFS,右击,选择“property”,弹出右侧的窗口;

    选择“Java Build Path” —— “Libraries” —— Add External Jars

 

5、到上面的画面后,下面就是选择开发hadoop程序时,用到的一些jar包

    将lib文件夹下的所有的jar包,添加进去;将红框内的jar包,安装进去。

6、创建配置文件夹

7、将core-site.xml,hdfs-site.xml,mapred-site.xml放入到此文件夹中。

 

 

8、右键->属性 进行如下操作,添加刚刚创建conf文件夹

 

 

配置搞定!

写代码的过程中要写入的namenode和jobtracker地址(修改为你自己的)

在你的代码中,加入如下代码就可以了


复制代码
代码如下:

Configuration conf = new Configuration();
conf.set("fs.default.name","192.1.1.2:9000");
conf.set("mapred.job.tracker","192.1.1.2:9001");



相关阅读 :
在win7上hadoop环境搭建的方法(图)
linux下搭建hadoop环境步骤分享
hadoop2.6.0 在64位CentOS 6.4系统上的编译安装
hadoop2.6完全分布式环境安装搭建
docker搭建Hadoop集群
hadoop完全分布式模式的安装和配置
详解Ubuntu16.04下Hadoop 2.7.3的安装与配置
redhat下Hadoop 安装部署
使用yum安装CDH Hadoop集群
hadoop单机版安装配置
Hadoop 2.6 + Hive 1.2.1 + spark-1.4.1(3)
离线安装Hadoop最新发行版本hdp2.4
最新网友评论  共有(0)条评论 发布评论 返回顶部

Copyright © 2007-2017 PHPERZ.COM All Rights Reserved   冀ICP备14009818号  版权声明  广告服务