发布于 2016-05-15 16:38:13 | 318 次阅读 | 评论: 0 | 来源: 网友投递

这里有新鲜出炉的Hadoop教程,程序狗速度看过来!

Hadoop分布式系统

一个分布式系统基础架构,由Apache基金会所开发。 用户可以在不了解分布式底层细节的情况下,开发分布式程序。充分利用集群的威力高速运算和存储。


Linux环境:CentOs6.4
Hadoop版本:Hadoop-1.1.2
master: 192.168.1.241      NameNode    JobTracker   DataNode   TaskTracker
slave:192.168.1.242    DataNode   TaskTracker
内容:设置DataNode的心跳,当某一个节点失去连接之后,在超过设置的时间,看hadoop能否正常工作。
设置时间:


复制代码
代码如下:

<property>
<name>heartbeat.recheck.interval</name>
<value>15</value>
</property>


第一步:  配置hdfs-site.xml
  

第二步:重启Hadoop

第三步:通过网页浏览两个节点的状态。



hadoop两个节点都已正常运行。

第三步:杀死主节点的进程,等待15秒。

通过kill命令杀死master上的DataNode节点。

第四步:查看节点状态

活着的DataNode还有1个,死亡的DataNode一个

master上的DataNode节点已经标识为Dead

只剩下slave节点,其最后连接时间是2秒(Last Contact 2)

杀死一个节点,两一个节点仍能够正常查看文件信息。

只有slave节点在运行。



相关阅读 :
hadoop入门之设置datanode的心跳时间的方法
hadoop入门之通过java代码实现将本地文件上传到hadoop的文件系统
hadoop入门之hdfs的重要配置项的说明
hadoop入门之hadoop集群验证任务存放在不同的节点上
hadoop入门之统计单词在文件中出现的个数示例
hadoop入门之验证hdfs是否能够正常运行的方法
hadoop入门之通过页面验证hadoop是否安装成功的方法
hadoop入门之namenode工作特点介绍
hadoop入门之hdfs基本操作命令使用方法
php通过shell调用Hadoop的方法
Hadoop环境安装设置
Hadoop 获取 DFS Remaining hadoop文件系统可使用的剩余容量大小
最新网友评论  共有(0)条评论 发布评论 返回顶部

Copyright © 2007-2017 PHPERZ.COM All Rights Reserved   冀ICP备14009818号  版权声明  广告服务