发布于 2016-01-05 19:07:07 | 1089 次阅读 | 评论: 0 | 来源: PHPERZ

这里有新鲜出炉的Hadoop教程,程序狗速度看过来!

Hadoop分布式系统

一个分布式系统基础架构,由Apache基金会所开发。 用户可以在不了解分布式底层细节的情况下,开发分布式程序。充分利用集群的威力高速运算和存储。


Hadoop 获取 DFS Remaining hadoop文件系统可使用的剩余容量大小。(可以通过http://<HOST>:50070直观的查看)
Configured Capacity:    18.22 GB
DFS Used:    44 KB
Non DFS Used:    15.92 GB
DFS Remaining:    2.3 GB
DFS Used%:    0%

Configured Capacity : hadoop设置的总空间大小
DFS Used : hadoop文件系统所使用的空间
Non DFS Used : 非hadoop文件系统所使用的空间大小,比如说本身的linux系统使用的,或者存放的其它文件
DFS Remaining :hadoop文件系统可使用的剩余容量大小

这里,DFS Remaining的值我通过查看api发现没有能够获取的相关接口。
org.apache.hadoop.fs.DF
DF df = new DF(path,configuration);
DF 对象内容:
df -k null
null    104864252    48683192    56181060    46%    null
其中只包含Configured Capacity、DFS Used、(Configured Capacity - DFS Used)、DFS Used。无法获取到DFS Remaining
这里使用 http://<HOST>:<HTTP_PORT>/jmx?qry=Hadoop:service=NameNode,name=FSNamesystemState

eg:http://192.168.1.118:50070/jmx?qry=Hadoop:service=NameNode,name=FSNamesystemState



相关阅读 :
Hadoop 获取 DFS Remaining hadoop文件系统可使用的剩余容量大小
hadoop入门之通过java代码实现将本地文件上传到hadoop的文件系统
hadoop入门之设置datanode的心跳时间的方法
Hadoop配置文件解析
hadoop入门之统计单词在文件中出现的个数示例
hadoop的hdfs文件操作实现上传文件到hdfs
用PHP和Shell写Hadoop的MapReduce程序示例
hadoop中一些常用的命令介绍
linux下配置部署Hadoop和Hbase
php通过shell调用Hadoop的方法
Hadoop中的Python框架的使用指南
Hadoop大数据解决方案
最新网友评论  共有(0)条评论 发布评论 返回顶部

Copyright © 2007-2017 PHPERZ.COM All Rights Reserved   冀ICP备14009818号  版权声明  广告服务