发布于 2014-10-29 16:49:55 | 245 次阅读 | 评论: 0 | 来源: 网友投递

这里有新鲜出炉的Hadoop教程,程序狗速度看过来!

Hadoop分布式系统

一个分布式系统基础架构,由Apache基金会所开发。 用户可以在不了解分布式底层细节的情况下,开发分布式程序。充分利用集群的威力高速运算和存储。


本文为大家讲解的是 php通过shell调用Hadoop的方法 ,感兴趣的同学参考下。

Hadoop是一个分布式系统基础架构,由Apache基金会所开发。
用户可以在不了解分布式底层细节的情况下,开发分布式程序。充分利用集群的威力高速运算和存储。

1.php代码(index.php)

<!DOCTYPE html>  
<html>  
   
<!-- <style> body{background-color:red} </style> -->  
<!-- <style type="text/css"> -->  
<!--  body { background:url(渐变绿.jpeg); -->  
<!--       width:100%; -->  
<!--       height:100%; } </style> -->  
<body>  
<?php  
header('Content-type: text/html; charset=UTF8');  
#phpinfo();  
$jiaoben = $_GET['jiaoben'];  
echo "执行Hadoop的log信息:";  
$ret= system("sh /home/work/$jiaoben", $status);  
if($status != 0) {   
echo ' failed, status=' . "$status\n";   
} else {  
    echo $ret;  
        echo "<br><br>";  
}  
 
?>  
</body>  
</html>

2.shell代码(hadoop.sh)

#!/bin/bash  
echo "wordCount test start"  
rm -rf ~/file_20141024  
mkdir ~/file_20141024  
cd ~/file_20141024  
echo "Hello World" > file1.txt  
echo "Hello China Beijing" > file2.txt  
cd /home/work/hadoop/bin   
./hadoop dfs -rmr input_20141024  
./hadoop dfs -rmr output_20141024  
./hadoop fs -mkdir input_20141024  
#hadoop fs -chomod -R 777 /input_20141024  
./hadoop fs -put ~/file_20141024/file*.txt input_20141024  
./hadoop jar /home/work/hadoop/hadoop-examples-1.1.2.jar wordcount input_20141024 output_20141024  
./hadoop fs -ls output_20141024  
./hadoop fs -cat output_20141024/part-r-00000  
echo "wordCount test end"


3. 访问http://ip:8888/index.php?jiaoben=hadoop.sh

查询结果:

/user/work/output_20141024/part-r-00000 Beijing 1 China 1 Hello 2 World 1



相关阅读 :
php通过shell调用Hadoop的方法
用PHP和Shell写Hadoop的MapReduce程序示例
hadoop入门之通过页面验证hadoop是否安装成功的方法
hadoop入门之通过java代码实现将本地文件上传到hadoop的文件系统
hadoop入门之设置datanode的心跳时间的方法
hadoop入门之验证hdfs是否能够正常运行的方法
hadoop的hdfs文件操作实现上传文件到hdfs
hadoop中一些常用的命令介绍
Hadoop中的Python框架的使用指南
Hadoop 获取 DFS Remaining hadoop文件系统可使用的剩余容量大小
hadoop入门之hdfs的重要配置项的说明
hadoop入门之hdfs基本操作命令使用方法
最新网友评论  共有(0)条评论 发布评论 返回顶部

Copyright © 2007-2017 PHPERZ.COM All Rights Reserved   冀ICP备14009818号  版权声明  广告服务