Hadoop分布式系统

一个分布式系统基础架构,由Apache基金会所开发。

用户可以在不了解分布式底层细节的情况下,开发分布式程序。充分利用集群的威力高速运算和存储。

Hadoop实现了一个分布式文件系统(Hadoop Distributed File System),简称HDFS。HDFS有高容错性的特点,并且设计用来部署在低廉的(low-COSt)硬件上;而且它提供高传输率(high throughput)来访问应用程序的数据,适合那些有着超大数据集(large Data set)的应用程序。HDFS放宽了(relax)POSIX的要求,可以以流的形式访问(streaming Access)文件系统中的数据。

Hadoop的框架最核心的设计就是:HDFS和MapReduce.HDFS为海量的数据提供了存储,则MapReduce为海量的数据提供了计算。

漏洞预警:Hadoop 未授权访问可导致数据泄露
近日,国外媒体报道全球Hadoop服务器因配置不安全导致海量数据泄露,涉及使用Hadoop分布式文件系统(HDFS)的近4500台服务器,数据量高达5120 TB (5.12 PB),经分析,这批数据泄露的近4500台HDFS服务器中以美国和中国为主。 事件原因:互联网上暴露的Hadoop服务器如果没有配置访问认证均可能受影响,攻击者针对HDFS

发布于 2017-06-15 07:00:18 | 181 次阅读

Kudu:为大数据快速分析量身定制的 Hadoop 存储系统
Apache Hadoop提供了一系列数据存储与处理的组件,覆盖了多种多样、应用于企业级关键服务的用户案例。在Cloudera,我们一直在努力探索Hadoop的各种可能性,拓展Hadoop的边界——使得Hadoop更快、更好用、更安全。自2012年,我们开启了一个关于Apache Hadoop存储系统的验证工作(避免Hadoop被约束在部分特定用户案例中)。验证

发布于 2016-05-21 23:51:33 | 199 次阅读

一个 Hadoop 老兵的自白
Apache Hadoop 是一个免费软件,但实际上,除非是拥有庞大工程师团队的大公司,否则最好不要去创建仅供内部使用的Hadoop版本,因为如果要购买技术支持,那 Hadoop 就不是免费的了。Jim Scott 是 MapR 企业战略&架构部门的负责人。2009年,他接触了自己的第一个 Hadoop 版本 Cloudera。他发现,Apache Hadoop 平台存在一

发布于 2015-11-28 00:48:36 | 195 次阅读

什么是 Hadoop 生态系统
https://www.facebook.com/hadoopers  在一些 Teiid 的一些文章和示例上都会有关于 JBoss Data Virtualization (Teiid) 通过 Hive 使用 Hadoop 作为数据源的信息。当使用 Hadoop 环境创建 Data Virtualization 示

发布于 2015-07-30 01:01:08 | 207 次阅读

为什么如此难用?Hadoop 的 12 个技术痛点
文章作者Andrew C. Oliver是一位专业的软件顾问,同时还是北卡罗来纳州达勒姆大数据咨询公司Open Software Integrators的总裁和创始人。长时间的使用Hadoop,他发现了这12件事情真的影响了Hadoop的易用性。 Hadoop是一个很神奇的创造,但

发布于 2014-10-27 23:55:35 | 268 次阅读

HDFS 进化,Hadoop 即将拥抱对象存储?
Hortonworks在博客中提出了一个全新的Hadoop对象存储环境——Ozone,能将HDFS从文件系统扩展成更加复杂的企业级存储层。Hadoop社区的一些成员今日提议为Hadoop增加一个新的对象存储环境,这样一来Hadoop就能以与亚马逊S3、微软Azure

发布于 2014-10-15 23:55:26 | 290 次阅读

超越 Hadoop,Luigi 打通云端大数据管道
Liugi数据管线的可视化管理图 新的大数据开源技术和工具往往来自互联网公司,除了Facebook、Google和Twitter这样的巨头外,一些甚至是你想不到的互联网公司,例如Netflix和Spotify(音乐流媒体服务)也会贡献一些优秀的大数据分析

发布于 2014-10-14 23:59:27 | 238 次阅读

数据科学家调查:受挫数据多样性,吐槽 Hadoop
经过无数权威媒体的反复轰炸,我们大致已经相信,数据科学家是21世纪最神秘最性感最多金的职业,他们是大数据时代数据炸弹的拆弹专家,企业数字化经营的发动机,他们的身价堪比NFL四分卫,而且,他们比昆仑山上的雪豹

发布于 2014-07-30 23:48:38 | 463 次阅读

Paradigm4:调查显示76%的数据科学家认为Hadoop太慢
据分析调研公司Paradigm4一项调查显示,76%的数据科学家认为Hadoop太慢了。数据科学家表示,Hadoop作为开源软件框架,在实际应用中还需要更多的精力进行编程,与大数据应用需求相比,其处理速度也还不够快。

发布于 2014-07-02 14:30:29 | 239 次阅读

Apache Hadoop 3.0.0 GA 版正式发布
今天凌晨 Apache Hadoop 3.0.0 GA 版本正式发布,这意味着我们就可以正式在线上使用 Hadoop 3.0.0 了!这个版本是 Apache Hadoop 3.0.0 的第一个稳定版本,有很多重大的改进,比如支持 EC、支持多于2个的NameNodes、Intra-datanode均衡器等等。下面是关于 Apache Hadoop 3.0.0 GA 的正式介绍。Java最低版本要求从Java7 更改

发布于 2017-12-15 02:25:47 | 263 次阅读

Apache Hadoop 3.0.0-alpha1,重写 Shell 脚本
Apache Hadoop 3.0.0-alpha1发布了。部分更新内容:Hadoop 3.0.0-alpha1在Java 8下编译,使用Java 7以及以下版本需更新到Java 8重写了shell脚本,支持超过两个NameNode详情请参照发行说明: Hadoop 3.0.0-alpha1 Release Notes 主页:http://hadoop.apache.org/docs/r3.0.0-alpha1/index.html下载:http://hadoop

发布于 2016-09-09 07:24:59 | 148 次阅读

Apache Hadoop 2.6.1 发布
Apache Hadoop 2.6.1发布了,在2.6.x版本线上是一个点的发布,修复2.6.0很多关键问题。详细请参照 Hadoop 2.6.1 Release Notes .

发布于 2015-09-26 11:32:27 | 164 次阅读

Hadoop 2.7.0 发布,不再支持 JDK 6
Apache Hadoop 2.7.0 发布,包括大量显著改进,值得关注的改进如下:重大改进此版本不再支持 JDK 6 运行时,仅支持 JDK 7+ 此版本不适用于生产环境!还有一些重要的问题需要通过测试,用于生产环境的用户请等待 2.7.1/2.7.2 Hadoop Commo

发布于 2015-04-24 15:02:25 | 216 次阅读

Spring for Apache Hadoop 2.1.0.M2 发布
Spring for Apache Hadoop 2.1.0.M2 发布,此版本现已提供在 Spring IO repository。Spring for Apache Hadoop 2.1.0.M2 包括大量的版本更新: Spring Framework 4.1.2, Spring Boot 1.2.0.RC1 等等,更多内容请看完整更新日志。 Spring for Apache Hadoop 2.1.0.M2 更新了 Kite

发布于 2014-11-15 00:29:59 | 215 次阅读

Spring for Apache Hadoop 2.0.3 发布
Spring for Apache Hadoop 2.0.3 发布,此版本现已提供在 Maven Central 和 Spring 库。此版本包括 bug 修复和依赖版本更新。此版本的依赖项匹配了下一个 Spring IO 平台 1.0.3 版本。更多内容请看 changelog 或者 JIRA release notes。此版本支持 Apache Ha

发布于 2014-11-03 23:25:33 | 211 次阅读

官方正式发布 Apache Hadoop 2.5.0 版本
尽管下载文件在前几天已经发布,不过官网上今天才发布了 Apache Hadoop 2.5.0 正式版,这是一个小更新版本,包括一些主要新特性和改进以及 Bug 修复,例如扩展文件属性和改进 HDFS 的 Web UI,提升 ATS 安全性,更丰富的 YARN REST API

发布于 2014-08-15 23:00:10 | 253 次阅读

Hadoop 2.5.0 发布,分布式系统基础架构
今天突然看到了hadoop2.5.0 出来了,好快呀 ,主页还没有更新,估计是修改了一下bug.下载地址:http://mirrors.cnnic.cn/apache/hadoop/common/  

发布于 2014-08-13 04:52:56 | 212 次阅读

Nut 19.2 发布,Lucene+Hadoop 分布式运行框架
Nut 19.2 发布,此版本修复了图表的 bug,忽略当前的测量值;添加了两个 nutrients 到自动部分控制功能。Nut 是一个为lucene提供分布式搜索的框架。理论上可对千G以上索引文件支持数千万级的用户搜索访问。Nut由Client、Server、Cache

发布于 2014-06-15 03:48:37 | 257 次阅读

基于CentOS的Hadoop分布式环境的搭建开发
本篇内容主要为大家讲解的是基于CentOS的Hadoop分布式环境的搭建开发。感兴趣的同学可以参考学习下,具体内容如下:

发布于 2017-10-16 05:47:23 | 139 次阅读

Hadoop streaming详细介绍
本篇内容主要为大家讲解的是Hadoop streaming详细介绍。感兴趣的同学可以参考学习下,具体内容如下:

发布于 2017-08-19 03:08:22 | 139 次阅读

详解搭建ubuntu版hadoop集群
本篇内容主要为大家讲解的是详解搭建ubuntu版hadoop集群。感兴趣的同学可以参考学习下,具体内容如下:

发布于 2017-07-21 05:24:23 | 177 次阅读

大数据领域开源技术,除了 Hadoop 你还知道哪些?
众所周知,大数据正在以惊人的速度增长,几乎触及各行各业,许多组织都被迫寻找新的创造性方法来管理和控制如此庞大的数据,当然这么做的目的不只是管理和控制数据,而是要分析和挖掘其中的价值,来促进业务的发展。想要深入发展大数据,闭门造车是不可能的,共通共融是现在趋势,因此,开源让越来越多的项目可以直接采用大

发布于 2016-10-05 00:30:32 | 148 次阅读

hadoop的hdfs文件操作实现上传文件到hdfs
本篇内容主要为大家讲解的是hadoop的hdfs文件操作实现上传文件到hdfs。感兴趣的同学可以参考学习下,具体内容如下:

发布于 2016-07-12 08:58:07 | 426 次阅读

hadoop实现grep示例分享
本篇内容主要为大家讲解的是hadoop实现grep示例分享。感兴趣的同学可以参考学习下,具体内容如下:

发布于 2016-07-11 13:13:34 | 399 次阅读

Hadoop1.2中配置伪分布式的实例
本篇内容主要为大家讲解的是Hadoop1.2中配置伪分布式的实例。感兴趣的同学可以参考学习下,具体内容如下:

发布于 2016-07-11 06:05:25 | 366 次阅读

hadoop入门之通过页面验证hadoop是否安装成功的方法
本篇内容主要为大家讲解的是hadoop入门之通过页面验证hadoop是否安装成功的方法。感兴趣的同学可以参考学习下,具体内容如下:

发布于 2016-04-10 14:50:05 | 394 次阅读

hadoop入门之验证hdfs是否能够正常运行的方法
本篇内容主要为大家讲解的是hadoop入门之验证hdfs是否能够正常运行的方法。感兴趣的同学可以参考学习下,具体内容如下:

发布于 2016-05-10 08:17:57 | 209 次阅读

hadoop入门之统计单词在文件中出现的个数示例
本篇内容主要为大家讲解的是hadoop入门之统计单词在文件中出现的个数示例。感兴趣的同学可以参考学习下,具体内容如下:

发布于 2016-05-09 12:43:32 | 296 次阅读

hadoop入门之hadoop集群验证任务存放在不同的节点上
本篇内容主要为大家讲解的是hadoop入门之hadoop集群验证任务存放在不同的节点上。感兴趣的同学可以参考学习下,具体内容如下:

发布于 2016-05-09 12:05:09 | 137 次阅读

hadoop入门之设置datanode的心跳时间的方法
本篇内容主要为大家讲解的是hadoop入门之设置datanode的心跳时间的方法。感兴趣的同学可以参考学习下,具体内容如下:

发布于 2016-05-15 08:38:13 | 402 次阅读

hadoop入门之hdfs基本操作命令使用方法
本篇内容主要为大家讲解的是hadoop入门之hdfs基本操作命令使用方法。感兴趣的同学可以参考学习下,具体内容如下:

发布于 2016-05-13 03:27:27 | 186 次阅读

hadoop入门之namenode工作特点介绍
本篇内容主要为大家讲解的是hadoop入门之namenode工作特点介绍。感兴趣的同学可以参考学习下,具体内容如下:

发布于 2016-05-05 01:15:11 | 118 次阅读

hadoop入门之hdfs的重要配置项的说明
本篇内容主要为大家讲解的是hadoop入门之hdfs的重要配置项的说明。感兴趣的同学可以参考学习下,具体内容如下:

发布于 2016-05-14 23:34:08 | 186 次阅读

hadoop入门之通过java代码实现将本地文件上传到hadoop的文件系统
本篇内容主要为大家讲解的是hadoop入门之通过java代码实现将本地文件上传到hadoop的文件系统。感兴趣的同学可以参考学习下,具体内容如下:

发布于 2016-05-14 09:47:08 | 481 次阅读

Hadoop 获取 DFS Remaining hadoop文件系统可使用的剩余容量大小
本篇内容为大家讲解的是Hadoop 获取 DFS Remaining hadoop文件系统可使用的剩余容量大小,感兴趣的同学参考学习下,本文内容如下:

发布于 2016-01-05 11:07:07 | 1307 次阅读

Hadoop读取环境变量及setup函数
本篇内容为大家讲解的是Hadoop读取环境变量及setup函数,感兴趣的同学参考学习下,本文内容如下:

发布于 2016-01-01 22:09:00 | 473 次阅读

Hadoop中的Python框架的使用指南
这篇文章主要介绍了Hadoop中的Python框架的使用指南,Hadoop一般使用复杂的Java操作,但通过该框架使得Python脚本操作Hadoop成为了可能,需要的朋友可以参考下  最近,我加入了Cloudera,在这之前,我在计算生物学/基因组学上已经

发布于 2016-01-21 04:05:48 | 378 次阅读

Hadoop配置文件解析
本文为大家讲解的是Hadoop的配置文件详解,配置方法,格式等,感兴趣的同学参考下。

发布于 2014-11-10 02:23:05 | 238 次阅读

hadoop2.6完全分布式环境安装搭建
本文为大家讲解的是hadoop2.6完全分布式环境安装搭建教材,感兴趣的同学参考下。

发布于 2015-01-28 15:41:21 | 770 次阅读

使用yum安装CDH Hadoop集群
本文为大家分享的是一篇使用yum安装CDH Hadoop集群 的完整教程,感兴趣的同学参考下。

发布于 2015-02-05 01:44:43 | 503 次阅读

redhat下Hadoop 安装部署
本文为大家讲解的是在redhat下Hadoop的安装和部署,感兴趣的同学参考下.

发布于 2014-12-09 09:04:23 | 497 次阅读

在win7上hadoop环境搭建的方法(图)
本篇内容主要为大家讲解的是在win7上hadoop环境搭建的方法(图)。感兴趣的同学可以参考学习下,具体内容如下:

发布于 2016-05-12 02:23:40 | 459 次阅读

docker搭建Hadoop集群
本篇内容为大家讲解的是docker搭建Hadoop集群,感兴趣的同学参考学习下,本文内容如下:

发布于 2015-11-14 15:17:53 | 447 次阅读

离线安装Hadoop最新发行版本hdp2.4
本篇内容主要为大家提供的是离线安装Hadoop最新发行版本hdp2.4。感兴趣的同学可以参考学习下,具体内容如下:

发布于 2016-04-10 03:55:37 | 343 次阅读

hadoop2.6.0 在64位CentOS 6.4系统上的编译安装
本篇内容为大家讲解的是hadoop2.6.0 在64位CentOS 6.4系统上的编译,感兴趣的同学参考学习下,本文内容如下:

发布于 2016-01-01 07:58:36 | 328 次阅读

Hadoop 2.6 + Hive 1.2.1 + spark-1.4.1(3)
本篇内容为大家讲解的是Hadoop 2.6 + Hive 1.2.1 + spark-1.4.1(3),感兴趣的同学参考学习下,本文内容如下:

发布于 2016-01-03 06:48:21 | 265 次阅读

hadoop完全分布式模式的安装和配置
本篇内容为大家讲解的是hadoop完全分布式模式的安装和配置步骤,感兴趣的同学参考学习下,本文内容如下:

发布于 2015-12-19 06:53:33 | 207 次阅读

Hadoop伪分布式安装
本篇内容为大家讲解的是Hadoop伪分布式安装,感兴趣的同学参考学习下,本文内容如下:

发布于 2017-03-22 01:54:12 | 187 次阅读

hadoop单机版安装配置
本篇内容为大家讲解的是hadoop单机版安装,感兴趣的同学参考学习下,本文内容如下:

发布于 2015-12-19 08:54:00 | 169 次阅读

详解Ubuntu16.04下Hadoop 2.7.3的安装与配置
本篇内容主要为大家讲解的是详解Ubuntu16.04下Hadoop 2.7.3的安装与配置。感兴趣的同学可以参考学习下,具体内容如下:

发布于 2017-07-22 04:18:08 | 167 次阅读

linux下搭建hadoop环境步骤分享
本篇内容主要为大家讲解的是linux下搭建hadoop环境步骤分享。感兴趣的同学可以参考学习下,具体内容如下:

发布于 2016-02-13 10:27:37 | 151 次阅读

Hadoop错误:testStringToDouble问题解决方法
本文向大家讲解的是一个Hadoop错误:testStringToDouble问题解决方法,感兴趣的同学参考下。

发布于 2014-12-05 09:01:00 | 357 次阅读

hadoop常见错误以及处理方法详解
本文为大家讲解的是hadoop常见错误以及处理方法详解,感兴趣的同学参考下。

发布于 2015-02-01 15:54:26 | 155 次阅读


Copyright © 2007-2017 PHPERZ.COM All Rights Reserved   冀ICP备14009818号  版权声明  广告服务