发布于 2014-10-15 07:59:27 | 167 次阅读 | 评论: 0 | 来源: 网友投递

这里有新鲜出炉的Hadoop教程,程序狗速度看过来!

Hadoop分布式系统

一个分布式系统基础架构,由Apache基金会所开发。 用户可以在不了解分布式底层细节的情况下,开发分布式程序。充分利用集群的威力高速运算和存储。


Liugi数据管线的可视化管理图

新的大数据开源技术和工具往往来自互联网公司,除了Facebook、Google和Twitter这样的巨头外,一些甚至是你想不到的互联网公司,例如Netflix和Spotify(音乐流媒体服务)也会贡献一些优秀的大数据分析开源工具(Suro和Luigi)。

近日创业公司Mortar就将Spotify开发的开源大数据工具Luigi搬上云端,在亚马逊云上提供复杂的,涉及大量工具和数据库的大数据流水线处理服务,不论是否使用Hadoop,用户都可以用Luigi管理复杂的大数据工作流。

Mortar公司最初的产品是提供一个编写和启动Hadoop任务的简单框架,运行在亚马逊弹性MapReduce云服务上。2012 年,Mortar开始开源一些产品代码并分享一些Hadoop任务模板。2013年,Mortar与一群优秀的数据科学家协作,帮助用户开发推荐引擎,并 期望能够从中摸索出在Mortar平台上运行这些任务的流程。

如今,Mortar的产品战略已经扩展到了Hadoop以外,希望用户通过Mortar管理的应用不再局限于Hadoop圈子。

Mortar首席执行官K Young指出:虽然Hadoop在客户那里非常受欢迎,但还是有很多重要的数据并不需要Hadoop,或者根本就不适用。通过以云服务的方式提供 Luigi工具,Mortar的用户如今能够使用Python开发和可视化通往任何数据库或处理环境的大数据管线,只要它们支持API访问。

Young还认为云端版Liugi将帮助用户更快完成从原型到产品的过渡。Mortar也不准备放弃Hadoop,因为当今的大数据应用需要与多种处理环境对接,而开发者需要一种更简单的方法来管理这个流程。

“事实上,很多大数据项目搁浅并非因为大数据技术的复杂性格或者缺少数据科学家,最大的问题是如何将数据从所在的地方转移到需要(处理)的地方。”Young说道。

 



相关阅读 :
超越 Hadoop,Luigi 打通云端大数据管道
Kudu:为大数据快速分析量身定制的 Hadoop 存储系统
漏洞预警:Hadoop 未授权访问可导致数据泄露
HDFS 进化,Hadoop 即将拥抱对象存储?
为什么如此难用?Hadoop 的 12 个技术痛点
什么是 Hadoop 生态系统
一个 Hadoop 老兵的自白
最新网友评论  共有(0)条评论 发布评论 返回顶部

Copyright © 2007-2017 PHPERZ.COM All Rights Reserved   冀ICP备14009818号  版权声明  广告服务