发布于 2017-06-15 15:00:18 | 79 次阅读 | 评论: 0 | 来源: 网友投递

这里有新鲜出炉的Hadoop教程,程序狗速度看过来!

Hadoop分布式系统

一个分布式系统基础架构,由Apache基金会所开发。 用户可以在不了解分布式底层细节的情况下,开发分布式程序。充分利用集群的威力高速运算和存储。


近日,国外媒体报道全球Hadoop服务器因配置不安全导致海量数据泄露,涉及使用Hadoop分布式文件系统(HDFS)的近4500台服务器,数据量高达5120 TB (5.12 PB),经分析,这批数据泄露的近4500台HDFS服务器中以美国和中国为主。 

事件原因:

  • 互联网上暴露的Hadoop服务器如果没有配置访问认证均可能受影响,攻击者针对HDFS的攻击删除了大多数目录,并会添加一个名为“NODATA 4U_SECUREYOURSHIT”的新目录和“PLEASE_README”的目录,攻击者可能备份业务数据后在服务器上删除这部分数据,然后直接发送勒索邮件并索要勒索赎金。 

风险等级:高危

漏洞原因:

  • 该问题产生是由于管理员在配置失误所致,由于直接在云上开放了Hadoop机器HDFS的50070web端口及部分默认服务端口,黑客可以通过命令行操作多个目录下的数据,如进行删除操作,安全风险高。 

检测方式: 

修复措施: 

强烈建议您安装完Hadoop集群后,进行安全加固: 

  • 建议按照安全最小化原则,禁止公网对这部分端口访问,如果因业务需要必须对外开放,请使用ECS提供的安全组策略指定访问源IP访问端口业务,如无必要,关闭Hadoop Web管理页面;

  • 开启服务级别身份验证,如Kerberos认证;

  • 部署Knox、Nginx之类的反向代理系统,防止未经授权用户访问;

  • 使用交换机或防火墙策略配置访问控制策略(ACL),将Hadoop默认开放的多个端口对公网全部禁止或限制可信任的IP地址才能访问包括50070以及WebUI等相关端口。

参考资料:

网上找了一篇加固文档,供参考,Hadoop加固文档:https://help.aliyun.com/knowledge_detail/50128.html



相关阅读 :
漏洞预警:Hadoop 未授权访问可导致数据泄露
超越 Hadoop,Luigi 打通云端大数据管道
Kudu:为大数据快速分析量身定制的 Hadoop 存储系统
HDFS 进化,Hadoop 即将拥抱对象存储?
为什么如此难用?Hadoop 的 12 个技术痛点
什么是 Hadoop 生态系统
一个 Hadoop 老兵的自白
最新网友评论  共有(0)条评论 发布评论 返回顶部

Copyright © 2007-2017 PHPERZ.COM All Rights Reserved   冀ICP备14009818号  版权声明  广告服务