Hadoop集群安全应如何选择方案？

此问题由来已久，hadoop一生具来的开放性获得了很多用户的青睐。但又是因为开放性没有了企业级软件的完善的功能。hadoop的安全管理就是其一个这样的特点，大家都知道hadoop源码中是没有权限管理这个模块的，也就是说我们进行用户管理时就会遇到易用性的瓶颈。

解决方案案例

京东hadoop集群权限源码改造工程可以为我们参考一点思路，他们在解决安全问题思路上采用了自己修改源代码，增加权限模块环节，从而提高了集群的管理安全性。而且还做了权限组优化，可以给予特定用户特定的权限组，例如 查询用户  写用户  导出导入用户  管理员用户 等等方向。

数据安全性来讲，可以根据重要程度来设置备份冗余数，数量越多，当然安全性越高，但有效空间就小了。
需要一个专业的维护团队，对系统的安全漏洞进行特制加固，因为每个公司的业务特性都不同，因此没有一个很好的通行标准，所以有的都是特定问题。收起

{:2_35:}收起

谢谢！很适用！收起

平台安全需要考虑的问题

1.认证机制
需要具备提供单一节点和已存在的企业鉴权和授权管理系统的认证

2.授权机制
加强对敏感数据的细粒度的访问控制和基于角色的授权

3.访问控制
需要在应用层控制每个用户的集群处理容量和数据集的操作

4.数据的置乱和加密
需要部署合适的加密和置乱算法，确保敏感的数据只对授权的用户提供访问

5.网络边界设备的安全
部署网络边界设备保障数据进出集群的安全。设计和实现合适的大数据平台隔离方案，防火墙策略控预防非授权访问。

6.系统安全
加强对操作系统安全的控制，即使跟踪系统应用程序的安全。及时打安全补丁。

7.设备安全
加强设备的物理巡检和数据中心的安全。

8.设备和事件监控
需要对数据平台的重点操作进行监控和审计，报告各种发生在数据平台的敏感活动。
所以要构建一个安全可靠的集群需要考虑以上这些方面的问题。收起

安全方案需要从认证、访问控制、审计、加密、完整性和保密性多个方面，结合自身的需求进行全盘考虑，设计方案要贯穿从信息源获取数据集、将数据集加载到Hadoop集群、运行查询和分析，以及使用结果集整个数据生命周期。收起