在大数据平台容器化基础上如何考虑数据安全?

目前我们在进行大数据容器话改造,从传统的数据库向非关系型数据库或者容器化数据库进行转变,如何保证在这迁移或者转化过程中的数据安全?数据安全由原来集中化管理变为分布式管理,中间的敏感数据发现,数据审计如何进行...显示全部

目前我们在进行大数据容器话改造,从传统的数据库向非关系型数据库或者容器化数据库进行转变,如何保证在这迁移或者转化过程中的数据安全?数据安全由原来集中化管理变为分布式管理,中间的敏感数据发现,数据审计如何进行

收起
参与13

查看其它 1 个回答zhaoxiyi的回答

zhaoxiyizhaoxiyi  资深电信行业解决方案架构师 , 红帽企业级开源解决方案中心

1、数据迁移的安全必定是迁移工程本身来保障的,合理的安全管理机制是所有安全产品有效的大前置条件。不过在迁移过程中会面临初始化迁移和持续化迁移两个部分。初始化迁移通常用脚本或工具一次性解决,这过程中的安全需要工程保障。而此后的持续化迁移可以通过工具来实现。Redhat 的 Change Data Capture 产品底层基于 Kafka实现,通过持久化消息队列来保障数据传递的可靠性,可以实现面向各种易购数据体系的可靠性同步,当然我们还要考虑好数据时效性同步问题,避免产生时效性差异。并且在过程中提供了安全、密钥、审计等能力,从而保障迁移过程的自动化/无人参与和封闭性。减少数据泄密的可能性。

2、数据转化通常都需要追加逻辑的,转化逻辑可以通过敏态开发不断调整,但是转化逻辑的尝试过程需要脱敏数据的配合,传统数据库比如Oracle数据库都有 Data Mask 这样的功能,可以在敏态开发时设计尝试人员使用脱敏数据。另外如果中间逻辑设计迭代层次越来越多建议使用微服务例如 Istio 的数据镜像及遮蔽能力,这样可以敏态兼顾数据的安全与能力的实现。

3、敏感数据发现很难借助传统工具来实现,倒是一定程度上可以借助算法来发现。当数据使用体系变得越来越分布式,越来越Service Mesh化的时候,可以考虑在一些节点上利用 AI/ML 某些算法来发现。有效利用新技术扩展现有数据使用安全与能力。

4、您提到的数据审计在云化、分布式化后会变为越来越复杂的问题。传统数据审计的手段都集中在数据出入口上,例如数据库的接口模块上附加审计模块。但未来的多元化数据处理模型中,数据中间缓存、变形等会变得越来越复杂,因此有效的结合微服务管理体系来实现对离散数据使用的整体审计将是面向云化数据应用体系非常有必要考虑的一个重点。

5、在这也抛出一个个人观点供大家参考与讨论。随着数据使用平台的容器化、分布化、敏态化,数据的安全性,唯一权威性与最终一致性的保障将变得越来越复杂。区块链的技术在性能上还不成熟,但在溯源与权威性保障上有独到的优势。因此可以考虑未来全局数据体系的保障通过区块链技术来实现。这样的话可以更自由实现更复杂的数据最终一致性保障。当然实现途径有待论证。

软件开发 · 2020-04-02
浏览1670

回答者

zhaoxiyi
资深电信行业解决方案架构师红帽企业级开源解决方案中心
擅长领域: 云计算容器容器云

zhaoxiyi 最近回答过的问题

回答状态

  • 发布时间:2020-04-02
  • 关注会员:3 人
  • 回答浏览:1670
  • X社区推广