集中式存储向分布式存储的转型,有哪些技术难点和运维管理困难?

集中式存储向分布式存储的转型,有哪些技术难点和运维管理困难?转型前期、中期和后期都有哪些注意的要点,对于渠道类、账务类和数据报送类业务,如何合理、分批次进行转型?

参与13

2同行回答

zhuqibszhuqibs软件开发工程师Adidas
技术难度:  io的读写,集中存储中数据只要写入一个磁阵就算成功了,分布式存储中是写入大部分的节点才算成功,如果写入全部节点IO性能有影响,写入少量节点即是写入失败。运维困难:监控上,要采用分布式prometheus来采集各个节点的数据,节点多的时候,监控范围较大。出现故障时, 要判...显示全部

技术难度:  io的读写,集中存储中数据只要写入一个磁阵就算成功了,分布式存储中是写入大部分的节点才算成功,如果写入全部节点IO性能有影响,写入少量节点即是写入失败。
运维困难:监控上,要采用分布式prometheus来采集各个节点的数据,节点多的时候,监控范围较大。出现故障时, 要判断节点与节点间的相互作用,诊断难度加大。

对不同类型的数据应采用不同的迁移方式,
(1)对渠道类数据通常是多而散,通常分批迁移;
(2)对于账务类数据,通常是实时数据,需要保证其关联性和事务性,需要择业务运维窗口迁移,同时做好新老数据同步工作
(3)对于数据报送类数据,通常是交易历史数据等,可以择时一次性迁移。
在迁移前期,会有数据不同步的现象,需要新老系统并存;在中期,需要进行必要的数据校验和压力测试(分布式存储读写性能很重要),后期在校验同步基础上,进行迁移(转型)的演练,将少量应用的数据源切换到分布式存储,进行预生产发布。

收起
互联网服务 · 2020-04-01
浏览1318
宁泽阳宁泽阳系统工程师某科技公司
可以先行保留存储访问协议不变,先将集中式存储转为分布式存储;然后在稳定运行一段时间后逐步将存储协议转换为适合分布式存储访问的对象存储协议。显示全部

可以先行保留存储访问协议不变,先将集中式存储转为分布式存储;然后在稳定运行一段时间后逐步将存储协议转换为适合分布式存储访问的对象存储协议。

收起
互联网服务 · 2020-03-31
浏览1293

问题来自

相关问题

相关资料

相关文章

问题状态

  • 发布时间:2020-03-30
  • 关注会员:3 人
  • 问题浏览:2162
  • 最近回答:2020-04-01
  • X社区推广