REDIS哨兵集群导入数据出现服务DOWN?

redis哨兵集群采取1主2从的方式进行部署,用来存储三要素及对应的所属单位信息,总共约6亿条记录,每条记录100字节,约占用60G内存空间;数据来源于对方提供的的约400个子文件,目前的数据加载到redis的逻辑是:通过java代码读取所有文件,每10000条记录通过pipeline批量插入redis哨兵主节点,以此循环遍历,直至6亿条记录加载完毕。第一个从从节点加载7000万数据时候,与主节点LINK状态DOWN,第2个加载到1.4亿时候, 与主节点LINK状态DOWN。但是等数据过有效期后,redis开始自动删除过期数据,在此过程中发现redis的主从复制功自动恢复。  请问大家有无遇到过,如何解决。

参与15

3同行回答

zhuqibszhuqibs软件开发工程师Adidas
听上去是redis的性能达到了瓶颈,集群内数据的同步出现的问题,能多给点资料吗? 把每个节点在主节点加载数据时的日志给一下显示全部

听上去是redis的性能达到了瓶颈,集群内数据的同步出现的问题,能多给点资料吗? 把每个节点在主节点加载数据时的日志给一下

收起
互联网服务 · 2020-04-05
浏览1973
youki2008youki2008系统架构师DDT
看你的描述, 是redis的性能达到了瓶颈,集群内数据的同步出现的问题吧,最好把日志上传一下,这样才更好的定位分析。显示全部

看你的描述, 是redis的性能达到了瓶颈,集群内数据的同步出现的问题吧,最好把日志上传一下,这样才更好的定位分析。

收起
互联网服务 · 2020-04-24
浏览1656
尘世随缘尘世随缘技术总监上海某互联网金融公司
可以尝试下RedisCluster或者airespark这些应该会比Sentinel要稳定些。显示全部

可以尝试下RedisCluster或者airespark这些应该会比Sentinel要稳定些。

收起
互联网服务 · 2020-04-29
浏览1604

提问者

jillme
CIO某大型银行

相关问题

相关资料

相关文章

问题状态

  • 发布时间:2020-03-27
  • 关注会员:4 人
  • 问题浏览:3974
  • 最近回答:2020-04-29
  • X社区推广