Redis集群模式内存占用很大,从节点经常宕机,请问有什么好的解决方案没?

环境:
centos 6.10
redis-4.0.11
Linux  GZNC-cluster10 2.6.32-696.el6.x86_64 #1 SMP Tue Mar 21 19:29:05 UTC 2017 x86_64 x86_64 x86_64 GNU/Linux

集群配置共10台物理主机,物理机双核256G内存,每台机器配置一个主节点,一个从节点,目前redis节点内存数据太大,导入了大量的标签数据,超过了60亿条记录,节点内存占用太大。现在从节点经常宕机

下面是redis 配置文件,各位大佬,看看是否有优化空间。

Redis配置文件
cat redis.conf 
bind 192.168.120.130
protected-mode yes
port 6379
tcp-backlog 511
timeout 0
tcp-keepalive 300
daemonize yes
supervised no
pidfile /var/run/redis_6379.pid
loglevel notice
logfile "/opt/redisdb/6379/6379.log"
databases 16
save 900 1
save 300 10
save 60 10000
stop-writes-on-bgsave-error yes
rdbcompression yes
rdbchecksum yes
dbfilename 6379dump.rdb
dir /opt/redisdb/6379/
slave-serve-stale-data yes
slave-read-only yes
repl-diskless-sync no
repl-diskless-sync-delay 5
repl-disable-tcp-nodelay no
slave-priority 100
appendonly no
appendfilename "appendonly.aof"
appendfsync everysec
no-appendfsync-on-rewrite no
auto-aof-rewrite-percentage 100
auto-aof-rewrite-min-size 64mb
aof-load-truncated yes
lua-time-limit 5000
cluster-enabled yes
cluster-config-file nodes-6379.conf
cluster-node-timeout 15000
slowlog-log-slower-than 10000
slowlog-max-len 128
latency-monitor-threshold 0
notify-keyspace-events ""
hash-max-ziplist-entries 512
hash-max-ziplist-value 64
list-max-ziplist-size -2
list-compress-depth 0
set-max-intset-entries 512
zset-max-ziplist-entries 128
zset-max-ziplist-value 64
hll-sparse-max-bytes 3000
activerehashing yes
client-output-buffer-limit normal 0 0 0
client-output-buffer-limit slave 256mb 64mb 60
client-output-buffer-limit pubsub 32mb 8mb 60
hz 10
aof-rewrite-incremental-fsync yes
maxmemory  64G
maxmemory-policy   noeviction

3回答

telnet4730telnet4730  数据库运维工程师 , 光大证券
yinxinzhuhaiqiang赞同了此回答
这个可能是 key更新太多 ,触发了持久化   注意save的参数  save 900 1:表示900 秒内如果至少有 1 个 key 的值变化,则保存save 300 10:表示300 秒内如果至少有 10 个 key 的值变化,则保存save 60 10000:表示60 秒内如果至少有 10000 个 key 的值变化,则保存由此会导致...显示全部

这个可能是 key更新太多 ,触发了持久化   注意save的参数  save 900 1:表示900 秒内如果至少有 1 个 key 的值变化,则保存
save 300 10:表示300 秒内如果至少有 10 个 key 的值变化,则保存
save 60 10000:表示60 秒内如果至少有 10000 个 key 的值变化,则保存
由此会导致备机关闭,试着时间调长一点

收起
 2019-09-27
浏览725
aixchina 邀答
priestpriest  系统架构师 , None
建议:1、调整下redis最大占用内存,至于多大,可以在测试环境模拟测试2、设置redis数据过期策略,依据实际的业务场景需求显示全部

建议:
1、调整下redis最大占用内存,至于多大,可以在测试环境模拟测试
2、设置redis数据过期策略,依据实际的业务场景需求

收起
 2019-11-13
浏览341
lnasmanlnasman  系统架构师 , 浪潮商用机器有限公司
不知道您指的是不是内存溢出的问题。如果是的话可以考虑用一下KeyDB的解决方案。这是Redis的一个多线程技术分支。性能大概比原生Redis好3-4倍。另外KeyDB有一个Flash Disk Support功能。简单讲就是用NVME硬盘来模拟内存。性能也是不错的。...显示全部

不知道您指的是不是内存溢出的问题。如果是的话可以考虑用一下KeyDB的解决方案。这是Redis的一个多线程技术分支。性能大概比原生Redis好3-4倍。另外KeyDB有一个Flash Disk Support功能。简单讲就是用NVME硬盘来模拟内存。性能也是不错的。

收起
 2019-10-29
浏览375

提问者

andy618系统运维工程师, GIMC

问题状态

  • 发布时间:2019-09-27
  • 关注会员:4 人
  • 问题浏览:2298
  • 最近回答:2019-11-13
  • 关于TWT  使用指南  社区专家合作  厂商入驻社区  企业招聘  投诉建议  版权与免责声明  联系我们
    © 2019  talkwithtrend — talk with trend,talk with technologist 京ICP备09031017号-30