Redis集群模式内存占用很大,从节点经常宕机,请问有什么好的解决方案没?

环境:centos 6.10redis-4.0.11Linux  GZNC-cluster10 2.6.32-696.el6.x86_64 #1 SMP Tue Mar 21 19:29:05 UTC 2017 x86_64 x86_64 x86_64 GNU/Linux集群配置共10台物理主机,物理机双核256G内存,每台机器配置一个主节点,一个从节点,目前redis节点内存数据太大,导入了大量的标...显示全部

环境:
centos 6.10
redis-4.0.11
Linux  GZNC-cluster10 2.6.32-696.el6.x86_64 #1 SMP Tue Mar 21 19:29:05 UTC 2017 x86_64 x86_64 x86_64 GNU/Linux

集群配置共10台物理主机,物理机双核256G内存,每台机器配置一个主节点,一个从节点,目前redis节点内存数据太大,导入了大量的标签数据,超过了60亿条记录,节点内存占用太大。现在从节点经常宕机

下面是redis 配置文件,各位大佬,看看是否有优化空间。

Redis配置文件
cat redis.conf 
bind 192.168.120.130
protected-mode yes
port 6379
tcp-backlog 511
timeout 0
tcp-keepalive 300
daemonize yes
supervised no
pidfile /var/run/redis_6379.pid
loglevel notice
logfile "/opt/redisdb/6379/6379.log"
databases 16
save 900 1
save 300 10
save 60 10000
stop-writes-on-bgsave-error yes
rdbcompression yes
rdbchecksum yes
dbfilename 6379dump.rdb
dir /opt/redisdb/6379/
slave-serve-stale-data yes
slave-read-only yes
repl-diskless-sync no
repl-diskless-sync-delay 5
repl-disable-tcp-nodelay no
slave-priority 100
appendonly no
appendfilename "appendonly.aof"
appendfsync everysec
no-appendfsync-on-rewrite no
auto-aof-rewrite-percentage 100
auto-aof-rewrite-min-size 64mb
aof-load-truncated yes
lua-time-limit 5000
cluster-enabled yes
cluster-config-file nodes-6379.conf
cluster-node-timeout 15000
slowlog-log-slower-than 10000
slowlog-max-len 128
latency-monitor-threshold 0
notify-keyspace-events ""
hash-max-ziplist-entries 512
hash-max-ziplist-value 64
list-max-ziplist-size -2
list-compress-depth 0
set-max-intset-entries 512
zset-max-ziplist-entries 128
zset-max-ziplist-value 64
hll-sparse-max-bytes 3000
activerehashing yes
client-output-buffer-limit normal 0 0 0
client-output-buffer-limit slave 256mb 64mb 60
client-output-buffer-limit pubsub 32mb 8mb 60
hz 10
aof-rewrite-incremental-fsync yes
maxmemory  64G
maxmemory-policy   noeviction

收起
参与9

查看其它 2 个回答telnet4730的回答

telnet4730telnet4730课题专家组数据库运维工程师光大证券

这个可能是 key更新太多 ,触发了持久化   注意save的参数  save 900 1:表示900 秒内如果至少有 1 个 key 的值变化,则保存

save 300 10:表示300 秒内如果至少有 10 个 key 的值变化,则保存
save 60 10000:表示60 秒内如果至少有 10000 个 key 的值变化,则保存

由此会导致备机关闭,试着时间调长一点

证券 · 2019-09-27

回答者

telnet4730
数据库运维工程师光大证券

telnet4730 最近回答过的问题

回答状态

  • 发布时间:2019-09-27
  • 关注会员:4 人
  • 回答浏览:4805
  • X社区推广