注册登录
提 问
English中文版
Zabbix_小Z
作者Zabbix_小Z·2021-02-25 17:36
Zabbix大中华区培训师·上海宏时数据系统有限公司
关注22

案例 | 某电商如何构建Zabbix高可用监控平台？

字数 9513阅读 1104评论 0赞 0

编者荐语：
 

作者所在电商平台通过Centos7.7 + Keepalive + Zabbix + DRBD + Heartbeat + MySQL + ES-Cluster 方案，构建了Zabbix的高可用集群环境。本文作者也在“Zabbix技术交流群”，欢迎加入交流。
 

【背景】由于公司业务环境Zabbix监控平台架构，无论在性能、稳定性还是版本升级方面都存在很大困难。本文将介绍通过Centos7.7 + Keepalive + Zabbix + DRBD + Heartbeat + MySQL + ES-Cluster 方案，来构建Zabbix的高可用集群环境。

 

01 方案架构

方案：

Centos7.7+Keepalive+Zabbix+DRBD+Heartbeat+MySQL+ES-Cluster

在这里插入图片描述

在这里插入图片描述

 

 

02 环境初始化

环境信息

在这里插入图片描述

在这里插入图片描述

初始化

2节点ssh互通做免密认证

  Zabbix-HA1节点执行 ssh-keygen -q -t rsa -N '' -f ~/.ssh/id_rsa ssh-copy-id -p36091 root@192.168.8.187

双节点做基于主机名解析，分别执行

  cat > /etc/hosts << EOF

  192.168.8.186 Zabbix-HA1

  192.168.8.187 Zabbix-HA2

  EOF

所有节点都关闭swap

  swapoff -a # 临时手动关闭

  永久关闭swap ，注释掉/ etc/fstab 中swap ，重启机器

网络环境设定

  每个主机分别带有两块以太网卡，其中一块用于网络通信，另一块用于心跳功能。

  两个节点的网络设置如下：

  Zabbix-HA1 主节点

  eth0: 192.168.8.86 255.255.0.0 #对外IP地址

  eth1: 172.16.38.1 255.255.255.0 #HA心跳使用地址

  Zabbix-HA2 从节点

  eth0: 192.168.8.86 255.255.0.0 #对外IP地址

  eth1: 172.16.38.2. 255.255.255.0 #HA心跳使用地址

配置heartbeat 防火墙规则


在Zabbix-HA1 节点加入Zabbix-HA2 节点上heartbeat 心跳IP和udp 端口防火墙规则

iptables -A INPUT -i eth1 -p udp -s 172.16.38.2 --dport 694 -m comment --comment "heartbeat-slave" -j ACCEPT

/usr/libexec/iptables/iptables.init save

在Zabbix-HA2 节点加入Zabbix-HA1 节点上heartbeat 心跳IP和udp 端口防火墙规则

iptables -A INPUT -i eth1 -p udp -s 172.16.38.1 --dport 694 -m comment --comment "heartbeat-master" -j ACCEPT

/usr/libexec/iptables/iptables.init save

时间同步时间同步(zabbix-ha1 和zabbix-ha2 都要执行)


yum -y install rdate

rdate -s time-b.nist.gov

 

03 安装配置DRBD

DRBD安装


安装drbd9

rpm --import https://www.elrepo.org/RPM-GPG-KEY-elrepo.org

rpm -Uvh http://www.elrepo.org/elrepo-release-7.0-3.el7.elrepo.noarch.rpm yum install -y drbd90-utils kmod-drbd90

配置drbd内核模块开机自动启动

echo drbd > /etc/modules-load.d/drbd.conf

手动启动drbd内核模块modprobe drbd lsmod|grep drbd

ps：不管是单独硬盘、普通分区、lvm，drbd需要的是干净的分区，不要格式化.

配置drbd

移除默认配置

mv /etc/drbd.d/global_common.conf /etc/drbd.d/global_common.confbak创建全局配置

cat << EOF > /etc/drbd.d/global_common.conf

global {

usage-count no;

}

common { net { protocol C;

}

}

EOF

创建资源配置文件

cat << EOF > /etc/drbd.d/drbd0.res

resource drbd0 { disk / dev/sdb;

device /dev/drbd0; meta-disk internal; on Zabbix-HA1 {

address 192.168.8.186:7789;

}

on Zabbix-HA2 {

address 192.168.8.187:7789;

}

}

EOF

ps：根据实际情况修改上面配置中的主机名、IP、和disk为自己的具体配置

 

节点配置


Zabbix-HA1节点操作初始化设备元文件

drbdadm create-md drbd0启动drbd0资源

drbdadm up drbd0

Zabbix-HA2节点操作初始化设备元文件

drbdadm create-md drbd0启动drbd0资源

drbdadm up drbd0

在Zabbix-HA1节点，指定为主drbdadm primary --force drbd0

在DRBD主节点上将drbd0块设备格式化，系统文件格式为xfs mkfs.xfs /dev/drbd0

Zabbix-HA1节点上传drbd-overview维护工具到/usr/sbin目录下，并赋权chmod +x /usr/sbin/drbd-overview

复制到Zabbix-HA2节点/usr/sbin目录下

scp -P36091 /usr/sbin/drbd-overview 192.168.8.187:/usr/sbin/

分别查看两个节点上drbd0的主副角色 drbdadm role drbd0

查看drbd同步运行状态cat /proc/drbd

or

drbd-overview

0:drbd0/0 Connected Primary/Secondary UpToDate/UpToDate

配置2个节点开机自动drbd服务systemctl enable drbd systemctl start drbd

 

04 安装配置Heartbeat

安装Heartbeat


下载heartbeat 依赖环境包

cd /usr/src

wget http://hg.linux-ha.org/heartbeat-STABLE_3_0/archive/958e11be8686.tar.bz2 wget http://hg.linux-ha.org/glue/archive/0a7add1d9996.tar.bz2

wget https://github.com/ ClusterLabs/resource-agents/archive/v3.9.6.tar.gz安装相关依赖库

yum -y install gcc gcc-c++ autoconf automake libtool glib2-devel libxml2-devel bzip2 bzip2-devel e2fsprogs-devel libxslt-devel libtool-ltdl-devel asciidoc psmisc创建运行heartbeat 组及用户

groupadd haclient

useradd -g haclient hacluster -s /sbin/nologin

部署heartbeat 编译安装依赖环境安装cluster-glue

cd /usr/src

tar -jxvf 0a7add1d9996.tar.bz2

cd Reusable-Cluster-Components-glue--0a7add1d9996/

./autogen.sh

./configure --prefix=/usr/local/heartbeat --with-daemon-user=hacluster --with-daemon-group=haclient --enable-fatal-warnings=no LIBS='/lib64/libuuid.so.1' make && make install

安装resource-agents

tar -zxvf v3.9.6.tar.gz

cd resource-agents-3.9.6

./autogen.sh

./configure --prefix=/usr/local/heartbeat --with-daemon-user=hacluster --with-daemon-group=haclient --enable-fatal-warnings=no LIBS='/lib64/libuuid.so.1' make && make install

安装heartbeat

tar -jxvf 958e11be8686.tar.bz2

cd Heartbeat-3-0-958e11be8686/

./bootstrap

声明编译环境变量

export CFLAGS="$CFLAGS -I/usr/local/heartbeat/include -L/usr/local/heartbeat/lib"

./configure --prefix=/usr/local/heartbeat --with-daemon-user=hacluster --with-daemon-group=haclient --enable-fatal-warnings=no LIBS='/lib64/libuuid.so.1' make && make install

复制heartbeat 核心配置文件

cp doc/{ha.cf,haresources,authkeys} /usr/local/heartbeat/etc/ha.d/授权认证文件600权限

chmod 600 /usr/local/heartbeat/etc/ha.d/authkeys创建目录，配置网卡支持插件文件

mkdir -p /usr/local/heartbeat/usr/lib/ocf/lib/heartbeat/

cp /usr/lib/ocf/lib/heartbeat/ocf-* /usr/local/heartbeat/usr/lib/ocf/lib/heartbeat/

注：一般启动时会报错因为ping 和ucast 这些配置都需要插件支持，需要将lib64下面的插件软连接到lib目录才不会抛出异常 ln -svf /usr/local/heartbeat/lib64/heartbeat/plugins/RAExec/* /usr/local/heartbeat/lib/heartbeat/ plugins/RAExec/

ln -svf /usr/local/heartbeat/lib64/heartbeat/plugins/* /usr/local/heartbeat/lib/heartbeat/plugins/

Heartbeat配置

sed -i 's/#auth 1/auth 1/g' /usr/local/heartbeat/etc/ha.d/authkeys

sed -i 's/#1 crc/1 crc/g' /usr/local/heartbeat/etc/ha.d/authkeys

2个节点分别复制drbd服务drbddisk脚本到heartbeat目录(编译安装heartbeat，默认没有该脚本)，实现DRBD主从节点资源组的挂载和卸载 cp -p /etc/ha.d/resource.d/drbddisk /usr/local/heartbeat/etc/ha.d/resource.d/

配置haresources资源文件，用于指定双机系统的主节点、 VIP、子网掩码、广播地址及启动的服务等集群资源设置Zabbix-HA1为主从节点角色中为主节点，同时2节点分别执行

echo 'Zabbix-HA1 IPaddr::192.168.8.4/24/eth0 drbddisk::drbd0 Filesystem::/dev/drbd0::/opt::xfs' >> /usr/local/heartbeat/etc/ha.d/haresources

注：drbd0为drbd创建资源名称，一定要与其一致，否则无法用drbddisk脚本实现DRBD主从节点资源组的挂载和卸载

 

节点配置Heartbeat


分别在2节点配置heartbeat的主配置文件ha.cf

mv /usr/local/heartbeat/etc/ha.d/ha.cf /usr/local/heartbeat/etc/ha.d/ha.cfbak Zabbix-HA1节点执行

cat > /usr/local/heartbeat/etc/ha.d/ha.cf < /usr/local/heartbeat/etc/ha.d/ha.cf < /usr/local/heartbeat/etc/ha.d/resource.d/zabbix-server <> /etc/rc.local

echo 'systemctl start keepalived' >> /etc/rc.local

 

06 配置数据库双主同步


Zabbix-HA2节点备份zabbix相关配置表(有VIP地址节点导出)

注：拷贝sql文件到Zabbix-HA1节点，导入sql

Zabbix-HA1节点配置my.cnf 忽略要同步的历史大表

############Open GTID Mode#########

gtid_mode = on enforce_gtid_consistency =true log_slave_updates=true

master-info-repository=TABLE relay-log-info-repository=TABLE slave-parallel-workers=4

###########MySQL AB Replication##########

relay-log = /data/mysql/relay-log auto-increment-increment = 2

auto-increment-offset = 1

replicate-wild-ignore-table=zabbix.history replicate-wild-ignore-table=zabbix.history_uint replicate-wild-ignore-table=zabbix.history_str replicate-wild-ignore-table=zabbix.history_log replicate-wild-ignore-table=zabbix.history_text

Zabbix-HA2节点配置my.cnf

############Open GTID Mode#########

gtid_mode = on enforce_gtid_consistency =true log_slave_updates=true

master-info-repository=TABLE relay-log-info-repository=TABLE slave-parallel-workers=4

###########MySQL AB Replication##########

relay-log = /data/mysql/relay-log auto-increment-increment = 2

auto-increment-offset = 2

replicate-wild-ignore-table=zabbix.history replicate-wild-ignore-table=zabbix.history_uint replicate-wild-ignore-table=zabbix.history_str replicate-wild-ignore-table=zabbix.history_log replicate-wild-ignore-table=zabbix.history_text

注：主从复制各个实例server-id必须唯一，分别重启mysql服务生效

分别在2个主节点上设置主从复制

在Zabbix-HA1节点和Zabbix-HA2节点上分别创建具有复制权限的用户

grant replication slave on *.* to repl@'192.168.8.%' identified by 'yanghui';

flush privileges;

Zabbix-HA1节点授权允许Zabbix-HA2同步相关的表，才能开启start slave;)

change master to master_host='192.168.8.187',master_user='repl',master_password='yanghui',master_auto_position=1;

flush privileges;

Zabbix-HA2节点授权(允许从Zabbix-HA1同步相关的表，才能开启start slave;)

change master to master_host='192.168.8.186',master_user='repl',master_password='yanghui',master_auto_position=1;

flush privileges;

双节点分别授权允许通过VIP地址远程登陆MySQL Zabbix-HA1节点节点执行(8.186)

grant all on *.* to root@'192.168.8.187' identified by 'Zabbix@2021'; select user,host,password from mysql.user;

Zabbix-HA2节点执行(8.187)

grant all on *.* to root@'192.168.8.186' identified by 'Zabbix@2021'; select user,host,password from mysql.user;

分别登陆MySQL主从节点启动主从复制start slave;

show slave status\\G;

drbd挂载的节点更改zabbix-web的IP地址为VIP地址

/opt/www_zabbix/conf/zabbix.conf.php

sed -i 's/192.168.8.186/192.168.8.5/g' /opt/www_zabbix/conf/zabbix.conf.php sed -i 's/192.168.8.186/192.168.8.5/g ' /opt/zabbix/etc/zabbix/zabbix_server.conf注：表示绿色为宿主机节点IP，红色为数据库的VIP，需重启zabbix-server服务

 

07 测试验证

  • 测试HA架构方案-服务主节点VIP漂移

测试Zabbix-Server + DRBD +heartbeat HA

systemctl restart heartbeat

观察从节点是否接管Zabbix-Server VIP地址，并且服务是否正常运行

注：Zabbix-HA1节点第1次切换到Zabbix-HA2节点后，zabbix-server没有正常启动，需systemctl restart zabbix-server，后续切换就能自动启动。

 

  • 测试mysql + keepalived HA

systemctl stop mysql

观察从节点是否接管MySQL VIP地址，并且服务是否正常运行

注：故障节点服务切换后，修复该节点服务后，需手动启动keepalived服务来继续监听对方节点，形成HA机制

 

08 总结

优点：

  • 安全性高、稳定性高、可用性高，出现故障自动切换

缺点：

  • 只有一台服务器提供服务，成本相对较高，不方便扩展，可能会发生脑裂
  • 当zabbix 服务挂掉或者不可用的情况下不能进行自动切换，需要通过的脚本实现(比如shell脚本监测到master 的zabbix 不可用就将主节点上的heartbeat 停掉，这样就会切换到从节点去)

危险操作：

  • 不能在主从节点停止drbd服务， systemctl stop drbd会造成DRBD脑裂，主从节点数据不一致
  • 手动启停MySQL服务只能通过systemctl statt/stop mysql操作，禁止使用/etc/init.d/mysqld stop/start操作，防止MySQL PID异常，服务不可用

 

09 FAQ

  • 故障现象：当DRBD出现脑裂后，会导致drbd 主从两边的磁盘数据不一致，从节点上切换成secondary ，并放弃该资源的数据从节点执行以下命令：

drbdadm secondary r0

drbdadm --discard-my-data connect r0

  • 故障现象：primary 主节点重新连接secondary (如果这个节点当前的连接状态为WFConnection 的话）主节点执行以下命令：drbdadm connect r0
  • 故障现象：# drbdadm create-md r0 'r0' not defined in your config (for this host).原因：

A. 主机名与资源池(*.res) 中配置定义主机名不一致导致

B. 资源池(.res) 中配置定义资源池名字与资源池(.res) 不一致导致

解决方法：统一名称或者主机名即可。

Zabbix
著作权归作者所有

如果觉得我的文章对您有用，请点赞。您的支持将鼓励我继续创作！

赞0

添加新评论0 条评论

Ctrl+Enter 发表

作者其他文章

  • 干货|Webhook配置钉钉/飞书机器人告警
    评论 0 · 赞 0
  • Zabbix 6.0 升级完全指南！
    评论 0 · 赞 1
  • 某股份制银行Zabbix开源监控系统建设之路
    评论 1 · 赞 2
  • Zabbix面试题，附详细答案！
    评论 0 · 赞 0
  • 如何处理Zabbix监控值中文字符乱码情况？3点思路分享
    评论 0 · 赞 1

    • 相关文章

  • 企业如何打造多品牌服务器运维监控
  • 企业可视化业务流程监控对运维人员的重要性
  • 危险丨Zabbix公告多个安全漏洞，涉及多个版本（附修复方案）
  • Zabbix 7.0编译部署教程
  • Zabbix如何配置SNMPTrap监控

    • 相关问题

  • 400台云主机+ 100台k8s的node，用什么方案监控好呢？ zabbix？prometheus？ 还是两套都上？
  • zabbix如何用mib库自定义网络监控？
  • 如何查找适配服务器和各种设备软件的现成的zabbix模板？
  • zabbix 主动模式和被动模式如何混用 zabbix5.x的版本？
  • zabbix server 无法获取到agent数据一般怎么排查？

    • 相关资料

  • 京东基于Zabbix告警治理优化实践
  • Zabbix 6.0使用手册
  • 深入浅出zabbix5.0 企业应用实战 - v5
  • Zabbix监控系统深度实践 第一版 PDF 带书签目录 完整版
  • zabbix6_0_LTS安装部署

    • 关于TWT使用指南社区专家合作厂商入驻社区企业招聘投诉建议版权与免责声明联系我们
    © 2024talkwithtrend — talk with trend,talk with technologist京ICP备09031017号-30

    X社区推广