高可用集群Keepalived

技术文档

一、keepalived部署

1.简介

vrrp 协议的软件实现，原生设计目的为了高可用 ipvs服务

功能：基于vrrp协议完成地址流动

为vip地址所在的节点生成ipvs规则(在配置文件中预先定义)

为ipvs集群的各RS做健康状态检测

基于脚本调用接口完成脚本中定义的功能，进而影响集群事务，以此支持nginx、haproxy等服务

2、环境准备

KA1：172.25.254.50

KA2：172.25.254.60

RS1：172.25.254.11

RS2：172.25.254.21

安装keepalive

在KA1和KA2中安装keepalived，realserver中安装nginx

[root@KA1 ~]# dnf install keepalived -y[root@KA1 ~]# systemctl start keepalived[root@RS1 ~]# dnf install nginx -y[root@RS1 ~]# systemctl enable --now nginx[root@RS1 ~]# systemctl start nginx

3、全局配置

! Configuration File for keepalived global_defs { notification_email { zcx@zcx.com #keepalived 发生故障切换时邮件发送的目标邮箱，可以按行区分写多个 } notification_email_from keepalived@KA1.timinglee.org #发邮件的地址 smtp_server 127.0.0.1  #邮件服务器地址 smtp_connect_timeout 30 #邮件服务器连接timeout router_id KA1.timinglee.org #每个keepalived主机唯一标识 #建议使用当前主机名，但多节点重名不影响 vrrp_skip_check_adv_addr #对所有通告报文都检查，会比较消耗性能 #启用此配置后，如果收到的通告报文和上一个报文是同一  #个路由器，则跳过检查，默认值为全检查 vrrp_strict #严格遵循vrrp协议 #启用此项后以下状况将无法启动服务: #1.无VIP地址 #2.配置了单播邻居 #3.在VRRP版本2中有IPv6地址 #建议不加此项配置 vrrp_garp_interval 1 #免费 ARP（Gratuitous ARP）报文时间间隔 #免费 ARP用于通知网络中其他设备，某 IP 地址对应的 MAC 地址发生了变化 #帮助网络设备更新 ARP 缓存，确保数据能正确转发到新的主节点 vrrp_gna_interval 1 #用于配置发送 Gratuitous NA（免费邻居通告报文的时间间隔 #通知网络中其他设备，某 IPv6 地址对应的链路层地址（MAC 地址）发生了变化 #帮助网络设备更新邻居缓存（Neighbor Cache） #确保 IPv6 数据包能正确转发到新的主节点 vrrp_mcast_group4 224.0.0.44  #指定组播IP地址范围： }

4、配置虚拟路由器

vrrp_instance WEB_VIP { state MASTER interface ens160 #绑定为当前虚拟路由器使用的物理接口，如：eth0,可以和VIP不在一个网卡 virtual_router_id 51 #每个虚拟路由器惟一标识,范围：0-255，每个虚拟路由器此值必须唯一否则服务无法启动 #同属一个虚拟路由器的多个keepalived节点必须相同 priority 100 #当前物理节点在此虚拟路由器的优先级，值越大优先级越高范围：1-254 advert_int 1 #vrrp通告的时间间隔，默认1s authentication { #认证机制 auth_type PASS #AH为IPSEC认证(不推荐),PASS为简单密码(建议使用) auth_pass 1111 #预共享密钥，仅前8位有效 } virtual_ipaddress { #虚拟IP,生产环境可能指定上百个IP地址 172.25.254.100/24 dev ens160 label ens160:0 } accept  #开启vip 对外响应ping包，注意此处功能需要关闭vrrp_strict}#检查[root@KA1 ~]# keepalived -t -f /etc/keepalived/keepalived.conf

测试

5、启用keepalived日志功能

[root@KA1 ~]# vim /etc/sysconfig/keepalived KEEPALIVED_OPTIONS=\"-D -S 6\"  #日志级别为0-7 [root@ka1 ~]#vim /etc/rsyslog.conflocal6.*  /var/log/keepalived.log [root@ka1 ~]#systemctl restart keepalived.service rsyslog.service

测试

6、实现独立子配置文件

当生产环境复杂时，/etc/keepalived/keepalived.conf 文件中内容过多，不易管理将不同集群的配置，比如：不同集群的VIP配置放在独立的子配置文件中利用include 指令可以实现包含子配置文件

示例：

[root@KA1 ~]# mkdir /etc/keepalived/conf.d[root@KA1 ~]# vim /etc/keepalived/keepalived.conf! Configuration File for keepalived global_defs { notification_email { zcx@qq.com } notification_email_from keepalived@KA1.timinglee.org smtp_server 127.0.0.1 smtp_connect_timeout 30 router_id KA1.zcx.org vrrp_skip_check_adv_addr #vrrp_strict vrrp_garp_interval 1 vrrp_gna_interval 1 vrrp_mcast_group4 224.0.0.44}include /etc/keepalived/conf.d/*.conf #相关子配置文件[root@KA1 ~]# systemctl restart keepalived

二、Keepalived 企业应用示例

1、单主架构

MASTER配置：

[root@KA1 ~]# mkdir /etc/keepalived/conf.d[root@KA1 ~]# vim /etc/keepalived/keepalived.confvrrp_instance WEB_VIP { state MASTER #status为MASTER模式 interface ens160 virtual_router_id 51 priority 100 advert_int 1 authentication { auth_type PASS auth_pass 1111 } unicast_src_ip 172.25.254.50 unicast_peer { 172.25.254.60 } virtual_ipaddress { 172.25.254.100/24 dev ens160 label ens160:0 #vip设置 }}[root@KA1 ~]# systemctl restart keepalived

BACKUP配置

[root@KA1 ~]# mkdir /etc/keepalived/conf.d[root@KA1 ~]# vim /etc/keepalived/keepalived.confvrrp_instance WEB_VIP { state BACKUP #status为MASTER模式 interface ens160 virtual_router_id 51 #相同id管理同一个虚拟路由 priority 80 #优先级，应低于master advert_int 1 authentication { auth_type PASS auth_pass 1111 } unicast_src_ip 172.25.254.60 #单播 unicast_peer { 172.25.254.50 } virtual_ipaddress { 172.25.254.100/24 dev ens160 label ens160:0 #vip设置 }}[root@KA1 ~]# systemctl restart keepalived

抓包观察

2、抢占和非抢占模式

默认为抢占模式preempt，即当高优先级的主机恢复在线后，会抢占低先级的主机的master角色，这样会使vip在KA主机中来回漂移，造成网络抖动，建议设置为非抢占模式 nopreempt ，即高优先级主机恢复后，并不会抢占低优先级主机的master角色非抢占模块下,如果原主机down机, VIP迁移至的新主机, 后续也发生down时,仍会将VIP迁移回原主机

非抢占模式：

[root@KA1 ~]# mkdir /etc/keepalived/conf.d[root@KA1 ~]# vim /etc/keepalived/keepalived.confvrrp_instance WEB_VIP { state BACKUP #互为主备，status都为BACKUP interface ens160 virtual_router_id 51 priority 100 nopreempt  #非抢占模式，互为主备 advert_int 1 authentication { auth_type PASS auth_pass 1111 } virtual_ipaddress { 172.25.254.100/24 dev ens160 label ens160:0 }}[root@KA1 ~]# systemctl restart keepaliv

当vip在线主机宕机后，vip转移至另一台主机，重新上线后，只有在另一台主机宕机时vip才会重新转移回来

抢占模式：

#KA1中设置vrrp_instance WEB_VIP { state MASTER interface ens160 virtual_router_id 51 priority 100 #nopreempt  #非抢占模式，互为主备 preempt_delay 10 #抢占模式，可以设定延时抢占 advert_int 1 authentication { auth_type PASS auth_pass 1111 } virtual_ipaddress { 172.25.254.100/24 dev ens160 label ens160:0 }}#在KA2中vrrp_instance WEB_VIP { state BACKUP interface ens160 virtual_router_id 51 priority 100 #nopreempt preempt_delay 10 advert_int 1 authentication { auth_type PASS auth_pass 1111 } virtual_ipaddress { 172.25.254.100/24 dev ens160 label ens160:0 }}

当master宕机后，vip转移至backup，当master重新上线后待延时后vip重新转移至master

3、vip单播配置

默认keepalived主机之间利用多播相互通告消息，会造成网络拥塞，可以替换成单播，减少网络流量。（注：启用 vrrp_strict 时，不能启用单播）

vrrp_instance WEB_VIP { state MASTER interface ens160 virtual_router_id 51 priority 100 #nopreempt  #非抢占模式，互为主备 #preempt_delay 300 #延迟抢占模式 advert_int 1 authentication { auth_type PASS auth_pass 1111 } unicast_src_ip 172.25.254.50 #单播配置，源地址 unicast_peer { 172.25.254.60  #指定接收单播的对方目标主机IP  #如果有多个keepalived,再加其它节点的IP } virtual_ipaddress { 172.25.254.100/24 dev ens160 label ens160:0 }}

抓包测试：

4、Keepalived 通知脚本配置

当keepalived的状态变化时，可以自动触发脚本的执行，比如：发邮件通知用户默认以用户

keepalived_script身份执行脚本

如果此用户不存在，以root执行脚本可以用下面指令指定脚本执行用户的身份

keepalived配置文件修改

global_defs { notification_email { zcx@zcx.ogr  } notification_email_from zcx@zcx1.org smtp_server 127.0.0.0 smtp_connect_timeout 30 router_id KA1 vrrp_skip_check_adv_addr #vrrp_strict vrrp_garp_interval 1 vrrp_gna_interval 1 enable_script_security #全局安全选项，用于 限制脚本执行权限，防止未经授权的脚本被调用 script_user root #指定所有外部脚本，以root用户执行 vrrp_mcast_group4 224.0.0.44}vrrp_instance WEB_VIP { state MASTER interface ens160 virtual_router_id 51 priority 100 #nopreempt  #非抢占模式，互为主备 #preempt_delay 300 #延迟抢占模式 advert_int 1 authentication { auth_type PASS auth_pass 1111 } unicast_src_ip 172.25.254.50 unicast_peer { 172.25.254.60 } virtual_ipaddress { 172.25.254.100/24 dev ens160 label ens160:0 } notify_master \"/etc/keepalived/mail.sh master\" #当前节点成为主节点时触发的脚本 notify_backup \"/etc/keepalived/mail.sh backup\" #当前节点转为备节点时触发的脚本 notify_fault \"/etc/keepalived/mail.sh fault\" #当前节点转为“失败”状态时触发的脚本}

创建通知脚本

[root@KA1 ~]# vim /etc/keepalived/mail.sh#!/bin/bashmail_dest=\'zcx@qq.com\'mail_send(){ mail_subj=\"$HOSTNAME to be $1 vip 转移\" mail_mess=\"`date +%F\\ %T`: vrrp 转移,$HOSTNAME 变为 $1\" echo \"$mail_mess\" | mail -s \"$mail_subj\" $mail_dest}case $1 in master) mail_send master ;; backup) mail_send backup ;; fault) mail_send fault ;; *) exit 1 ;; esac[root@KA1 ~]# chmod +x /etc/keepalived/mail.sh

邮件配置

#安装邮件发送工具[root@KA2 ~]# dnf install sendmail -y#配置邮箱[root@KA1 ~]# vim /etc/mail.rcset smtp=smtp.163.comset smtp-auth=loginset smtp-auth-user=zcx@163.com  #163网易邮箱set smtp-auth-password=SZdEcPS2pz8rFbFx #IMAP/SMTP服务验证码set from=zcx@163.comset ssl-verify=ignor[root@KA1 ~]# systemctl enable --now sendmail.service[root@KA1 ~]# echo test message |mail -s test zcx@qq.com #登录自己邮箱即可收到

5、实现 master/master 的 Keepalived 双主架构

master/slave的单主架构:同一时间只有一个Keepalived对外提供服务，此主机繁忙，而另一台主机却很空闲，利用率低下，可以使用master/master的双主架构，解决此问题。 master/master的双主架构：即将两个或以上VIP分别运行在不同的keepalived服务器，以实现服务器并行提供web访问的目的，提高服务器资源利用率

双主机配置：

[root@KA1 ~]# vim /etc/keepalived/keepalived.conf#主vrrp_instance WEB_VIP { state MASTER interface ens160 virtual_router_id 51 priority 100 #nopreempt  #非抢占模式，互为主备 #preempt_delay 300 #延迟抢占模式 advert_int 1 authentication { auth_type PASS auth_pass 1111 } virtual_ipaddress { 172.25.254.100/24 dev ens160 label ens160:0 }}#备vrrp_instance DB_VIP { state BACKUP interface ens160 virtual_router_id 52 priority 80 advert_int 1 authentication { auth_type PASS auth_pass 1111 } virtual_ipaddress { 172.25.254.200/24 dev ens160 label ens160:1 }}KA2[root@KA2 ~]# vim /etc/keepalived/keepalived.conf#备vrrp_instance WEB_VIP { state BACKUP interface ens160 virtual_router_id 51 priority 80 #nopreempt  #非抢占模式，互为主备 #preempt_delay 300 #延迟抢占模式 advert_int 1 authentication { auth_type PASS auth_pass 1111 } virtual_ipaddress { 172.25.254.100/24 dev ens160 label ens160:0 } }#主vrrp_instance DB_VIP { state MASTER interface ens160 virtual_router_id 52 priority 100 advert_int 1 authentication { auth_type PASS auth_pass 1111 } virtual_ipaddress { 172.25.254.200/24 dev ens160 label ens160:1 }}

当一个主机宕机后，vip自动迁移至另一个主机中，重新上线后vip转移为原来的主机中

6、实现IPVS的高可用性

在keepalived中安装ipvsadm

虚拟服务器配置

[root@KA1 ~]# vim /etc/keepalived/keepalived.confvirtual_server 172.25.254.100 80 { delay_loop 6 lb_algo rr lb_kind DR protocol TCP real_server 172.25.254.11 80 { weight 1 TCP_CHECK { connect_timeout 5 retry 3 delay_before_retry 3 connect_port 80 } } real_server 172.25.254.21 80 { weight 1 HTTP_GET { #应用层监测 url { path / status_code 200 } connect_timeout 1 retry 3 delay_before_retry 1 } }}

在realserver中配置vip

[root@RS1 ~]# ip a a 172.25.254.100/32 dev lo#lo的arp抑制[root@RS1 ~]# echo net.ipv4.conf.all.arp_ignore=1 > /etc/sysctl.conf[root@RS1 ~]# echo net.ipv4.conf.all.arp_announce=2 >> /etc/sysctl.conf[root@RS1 ~]# echo net.ipv4.conf.lo.arp_ignore=1 >> /etc/sysctl.conf[root@RS1 ~]# echo net.ipv4.conf.lo.arp_announce=2 >> /etc/sysctl.conf[root@RS1 ~]# sysctl -p

测试：

当有一个主机宕机时，vip转移，访问仍然是正常的

7、实现其它应用的高可用性 VRRP Script

keepalived利用 VRRP Script 技术，可以调用外部的辅助脚本进行资源监控，并根据监控的结果实现优先动态调整，从而实现其它应用的高可用性功能

vrrp_script：自定义资源监控脚本，vrrp实例根据脚本返回值，公共定义，可被多个实例调用，定义在vrrp实例之外的独立配置块，一般放在global_defs设置块之后。

通常此脚本用于监控指定应用的状态。一旦发现应用的状态异常，则触发对MASTER节点的权重减至低于SLAVE节点，从而实现 VIP 切换到 SLAVE 节点

定义 VRRP script

 vrrp_script  { #定义一个检测脚本，在global_defs 之外配置 script | #shell命令或脚本路径 interval   #间隔时间，单位为秒，默认1秒 timeout   #超时时间 weight  #默认为0,如果设置此值为负数，  #当上面脚本返回值为非0时  #会将此值与本节点权重相加可以降低本节点权重， #即表示fall.  #如果是正数，当脚本返回值为0，  #会将此值与本节点权重相加可以提高本节点权重  #即表示 rise.通常使用负值 fall   #执行脚本连续几次都失败,则转换为失败，建议设为2以上 rise   #执行脚本连续几次都成功，把服务器从失败标记为成功 user USERNAME [GROUPNAME] #执行监测脚本的用户或组 init_fail #设置默认标记为失败状态，监测成功之后再转换为成功状态}

示例：实现HAProxy高可用

#在keepalived中安装haproxy[root@KA2 ~]# dnf install haproxy -y[root@KA2 ~]# vim /etc/haproxy/haproxy.cfglisten webcluster bind *:80 mode http server web1 172.25.254.11:80 check inter 3 fall 2 rise 1 server web2 172.25.254.21:80 check inter 3 fall 2 rise 1[root@KA2 ~]# systemctl restart haproxy.service#在两个ka1和ka2两个节点启用内核参数[root@KA2 ~]# vim /etc/sysctl.conf net.ipv4.ip_nonlocal_bind = 1[root@KA2 ~]# sysctl -pnet.ipv4.ip_nonlocal_bind = 1#在KA1中编写检测脚本[root@KA1 ~]# vim /etc/keepalived/scripts/haproxy.sh#!/bin/bashkallall -0 haproxy &> /dev/null[root@KA1 ~]# chmod +X /etc/keepalived/scripts/haproxy.sh

在ka1中配置keepalived

vrrp_script CHECK_HAPROXY { script \"/etc/keepalived/scripts/haproxy.sh\" interval 1 weight -30 fall 2 rise 2 timeout 2}vrrp_instance WEB_VIP { state MASTER interface ens160 virtual_router_id 51 priority 100 #nopreempt  #非抢占模式，互为主备 #preempt_delay 300 #延迟抢占模式 advert_int 1 authentication { auth_type PASS auth_pass 1111 } virtual_ipaddress { 172.25.254.100/24 dev ens160 label ens160:0 } track_script { CHECK_HAPROXY }}

高可用集群Keepalived

一、keepalived部署

1.简介

2、环境准备

3、全局配置

4、配置虚拟路由器

5、启用keepalived日志功能

6、实现独立子配置文件

二、Keepalived 企业应用示例

1、单主架构

2、抢占和非抢占模式

3、vip单播配置

4、Keepalived 通知脚本配置

5、实现 master/master 的 Keepalived 双主架构

6、实现IPVS的高可用性

7、实现其它应用的高可用性 VRRP Script

公告

DeepSeek全套部署资料免费下载

免费可商用字体批量下载

高可用集群Keepalived

一、keepalived部署

1.简介

2、环境准备

3、全局配置

4、配置虚拟路由器

5、启用keepalived日志功能

6、实现独立子配置文件

二、Keepalived 企业应用示例

1、单主架构

2、抢占和非抢占模式

3、vip单播配置

4、Keepalived 通知脚本配置

5、实现 master/master 的 Keepalived 双主架构

6、实现IPVS的高可用性

7、实现其它应用的高可用性 VRRP Script

相关问题

公告

DeepSeek全套部署资料免费下载

免费可商用字体批量下载