注
LVS(Linux Virtual Server)：Linux虚拟服务器，这里通过keepalived作为负载均衡器
RS(Real Server)：真实服务器
VRRP(Virtual Router Redundancy Protocol): 虚拟路由冗余协议, 解决局域网中配置静态网关出现单点失效现象的路由协议

1 Keepalived是什么，有什么作用？
1.1 Keepalived的定义
Keepalived 是一个基于VRRP协议来实现的LVS高可用方案
1.2 Keepalived的作用
1.2.1 通过IP漂移实现高可用
主副LVS共享一个虚拟IP，同一时间只有一个LVS占有VIP并对外提供服务，若该LVS不可用，则VIP漂移至另一台LVS并对外提供服务；
1.2.2 对RS集群进行状态监控
若RS不可用，则keepalived将其从集群中摘除，若RS恢复，则keepalived将其重新加入集群中。
2 Keepalived有几种模式，各个模式的相同点和不同点是什么？
2.1 Keepalived的模式种类
Keepalived有3种模式：NAT（地址转换）；DR（直接路由）；TUN（隧道）
2.2 Keepalived的各个模式的介绍
2.2.1 NAT
优点：集群中的RS可以使用任何支持TCP/IP操作系统，RS可以分配Internet的保留私有地址，只有LVS需要一个合法的IP地址。
缺点：扩展性有限。当RS节点增长到20个或更多时,LVS将成为整个系统的瓶颈，因为所有的请求包和应答包都需要经过LVS再生。
2.2.2 TUN
我们发现，许多Internet服务（例如WEB服务器）的请求包很短小，而应答包通常很大。
优点：LVS只负责将请求包分发给RS，而RS将应答包直接发给用户。所以，LVS能处理很巨大的请求量，这种方式，一台负载均衡能为超过100台的RS服务，LVS不再是系统的瓶颈。
缺点：但是，这种方式需要所有的服务器支持”IP Tunneling”(IP Encapsulation)协议，我仅在Linux系统上实现了这个。
2.2.3 DR
优点：和TUN一样，LVS也只是分发请求，应答包通过单独的路由方法返回给客户端。与TUN相比，DR这种实现方式不需要隧道结构，因此可以使用大多数操作系统做为RS。
不足：要求LVS的网卡必须与RS的网卡在一个网段上
3 不同模式的配置方法，验证方法分别是什么？
3.1 基本的环境要求
需要2台LVS和n(n>=2)台RS
3.1.1 LVS
安装ipvsadm（LVS管理工具）和keepalived;
开启路由转发功能：
vim /etc/sysctl.conf
net.ipv4.ip_forward = 1
验证：
sysctl -p
net.ipv4.ip_forward = 1
3.1.2 RS
安装httpd（用于最后测试）
3.2 NAT模式配置
3.2.1 环境概述
操作系统 负载均衡模式 VIP NVIP
RHEL7.4 NAT 193.168.140.80 192.168.102.165

LVS1 LVS2 RS1 RS2
ens3:192.168.102.161 ens3:192.168.102.162 ens3:192.168.102.163 ens3:192.168.102.164
ens4:193.168.140.79 ens4:193.168.140.83 网关：192.168.102.165 网关：192.168.102.165

3.2.2 LVS
vim /etc/keepalived/keepalived.conf
! Configuration File for keepalived
global_defs {
notification_email {
qingean@163.com #故障接受联系人
}
notification_email_from admin@test.com #故障发送人
smtp_server 127.0.0.1 #本机发送邮件
smtp_connect_timeout 30
router_id LVS_MASTER #BACKUP上修改为LVS_BACKUP
}
vrrp_instance VI_1 {
state MASTER #BACKUP上修改为BACKUP
interface ens4
virtual_router_id 51 #虚拟路由标识，主从相同
priority 100 #BACKUP上修改为90
advert_int 1
authentication {
auth_type PASS
auth_pass 1111 #主从认证密码必须一致
}
virtual_ipaddress {
193.168.140.80 #虚拟IP（VIP）
}
}
vrrp_instance LAN_GATEWAY { #定义网关
state MASTER #BACKUP上修改为BACKUP
interface ens3
virtual_router_id 62 #虚拟路由ID，主从相同
priority 100 #BACKUP上修改为90
advert_int 1
authentication {
auth_type PASS
auth_pass 1111
}
virtual_ipaddress { #ens3网关虚拟IP
192.168.102.165
}
}
virtual_server 192.168.102.165 80 { #定义内网网关虚拟IP和端口
delay_loop 6 #检查RS时间，单位秒
lb_algo rr #设置负载调度算法，轮叫(rr)、加权轮叫(wrr)、最小连接(lc)、加权最小连接(wlc)、基于局部性最小连接(lblc)、带复制的基于局部性最少链接(lblcr)、目标地址散列(dh)和源地址散列(sh)
lb_kind NAT #设置LVS负载均衡NAT模式
persistence_timeout 50 #同一IP的连接60秒内被分配到同一台真实服务器(测试时建议改为0)
protocol TCP #使用TCP协议检查RS状态
real_server 192.168.102.161 80 { #第一个网关节点
weight 3 #节点权重值
TCP_CHECK { #健康检查方式
connect_timeout 3 #连接超时
nb_get_retry 3 #重试次数
delay_before_retry 3 #重试间隔/S
}
}
real_server 192.168.102.162 80 { #第二个网关节点
weight 3
TCP_CHECK {
connect_timeout 3
nb_get_retry 3
delay_before_retry 3
}
}
}
virtual_server 193.168.140.80 80{ #定义虚拟IP
delay_loop 6
lb_algo rr
lb_kind NAT
persistence_timeout 50
protocol TCP
real_server 192.168.102.163 80 { #第一个RS
weight 3
TCP_CHECK {
connect_timeout 3
nb_get_retry 3
delay_before_retry 3
connect_port 80
}
}
real_server 192.168.102.164 80 { #第二个RS
weight 3
TCP_CHECK {
connect_timeout 3
nb_get_retry 3
delay_before_retry 3
connect_port 80
}
}
}
3.2.3 RS
为所有RS添加网关为192.168.102.165:
vim /etc/sysconfig/network-scripts/ifcfg-ens3
GATEWAY=192.168.102.165
重启; 使用route –n查看是否成功
IPVS connection entries
pro expire state source virtual destination
TCP 01:54 FIN_WAIT 10.167.225.60:53882 193.168.140.80:80 192.168.102.163:80
TCP 00:37 NONE 10.167.225.60:0 193.168.140.80:80 192.168.102.163:80

3.3 DR模式配置
3.3.1 环境概述
操作系统 负载均衡模式 VIP
RHEL7.4 DR 193.168.140.80

LVS1 LVS2 RS1 RS2
ens4:193.168.140.79 ens4:193.168.140.83 ens4:193.168.140.152 ens4:193.168.140.224

3.3.2 LVS
vim /etc/keepalived/keepalived.conf
! Configuration File for keepalived
global_defs {
notification_email {
qingean@163.com
}
notification_email_from admin@test.com
smtp_server 127.0.0.1
smtp_connect_timeout 30
router_id LVS_MASTER
}
vrrp_instance VI_1 {
state MASTER #BACKUP上修改为BACKUP
interface ens4
virtual_router_id 51
priority 100 #BACKUP上修改为90
advert_int 1
authentication {
auth_type PASS
auth_pass 1111
}
virtual_ipaddress {
193.168.140.80
}
}
virtual_server 193.168.140.80 80 {
delay_loop 6
lb_algo rr
lb_kind DR
nat_mask 255.255.255.255
protocol TCP
real_server 193.168.140.152 80 {
weight 10
TCP_CHECK {
connect_timeout 10
nb_get_retry 3
delay_before_retry 3
connect_port 80
}
}
real_server 193.168.140.224 80 {
weight 10
TCP_CHECK {
connect_timeout 10
nb_get_retry 3
delay_before_retry 3
connect_port 80
}
}
}

3.3.3 RS
为所有RS修改sysctl.conf
net.ipv4.conf.lo.arp_ignore= 1
net.ipv4.conf.lo.arp_announce= 2
net.ipv4.conf.all.arp_ignore= 1
net.ipv4.conf.all.arp_announce= 2
net.ipv4.ip_forward= 1
执行/sbin/ifconfig lo:0 193.168.140.80 broadcast 193.168.140.80 netmask 255.255.255.255
可用route –n查看是否成功
Kernel IP routing table
Destination Gateway Genmask Flags Metric Ref Use Iface
0.0.0.0 193.168.1.1 0.0.0.0 UG 100 0 0 ens4
193.168.0.0 0.0.0.0 255.255.0.0 U 100 0 0 ens4
193.168.140.80 0.0.0.0 255.255.255.255 UH 0 0 0 lo
若不成功执行/sbin/route add -host 193.168.140.80 dev lo:0
3.4 验证方法
3.4.1 所有机器关闭防火墙：
systemctl stop firewalld
3.4.2 所有RS写入测试页和开启httpd服务
RS1：echo “RS1″ > /var/www/html/index.html
RS2：echo “RS2″ > /var/www/html/index.html
systemctl start httpd
3.4.3 主副LVS开启keepalived服务
systemctl start keepalived
3.4.4 访问
浏览器访问http://193.168.140.80#
刷新会轮番显示RS1或RS2
3.4.5 查看当前测试机的访问请求被转发到哪个服务器
ipvsadm –lcn
IPVS connection entries
pro expire state source virtual destination
TCP 01:54 FIN_WAIT 10.167.225.60:53882 193.168.140.80:80 192.168.102.163:80
TCP 00:37 NONE 10.167.225.60:0 193.168.140.80:80 192.168.102.163:80
3.4.6 测试
模拟宕掉主LVS，服务器照常工作，再宕掉Web1，这时只会显示Web2，这样就实现IP负载均衡，高可用集群。当主LVS恢复后，会切换成主动服务器，如果Keepalived监控模块检测web故障恢复后，恢复的主机又将此节点加入集群系统中。