LB集群之HAProxy
一、HAProxy简介
HAProxy是一个使用C语言编写的自由及开放源代码软件,其提供高可用性、负载均衡,以及基于TCP和HTTP的应用程序代理。
功能:
- 根据静态分配的cookie路由HTTP请求
- 在通过使用HTTP cookie确保服务器持久性的同时,在多个服务器之间传播负载
- 在主服务器发生故障时切换到备份服务器
- 接受专用于服务监控的特殊端口的连接
- 停止接受连接而不破坏现有连接
- 在两个方向上添加,修改和删除HTTP标头
- 阻止匹配特定模式的请求
- 从应用程序拦截的URI向已通过身份验证的用户报告详细状态
# yum install haproxy -y
主程序:/usr/sbin/haproxy
配置文件:/etc/haproxy/haproxy.cfg
启动服务:# systemctl start haproxy.service
简单配置示例:实现调度功能
frontend web #前端,相当于nginx, server {}
bind *:80 #监听于80端口
backend websrvs #指定后端
backend websrvs #后端,相当于nginx, upstream {}
balance roundrobin #调度算法,轮调
server srv1 192.168.0.9:80 check #后端server,并做健康检查
server srv1 192.168.0.10:80 check
二、全局(global)配置段参数
1、日志记录
定义全局的syslog服务器;最多可以定义两个
log <address> [len <length>] <facility> [max level [min level]]
[root@haproxy ~]# vim /etc/haproxy/haproxy.cfg
log 127.0.0.1 local2
[root@haproxy ~]# systemctl restart haproxy
[root@haproxy ~]# vim /etc/rsyslog.conf
#### MODULES ####
$ModLoad imudp
$UDPServerRun 514
#### RULES ####
# Save haproxy log to haproxy.log
local2.* /var/log/haproxy.log
[root@haproxy ~]# systemctl restart rsyslog
2、性能调整相关参数
nbproc <number>:要启动的haproxy的进程数量
maxconn <number>:设定每个haproxy进程所能接受的最大并发连接数
总体的并发连接数:nbproc * maxconn
ulimit-n <number>:每个haproxy进程可打开的最大文件数
maxconnrate <number>:每个进程每秒种所能创建的最大连接数量
maxsessrate <number>:每个进程每秒所能创建的最大会话数量
maxsslconn <number>:设定每个haproxy进程所能接受的ssl的最大并发连接数
默认配置:
global
log 127.0.0.1 local2
chroot /var/lib/haproxy #虚根
pidfile /var/run/haproxy.pid
maxconn 4000 #每个haproxy进程最大并发连接数,默认4000
user haproxy #以haproxy的身份运行
group haproxy
daemon
stats socket /var/lib/haproxy/stats #打开本机socket文件实现本地通信
三、代理配置段
- defaults <name> #默认配置段
- frontend <name> #前端配置段
- backend <name> #后端配置段
- listen <name>
name:所有代理名称必须由大写和小写字母,数字,’-‘,’_’,’.’组成。
-
default_backend <backend> 设定默认的backend,用于frontend中;
-
default-server [param*] 为backend中的各server设定默认选项;
1、bind
在前端定义一个或多个侦听地址或端口
bind [<address>]:<port_range> [,...] [param*]
bind *:80,*:443
bind 192.168.0.8:80,192.168.0.8:8080
bind /var/run/ssl-frontend.sock user root mode 600 accept-proxy
2、balance
后端服务器组内的服务器调度算法
balance <algorithm> [ <arguments> ]
balance url_param <param> [check_post]
-
roundrobin:轮调,动态算法:支持权重的运行时调整,支持慢启动;每个后端中最多支持4095个server
-
static-rr:静态轮调,静态算法:不支持权重的运行时调整及慢启动;后端主机数量无上限
-
leastconn:最少连接数,推荐使用在具有较长会话的场景中,例如MySQL、LDAP等
-
first:根据服务器在列表中的位置,自上而下进行调度;前面服务器的连接数达到上限,新请求才会分配给下一台服务
-
source:源地址hash
-
uri:对URI的左半部分做hash计算,并由服务器总权重相除以后派发至某挑出的服务器
<scheme>://<user>:<password>@<host>:<port>/<path>;<params>?<query>#<frag>
左半部分:/<path>;<params>
整个uri:/<path>;<params>?<query>#<frag>
- url_param
对用户请求的uri的<params>部分中的参数的值作hash计算,并由服务器总权重相除以后派发至某挑出的服务器;通常用于追踪用户,以确保来自同一个用户的请求始终发往同一个Backend Server
- hdr(<name>)
对于每个http请求,此处由<name>指定的http首部将会被取出做hash计算; 并由服务器总权重相除以后派发至某挑出的服务器;没有有效值的会被轮询调度
- rdp-cookie(<name>)
3、hash-type
hash-type <method> <function> <modifier>
- map-based:除权取余法,哈希数据结构是静态的数组
- consistent:一致性哈希,哈希数据结构是一个
4、server
定义后端主机的各服务器及其选项
server <name> <address>[:[port]] [param*]
- name:服务器在haproxy上的内部名称
- address:服务器地址,支持使用主机名
- port:端口映射;省略时,表示同bind中绑定的端口
- param*:参数
– maxconn <maxconn>:当前server的最大并发连接数
– backlog <backlog>:当前server的连接数达到上限后的后援队列长度
– backup:设定当前server为备用服务器
– disabled:标记为不可用
– check:对当前server做健康状态检测
– addr :检测时使用的IP地址
– port :针对此端口进行检测
– inter <delay>:连续两次检测之间的时间间隔,默认为2000ms
– rise <count>:连续多少次检测结果为“成功”才标记服务器为可用;默认为2
– fall <count>:连续多少次检测结果为“失败”才标记服务器为不可用;默认为3
– cookie <value>:为当前server指定其cookie值,用于实现基于cookie的会话黏性
– on-error <mode>:后端服务故障时的行动策略
– fastinter:强迫快速
– fail-check:快速失败,快速测试;有故障则离线,没有问题上线,默认策略
– sudden-death:模拟一个致命的失败健康检查,另一个失败的检查将标记服务器关闭,强制fastinter
– mark-down:立即标记服务器并强制执行fastinter
– redir <prefix>:将发往此server的所有GET和HEAD类的请求重定向至指定的URL
– weight <weight>:权重,默认为1
5、option httpchk
定义基于http协议的7层健康状态检测机制
option httpchk
option httpchk <uri>
option httpchk <method> <uri>
option httpchk <method> <uri> <version>
http-check expect [!] <match> <pattern>
用于定义应用层检测方法:
- httpchk:检测httpd服务的健康状态
option httpchk GET /test.html
6、maxconn
为指定的frontend定义其最大并发连接数;默认为2000
7、mode
mode { tcp|http|health } :定义haproxy的工作模式
- tcp:基于layer4实现代理;可代理mysql, pgsql, ssh, ssl等协议;
- http:仅当代理的协议为http时使用;
- health:工作为健康状态检查的响应模式,当连接请求到达时回应“OK”后即断开连接;
8、cookie
cookie <name> [ rewrite | insert | prefix ] [ indirect ] [ nocache ] [ postonly ] [ preserve ] [ httponly ] [ secure ] [ domain <domain> ]* [ maxidle <idle> ] [ maxlife <life> ]
- name:修改或插入的cookie的名称,以便带来持久性
- rewirte:重写
- insert:插入
- prefix:前缀
基于cookie的调度配置示例:
frontend web
bind *:80
default_backend websrvs
backend websrvs
balance roundrobin
cookie WEBSRV insert nocache indirect
server srv1 192.168.0.9:80 check inter 1000 rise 1 fall 2 maxconn 2000
cookie web1
server srv2 192.168.0.10:80 check maxconn 1500 cookie web2
9、option forwardfor
option forwardfor [ except <network> ] [ header <name> ] [ if-none ]
在由haproxy发往后端主机的请求报文中添加“X-Forwarded-For”首部,其值前端客户端的地址;用于向后端主发送真实的客户端IP
- [ except <network> ]:请求报请来自此处指定的网络时不予添加此首部
- [ header <name> ]:使用自定义的首部名称,而非“X-Forwarded-For”
10、errorfile 和 errorloc
errorfile <code> <file>
errorloc <code> <url>
errorloc302 <code> <url>
- code:HTTP状态代码。 目前HAProxy能够支持的代码:200, 400, 403, 408, 500, 502, 503, and 504
- file:指定包含完整HTTP响应的文件
errorfile 400 /etc/haproxy/errorfiles/400badreq.http
errorfile 408 /dev/null #解决方法Chrome预连接错误
errorfile 403 /etc/haproxy/errorfiles/403forbid.http
errorfile 503 /etc/haproxy/errorfiles/503sorry.http
11、修改报文头部
reqadd <string> [{if | unless} <cond>] 在HTTP请求的末尾添加标头
rspadd <string> [{if | unless} <cond>] 在HTTP响应的末尾添加标头
reqdel <search> [{if | unless} <cond>] 删除与HTTP请求中的正则表达式匹配的所有标头
reqidel <search> [{if | unless} <cond>] (ignore case)
rspdel <search> [{if | unless} <cond>] 删除与HTTP响应中的正则表达式匹配的所有标头
rspidel <search> [{if | unless} <cond>] (ignore case)
rspidel Server.* #删除响应报文中的Server字段信息
12、连接超时时长
timeout client <timeout> 面向客户端侧的超时时间,默认单位是毫秒
timeout server <timeout> 面向服务器侧的超时时间
timeout http-keep-alive <timeout> 持久连接的持久时长
timeout http-request <timeout> 等待客户端传完的请求报文的超时时长
timeout connect <timeout> 向后端服务器发起连接请求时的超时时长
timeout client-fin <timeout> 设置客户端一侧的半关闭连接超时时长
timeout server-fin <timeout> 设置服务器一侧的半关闭连接超时时长
13、访问控制
满足条件时拒绝请求:
block { if | unless } <condition>
示例:当源地址为172.16.200.2,则拒绝请求,并返回错误页
acl invalid_src src 172.16.200.2
block if invalid_src
errorfile 403 /var/www/error.html
根据http请求包控制:
http-request { allow | deny } [ { if | unless } <condition> ]
根据tcp连接控制:
tcp-request connection {accept|reject} [{if | unless} <condition>]
示例:拒绝192.168.0.7的ssh访问
14、use_backend
当符合指定的条件时使用特定的backend,可以实现条件式调度
use_backend <backend> [{if | unless} <condition>]
六、统计接口
- stats enable:启用统计页;基于默认的参数启用stats page
stats uri : /haproxy?stats
stats realm : "HAProxy Statistics"
stats auth : no authentication
stats scope : no restriction
- stats auth <user>:<passwd>:认证时的账号和密码,可使用多次
- stats realm <realm>:认证时的realm
- stats uri <prefix>:自定义stats page uri
- stats refresh <delay>:设定自动刷新时间间隔
- stats admin { if | unless } <cond>:启用stats page中的管理功能
配置参数示例:
listen stats
bind :8080
stats realm "HAProxy Stats Page"
stats auth admin:adminpass
stats admin if TRUE
访问:http://192.168.0.8:8080/haproxy?stats
进入管理页
七、ACL
访问控制列表的使用提供了一种灵活的解决方案来执行内容切换,并且通常基于从请求,响应或任何环境状态中提取的内容来做出决策
acl <aclname> <criterion> [flags] [operator] [<value>] ...
- aclname:ACL名称必须由大写和小写字母,数字,’ – ‘(短划线),’_’(下划线),’.’ 组成。ACL名称区分大小写
- value:值
boolean 布尔型
integer or integer range 整数或整数范围
IP address / network IP或网络地址
string (exact精确匹配, substring子串匹配, suffix前缀匹配, prefix后缀匹配, subdir子路径匹配, domain子域名匹配) 字符串匹配
regular expression 正则表示式匹配
hex block 16进制的块匹配
- flags:标志
-i : 忽略字符大小写
-m : 特定的模式
-n : 禁止DNS解析
-u : 要求acl使用唯一的名称
- operator:操作符
匹配整数值:eq、ge、gt、le、lt
匹配字符串:
exact match 精确匹配
substring match 子串匹配
prefix match 前缀匹配
suffix match 后缀匹配
subdir match 子路径匹配
domain match 子域名匹配
- acl作为条件时的逻辑关系:
if invalid_src invalid_port 或关系
if invalid_src || invalid_port 与关系
if ! invalid_src invalid_port 非invalid_src
- criterion:判断标准
dst : 目标ip
dst_port : 目标端口
src : 源ip
src_port : 源端口
检查url的路径
path : 精确匹配
path_beg : 前缀匹配
path_dir : 子串匹配
path_dom : 子域名匹配
path_end : 路径后缀匹配
path_len : 路径长度匹配
path_reg : 路径的正则表达式模式匹配
path_sub : 路径的子字串匹配
检查整个url
url : 精确匹配
url_beg : 前缀匹配
url_dir : 子串匹配
url_dom : 子域名匹配
url_end : 后缀匹配
url_len : 长度匹配
url_reg : 正则表达式匹配
url_sub : 子字串匹配
请求报文的指定头部检查 req.hdr([<name>[,<occ>]]) : string
hdr([<name>[,<occ>]]) : exact string match
hdr_beg([<name>[,<occ>]]) : prefix match
hdr_dir([<name>[,<occ>]]) : subdir match
hdr_dom([<name>[,<occ>]]) : domain match
hdr_end([<name>[,<occ>]]) : suffix match
hdr_len([<name>[,<occ>]]) : length match
hdr_reg([<name>[,<occ>]]) : regex match
hdr_sub([<name>[,<occ>]]) : substring match
示例:阻止curl访问
frontend web *:80
acl bad_curl hdr_sub(User-Agent) -i curl
block if bad_curl
default_backend appsrvs
示例:实现动静分离
frontend web *:80
acl url_static path_beg -i /static /images /javascript /stylesheets
acl url_static path_end -i .jpg .gif .png .css .js .html .txt .htm
use_backend staticsrvs if url_static
default_backend appsrvs
backend staticsrvs
balance roundrobin
server stcsrv1 192.168.0.9:80 check
backend appsrvs
balance roundrobin
server app1 192.168.0.10:80 check
server app2 192.168.0.11:80 check
八、配置HAProxy支持https协议
1)准备ca证书
[root@haproxy ~]# cd /etc/pki/tls/certs/
[root@haproxy certs]# vim Makefile
%.key:
umask 77 ; \
/usr/bin/openssl genrsa $(KEYLEN) > $@ #将-aes128删除,避免私钥加密
[root@haproxy certs]# make haproxy.crt
Country Name (2 letter code) [XX]:CN
State or Province Name (full name) []:bj
Locality Name (eg, city) [Default City]:bj
Organization Name (eg, company) [Default Company Ltd]:dongfei.com
Organizational Unit Name (eg, section) []:opt
Common Name (eg, your name or your server's hostname) []:www.dongfei.com
[root@haproxy certs]# cp haproxy.* /etc/haproxy/
[root@haproxy ~]# cd /etc/haproxy/
[root@haproxy haproxy]# cat haproxy.crt haproxy.key > haproxy.pem
2)配置HAProxy
frontend web *:80
bind *:443 ssl crt /etc/haproxy/haproxy.pem
redirect scheme https if !{ ssl_fc } #将80端口跳转到443
acl url_static path_beg -i /static /images /javascript /stylesheets
acl url_static path_end -i .jpg .gif .png .css .js .html .txt .htm
use_backend staticsrvs if url_static
default_backend appsrvs
backend staticsrvs
balance roundrobin
server stcsrv1 192.168.0.9:80 check
backend appsrvs
balance roundrobin
server app1 192.168.0.10:80 check
server app2 192.168.0.11:80 check
九、常用功能的实现
1)压缩
frontend web *:80
default_backend appsrvs
compression algo gzip
compression type text/html text/plain
backend appsrvs
balance roundrobin
server app1 192.168.0.10:80 check
server app2 192.168.0.11:80 check
2)stats page
listen stats
bind :8080
stats realm "HAProxy Stats Page"
stats auth admin:adminpass #认证用户:密码
stats admin if TRUE
访问:http://192.168.0.8:8080/haproxy?stats进入状态管理页
3)自定义错误页
[root@haproxy ~]# vim /etc/haproxy/haproxy.cfg
frontend web *:80
default_backend appsrvs
acl bad_guy src 192.168.0.7
block if bad_guy
errorfile 403 /etc/haproxy/errorfiles/403forbid.http
backend appsrvs
balance roundrobin
server app1 192.168.0.10:80 check
server app2 192.168.0.11:80 check
[root@haproxy ~]# mkdir /etc/haproxy/errorfiles/ -p
[root@haproxy ~]# echo 'forbid' >/etc/haproxy/errorfiles/403forbid.http
[root@haproxy ~]# systemctl restart haproxy
[root@client ~]# curl http://192.168.0.8/
forbid
4)访问控制
listen stats
bind :8080
stats realm "HAProxy Stats Page"
stats auth admin:adminpass
stats admin if TRUE
acl admin_client src 192.168.0.254
block unless admin_client #只允许192.168.0.254访问状态管理页
5)日志功能
调度器中配置
[root@haproxy ~]# vim /etc/haproxy/haproxy.cfg
backend appsrvs
balance roundrobin
option forwardfor
server app1 192.168.0.10:80 check
server app2 192.168.0.11:80 check
[root@haproxy haproxy]# systemctl restart haproxy.service
后端服务器配置(Apache)
[root@web2 ~]# vim /etc/httpd/conf/httpd.conf
LogFormat "%{X-Forwarded-For}i %l %u %t \"%r\" %>s %b \"%{Referer}i\" \"%{User-Agent
}i\"" combined #改变日志记录方式
[root@web2 ~]# systemctl restart httpd
[root@web2 ~]# tail -f /var/log/httpd/access_log
6)基于cookie的session粘滞
[root@haproxy ~]# vim /etc/haproxy/haproxy.cfg
frontend web *:80
mode http
default_backend appsrvs
backend appsrvs
balance roundrobin
option forwardfor
cookie WEBSRV insert nocache indirect
server app1 192.168.0.10:80 check inter 1000 rise 1 fall 2 maxconn 2000 cookie websrv1
server app2 192.168.0.11:80 check maxconn 1500 cookie websrv2
[root@client ~]# curl -b "WEBSRV=websrv1" http://192.168.0.8/
web1
[root@client ~]# curl -b "WEBSRV=websrv2" http://192.168.0.8/
web2
7)后端主机的健康状态检测
backend appsrvs
balance roundrobin
option httpchk GET /test.html
server app1 192.168.0.10:80 check
server app2 192.168.0.11:80 check
8)请求和响应报文首部的操纵:替换响应报文的Server字段信息
[root@haproxy ~]# vim /etc/haproxy/haproxy.cfg
frontend web *:80
mode http
rspidel ^Server:.*
rspadd Server:\ Apache\ or\ Nginx
default_backend appsrvs
[root@client ~]# curl -I http://192.168.0.8/
Server: Apache or Nginx #掩人耳目
感谢阅读!