predixy源码学习
Predixy是一个代理,代理本质上就是用来转发请求的。其主要功能就是接收客户端的请求,然后把客户端请求转发给redis服务端,在redis服务端处理完消息请求后,接收它的响应,并把这个响应返回给客户端。
1.整体架构
Predixy的架构比较简单,它采用多线程的模式。入口代码逻辑也比较清晰:
Main函数里创建一个代理,然后在init方法里面创建多个处理线程Handler,handler的个数是由配置文件配置,这个一般可以根据CPU的核数来配置。Proxy初始化完成之后,就在run里面起handler线程,Proxy里面有一个用来保存handler的vector,创建的多个handler之间基本上是相互独立。整个predixy的流程基本就在handler的run方法中,入口是Handler::run()
Handler是一个事件循环。mEventLoop是创建Handler时初始化的Multiplexor(后续的Multiplexor我们统一以epoll为例),在mEventLoop->wait里面处理注册到epoll上的fd事件。
注册到epoll里面的事件主要有:
1、连接事件:在创建Handler的时候,创建mEventLoop,并把监听事件加入到epoll里面
2、已经建立连接的客户端的收包和回包
3、到redis服务端的请求转发和回包消息转发给客户端
主要的两个函数是wait和postEvent:wait里面主要是处理客户端请求读取,redis回包读取,postEvent主要是处理客户端请求转发给redis和redis回包转发给客户端;在wait中收到的包,会在接下来的postEvent中立马尽量发出去,如果一次发送不完,会注册写事件到epoll中,等可写了会进行再次发送。
2.事件循环
上面介绍了大体的逻辑,下面我们来仔细看看事件循环里两个主要的函数wait和postEvent。
Wait的入口在EpollMultiplexor::wait,有事件来了之后,就循环调用handler的handlerEvent方法,入口在Handler::handleEvent:
这里我们看到有3种连接的类型
1、ListenType
监听的socket,在创建监听socket的时候指定的类型
2、AcceptType
连接建立后,就会创建一个AcceptConnection,类型转为AcceptType
3、ConnectType
客户端有消息过来时,连接是AcceptConnection,读取了客户端消息,在转发时,需要拿到predixy和redis的连接来做这个转发的动作,这时候的连接就是ConnectConnection。
handleListenEvent:主要是处理接收连接,把新来的连接加入到epoll
handleAcceptConnectionEvent:读取客户端的消息AcceptConnection::readEvent,如果有可写事件,则会addPostEvent,使得前面没发完的消息可以再次发送。
readEvent里面会读消息–>AcceptConnection::parse解析请求,把请求放入mRequests队列—>Handler::handleRequest
然后根据路由,选择server,getConnectConnection,把消息加入到mSendRequests队列。
handleConnectConnectionEvent:和handleAcceptConnectionEvent是类似的,不过处理的是响应的消息,读从redis到predixy的回包,然后ConnectConnection::handleResponse
PostEvent入口是Handler::postEvent(),这里会统一处理写,postConnectConnectionEvent是predixy往redis写消息,写了之后会把请求放到mSentRequests队列;postAcceptConnectionEvent是predixy往客户端写。
这里的写操作都会先进行一个合包fill,然后掉接口写,如果写完了,会把写事件删掉,如果一次没写完,会把写事件加到epoll里面,等epoll可写了就会返回写事件。
3.排队机制
从上面我们可以看到predixy的处理流程涉及到几个队列,主要是下面3个:
AcceptConnection::mRequests : 客户端连接的请求队列
ConnectConncetion::mSendRequests : 到redis端的待发送队列
ConnectConncetion::mSentRequests : 到redis端的已发送队列
这几个队列的配合关系如下图所示:
1、客户端发送请求给predixy,predixy先将req消息放到AcceptConnection::mRequests队列
2、解析消息后,将req放到对应redis连接的ConnectConncetion::mSendRequests队列里面,这里可能有多个redis,所以这一步需要先路由到具体的server
3、Predixy转发请求给redis
4、将req从ConnectConncetion::mSendRequests 转移到ConnectConncetion::mSentRequests
5、Redis处理消息完毕回响应给predixy
6、Predixy将响应消息对应的req从ConnectConncetion::mSentRequests移除,并通知对应的AcceptConnection
7、AcceptConnection接收到响应后吧消息返回给客户端并出队
这里有一个细节,predixy需要保证同一个连接先发送的请求需要先回复,因此predixy收到redis回包后,从mSentRequests中取出头部请求,只有当mRequests队首的请求完成了才能回,否则在mRequests队列里面等待
postEvent在回包的时候,则会从队首开始,对所有done为true的请求处理回包。
4.路由选择
在predixy向redis转发请求时,需要先根据路由策略取到server,得知是向哪个redis转发,然后从server获取ConnectConncetion进行操作。
在Proxy::init中会先根据配置初始化ServerPool,ServerPool里面有一个个ServerGroup,ServerGroup里面是Server
StandaloneServerPool和ClusterServerPool中serverGroup的组织方式不同:StandaloneServerPool中的mGroupPool是配置文件指定哪些server属于同一个ServerGroup,
此外,ClusterServerPool中,每个ServerGroup负责若干个slots,而StandaloneServerPool,每个group也负责一部分数据,负责的数据的方式取决于mDist的值,有modula和random 2种。StandaloneServerPool和ClusterServerPool都有std::vector mServerPool,用于实现randomkey。
从ServerPool中获取server分2个步骤:
1、找到ServerGroup,如何寻找取决于数据分布方式
2、从ServerGroup中找一个server,如何寻找取决于命令的读写属性,节点的角色和权重
每种ServerPool需要实现下面几个接口:
GetServerFunc mGetServerFunc; //从ServerPool获取server
RefreshRequestFunc mRefreshrequestFunc; //发送请求,刷新server信息
HandleResponseFunc mHandleResponseFunc; //处理刷新server请求的回包
Server中只有server的ip和port信息,具体的连接由每个handler自己维护连接池:mConnectionPool
5.共享连接和独占连接
Predixy有2种使用到后端连接的方式
SharedConnection :无上下文的请求使用
PrivateConnection :有上下文的请求使用
每个handler为每个Server都维护2类连接池mPrivateConns和mShareConns。PrivateConnection是每个带Context的请求独占一个,一般这类请求通过长连接发起,predixy上维护的请求数量也是有限的。
6.多key命令的拆分
多key命令,例如mget、mset、de、unlink这类命令在parse的时候,会拆开。例如:mget a b c会拆分成mget a,mget b。Mget c;一个请求被拆分成多个请求依次入队列,会将第一个设置为leader,后续的设置为follower,在处理回包的时候,对后端返回的请求进行调整。