Dubbo笔记(一)
一.简介
在编写分布式场景下高并发、高扩展的系统对技能的要求很高,因为这个过程会涉及到序列化/反序列化、多线程、网络编程、设计模式、性能优化等众多专业知识。而Dubbo框架对这些专业知识做了更高层的抽象和封装,提供了开箱即用的特性。所以换句话说Dubbo是为了解决大流量、高并发场景下提供高可用、提升系统性能的这样一个服务治理方案,也是优秀的RPC框架之一,因此被众多公司采用并根据自己的业务实现扩展。
Dubbo提供了注册中心机制,解耦了服务方和消费方动态发现的问题,并提供了高可靠能力,大量采用微内核+富插件设计思想,包括框架自身核心特性都作为扩展点实现,提供了灵活的扩展点能力。
二.架构
1.服务提供者Provider启动时会向注册中心把自己的元数据注册上去(比如服务IP、端口及需要注册的接口定义等信息);
2.服务消费方Consumer在启动时会从注册中心订阅(第一次订阅会拉取全量数据)服务提供方的元数据;
3.而当注册中心数据发生变更时会推送给订阅的Consumer(比如Provider某个节点Down掉了,又或者服务提供方进行了扩容,增加了节点。);
4.在Consumer获取到元数据后,Consumer可以发起RPC调用(本质其实是Socket通信+动态代理这样的一个实现机制);
5.RPC调用前后会向监控中心上报统计信息(比如并发数和调用接口)。
Dubbo总体分为业务层(Biz)、RPC层、Remote三层。如果把每一层继续细化,那一共可以分为10层。可以参考下图,图中左边是具体的分层,右边是该层中比较重要的接口:
其中Service与Config两层可以认为是API层,主要提供给API使用者,使用者无需关系底层的实现,只需要配置和完成业务代码即可;后面所有层级合在一起,可以认为是SPI层,主要提供给扩展者使用,即用户可以基于Dubbo框架做定制性的二次开发,扩展其功能。
Dubbo核心组件:
1.Service层
业务层。包括业务代码接口与实现,即我们自己实现的业务代码。
2.config层
配置层。主要围绕ServiceConfig(暴露的服务配置)和ReferenceConfig(引用的服务配置)两个实现类展开,初始化配置信息。可以理解为该层管理整个Dubbo配置。
3.proxy层
服务代理层。在Dubbo中,无论生产者还是消费者,框架都会生成一个代理类,整个过程对上层是透明的。当调用一个远程接口时,看起来就像调用本地接口一样,代理层会自动做远程调用并返回结果,即让业务层对远程调用完全无感。
4.registry层
注册层。服务Dubbo框架的服务注册与发现。当所有新的服务加入或者就服务下线时,注册中心都会感知并通知订阅方。整个过程不需要人工参与。
5.cluster层
集群容错层。主要负责远程调用失败时的容错策略(如失败重试、快速失败);选择具体调用节点时的复杂均衡策略(如随机、一致性Hash等);特殊调用路径的路由策略(如某个Consumer只会调用某个IP的Provider)。
6.monitor层
监控层。复杂监控统计调用次数和调用时间等。
7.protocol层
远程调用层。封装RPC调用的具体过程,Protocol是Invoker暴露(发布一个新功能让别人调用)和引用(引用一个远程服务到本地)的主功能入口。它负责管理Invoker的整个生命周期。Invoker是Dubbo核心模型,框架中所有其他模型都向它靠拢,或者转换成它,它代表一个可执行体。
8.exchange层
信息交换层。建立Request-Response模型,封装请求响应模式,如吧同步请求转化为一步请求。
9.transport层
网络传输层。把网络传输抽象为同一的接口,如Mina和Netty虽然接口不一样,但是Dubbo在他们上面又封装了统一的接口。我们也可以根据其扩展接口添加更多的网络传输方式。
10.Serialize层
序列化层。如果数据要通过网络进行发送,则需要先做做序列化,变成二进制流。序列化层负责管理整个框架网络传输时的序列化/反序列化工作。
三.特性及解决问题
特性:
1.面向接口代理的改性能RPC调用
提供了高性能的基于代理的远程调用能力,服务以接口为粒度,为开发者屏蔽调用的远程细节。
2.服务自动注册与发现
支持多种注册中心服务,服务实例上下线实时感知(上图中的第3步)。
3.运行期流量调度
内置条件、脚本等路由策略,通过配置不同的路由规则,轻松实现灰度发布、同机房优先等功能。
4.智能负载均衡
内置多种负载均衡策略,智能感知下游节点健康状况,显著减少调用延迟,提高系统吞吐量。
5.高度可扩展能力
遵循微内核+插件的设计思想,所有核心能力如Protocol、Transport、Serialization被设计为扩展点,平等对待内置实现和第三方实现。(Dubbo SPI 扩展点机制)
6.可视化的服务治理与运维
提供了丰富服务治理、运维工具(Dubbo Admin):随时查询服务元数据、服务简况状态及调用统计,实时下发路由策略、调整配置参数。
解决问题:
(1) 高性能、透明的RPC调用。只要涉及服务之间的通信,RPC就必不可。Dubbo可以让我们像调用本地服务一样简单的去调用远程服务,而不需要再代码中显示的指定远程调用。整个过程对上层开发者透明,Dubbo会自动完成后续的所有操作,例如:负载均衡、路由、协议转换、序列化等。开发者只需要接收对应的调用结果。
(2)服务的自动注册与发现。当服务越来越多时,服务URL配置管理变得非常困难,服务的注册与发现已经不可能由人工来管理。此时需要一个注册中心,动态的注册和发现服务,使服务的位置透明。Dubbo适配了多种注册中心。
(3)自动负载与容错。 当服务越来越多时,F5一年负载均衡器的单点压力也原来越大,Dubbo提供了完整的集群容错机制,可以实现软件层面的负载均衡,依次降低硬件的压力。Dubbo还提供了调用失败的各种容错机制,如Failover、Failfast、结果集合并等。
(4)动态的流量调度。在应用运行时,某些服务节点可能因为硬件原因需要减少负载或者某些节点需要人工手动下线;又或者需要实现单元化的调用、灰度功能。通过Dubbo Admin管理控制台,用户可以在界面上动态地调整每个服务的权重、路由规则、禁用/启用,实现运行时的流量调度。
(5)依赖分析和调用统计
Dubbo可以介入第三方的APM做分布式链路追踪与性能分析,或者使用已有的独立监控中心的调用次数及耗时,我们可以通过这些数据反推系统容量,在合适的时候通过加机器进行扩容,并且可以预估需要添加多少台机器。