Dubbo 开发随笔

Dubbo 基础使用

Dubbo 支持的通信协议

官方文档说明

协议名称传输层核心特性适用场景是否默认协议
Dubbo 协议 TCP 单一长连接、NIO 异步通信、高性能高并发小数据量场景(消费者数 >> 提供者)
Triple 协议 HTTP/2 兼容 gRPC 生态、支持流式通信、跨语言能力增强多语言交互、流式数据传输否 ‌
gRPC 协议 HTTP/2Google 开源 RPC 框架、高性能跨语言通信跨语言高性能服务调用否 ‌
REST 协议 HTTP 严格遵循 RESTful 规范、支持 JSON/XML 格式浏览器调用、跨平台集成否 ‌
Hessian 协议 HTTP 表单序列化、短连接、传输效率优于 WebService 文件 / 视频等大数据传输否 ‌
Thrift 协议 TCPApache 开源 RPC 框架、强类型接口定义多语言服务交互否 ‌
Redis 协议文本协议基于 Redis 的轻量级通信缓存操作、简单消息队列否 ‌
MQTT 协议 TCP 发布 / 订阅模式、低带宽占用物联网设备通信否 ‌
WebServiceHTTP 基于 SOAP 协议、XML 序列化传统企业系统集成否 ‌
HTTP 协议 HTTP 通用同步传输、支持表单序列化混合数据大小场景否 ‌

Dubbo 3 对比 Dubbo 2

Dubbo 3 版本对比 Dubbo 2 版本:

  • 服务发现资源利用率显著提升
  • 对比接口级服务发现,单机常驻内存下降 50%,地址变更期 GC 消耗下降一个数量级(百次 -> 十次)
  • 对比应用级服务发现,单机常驻内存下降 75%,GC 次数趋零
  • Dubbo 协议性能基本持平,Triple 协议在网关、Stream 吞吐量方面更具优势
  • Dubbo 协议(3.0 vs 2.x),3.0 实现较 2.x 总体 QPS、RT 持平,略有提升
  • Triple 协议 vs Dubbo 协议,直连调用场景 Triple 性能并无优势,但其优势在于网关、Stream 调用场景

Dubbo 整合框架

Spring 与 SpringBoot 整合

  • 整合 Dubbo 的三种方式

    • 三种方式分别为:XML 配置、Annotation 配置、原生 API
    • Spring 与 SpringBoot 都支持以 XML 配置、Annotation 配置整合 Dubbo
    • 由于使用基于注解的方式整合 Dubbo,无法实现 Dubbo 方法级的配置(即 <dubbo:method> 标签的功能),如果 Spring、SpringBoot 需要用到 Dubbo 方法级的配置,那么就需要使用 XML 的方式整合 Dubbo
  • Spring 与 SpringBoot 整合 Dubbo 的简单总结

    • SpringBoot + XML: @ImportResource
    • SpringBoot + Annotation: @EnableDubbo
    • Spring + Annotation: AnnotationConfigApplicationContext
    • Spring + XML: ClassPathXmlApplicationContextFileSystemXmlApplicationContext

Dubbo 服务高可用

Dubbo 服务降级

当服务器压力剧增的情况下,根据实际业务情况及流量,对一些服务和页面有策略的不处理或换种简单的方式处理,从而释放服务器资源以保证核心交易正常运作或高效运作。Dubbo 可以通过服务降级功能临时屏蔽某个出错的非关键服务,并定义降级后的返回策略。Dubbo 向注册中心写入动态配置覆盖规则如下:

1
2
3
RegistryFactory registryFactory = ExtensionLoader.getExtensionLoader(RegistryFactory.class).getAdaptiveExtension();
Registry registry = registryFactory.getRegistry(URL.valueOf("zookeeper://10.20.153.10:2181"));
registry.register(URL.valueOf("override://0.0.0.0/com.foo.BarService?category=configurators&dynamic=false&application=foo&mock=force:return+null"));

其中:

  • mock=force:return+null 表示消费方对该服务的方法调用都直接返回 null 值,不发起远程调用。用来屏蔽不重要服务不可用时对调用方的影响。
  • 还可以改为 mock=fail:return+null 表示消费方对该服务的方法调用在失败后,再返回 null 值,不抛异常。用来容忍不重要服务不稳定时对调用方的影响。
  • 利用 Dubbo-Admin 的 UI 界面(旧版),可以方便地对服务进行屏蔽 / 恢复(mock=force:return+null)、容错 / 恢复(mock=fail:return+null)处理,即上面提到的两种服务降级方式

Dubbo 集群容错

在集群调用失败时,Dubbo 提供了多种容错方案,缺省为 failover 重试。真正的生产环境中,一般使用 Hystrix 进行容错处理。

  • Failover Cluster:失败自动切换,当出现失败,重试其它服务器。通常用于读操作,但重试会带来更长延迟。可通过 retries=”2” 来设置重试次数 (不含第一次)。
  • Failfast Cluster:快速失败,只发起一次调用,失败立即报错。通常用于非幂等性的写操作,比如新增记录。
  • Failsafe Cluster:失败安全,出现异常时,直接忽略。通常用于写入审计日志等操作。
  • Failback Cluster:失败自动恢复,后台记录失败请求,定时重发。通常用于消息通知操作。
  • Forking Cluster:并行调用多个服务器,只要一个成功即返回。通常用于实时性要求较高的读操作,但需要浪费更多服务资源。可通过 forks=”2” 来设置最大并行数。
  • Broadcast Cluster:广播调用所有提供者,逐个调用,任意一台报错则报错。通常用于通知所有提供者更新缓存或日志等本地资源信息。
1
2
3
4
<!-- Failover 重试次数的几种配置方式如下 -->
<dubbo:service retries="2" />
<dubbo:reference retries="2" />
<dubbo:reference> <dubbo:method name="findFoo" retries="2" /> </dubbo:reference>
1
2
3
<!-- 集群模式配置,按照以下几种配置方式在服务提供方和消费方配置集群模式 -->
<dubbo:service cluster="failsafe" />
<dubbo:reference cluster="failsafe" />

宕机环境下的健壮性与高可用性

  • 监控中心宕掉不影响使用,只是丢失部分采样数据
  • 数据库宕掉后,注册中心仍能通过缓存提供服务列表查询,但不能注册新服务
  • 注册中心对等集群,任意一台宕掉后,将自动切换到另一台
  • 注册中心全部宕掉后,服务提供者和服务消费者仍能通过本地缓存通讯
  • 服务提供者无状态,任意一台宕掉后,不影响使用
  • 服务提供者全部宕掉后,服务消费者应用将无法使用,并无限次重连等待服务提供者恢复

Dubbo 源码剖析

Dubbo 的服务暴露

dubbo-export

Dubbo 的服务引用

dubbo-reference

Dubbo 配置类之间的关系

dubbo-config

常见使用错误

SpringBoot 整合 Dubbo 出错

错误信息:

1
SpringBoot-2.1.0+ 整合 Apache Dubbo-2.7.0,启动应用后提示需要添加SpringBoot配置 “spring.main.allow-bean-definition-overriding=true”

异常日志:

1
2
3
4
5
6
7
8
9
10
11
***************************
APPLICATION FAILED TO START
***************************

Description:

The bean 'dubboConfigConfiguration.Single', defined in null, could not be registered. A bean with that name has already been defined in null and overriding is disabled.

Action:

Consider renaming one of the beans or enabling overriding by setting spring.main.allow-bean-definition-overriding=true

异常分析:

1
2
3
问题是由注解 @EnableDubbo、@EnableDubboConfig 的使用所导致,具体可参考以下资料:
https://github.com/apache/dubbo/issues/3193
https://github.com/apache/dubbo-spring-boot-project/issues/476

解决方法:

1
2
3
方法一: 往 SpringBoot 的配置文件(application.properties)中添加对应配置,允许在 Spring 容器内可以覆盖 Bean 的定义: spring.main.allow-bean-definition-overriding=true

方法二: 将 Apache Dubbo-2.7.0 升级到 Apache Dubbo-2.7.1 版本,具体可参考:https://github.com/apache/dubbo-spring-boot-project/issues/467

@DubboReference 注解无法实现注入

错误描述:

1
在 Spring + SpringMVC + Dubbo 的项目中,发现在服务消费者中的 Controller 里面的 @DubboReference 注解会失效,即无法正常注入 Bean,导致程序运行时抛出空指针异常。

错误分析:

1
2
(1) Spring 的扫描根本无法识别 Dubbo 的 @DubboReference 注解;同一方面,Dubbo 的扫描也无法识别 Spring 的 @Controller 注解,所以这两个扫描的顺序要安排好。
(2) 如果先扫描 Spring 的 @Controller 注解,这时候把控制器都实例化好后,再扫描 Dubbo 的 @DubboReference 注解,这样就会无法实现 Bean 的注入,导致程序运行时抛出空指针异常。

解决方法:

第一步:在服务提供者的模块中,先扫描 Spring 的注解(如 @Controller),然后再扫描 Dubbo 的注解(如 @DubboService,为了暴露服务到注册中心),配置示例如下所示:

  • application-context.xml 配置文件
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
<!-- 扫描并注册 Spring 组件 -->
<context:component-scan base-package="com.clay.dubbo.producer"/>

<!-- 配置服务应用名 -->
<dubbo:application name="dubbo-provider-application">
<dubbo:parameter key="qos.enable" value="true"/>
<dubbo:parameter key="qos.port" value="22222"/>
<dubbo:parameter key="qos.accept.foreign.ip" value="false"/>
</dubbo:application>

<!-- 注册中心配置 -->
<dubbo:registry address="zookeeper://192.168.2.235:2181" timeout="5000"/>

<!-- 配置服务协议 -->
<dubbo:protocol name="dubbo" port="20880"/>

<!-- 开启 Dubbo 的注解扫描 -->
<dubbo:annotation package="com.clay.dubbo.producer"/>
  • application-mvc.xml 配置文件
1
2
3
4
5
<!-- 启用 SpringMVC 的注解驱动功能 -->
<mvc:annotation-driven/>

<!-- 扫描 Web 控制器 -->
<context:component-scan base-package="com.clay.dubbo.producer.controller"/>

第二步:在服务消费者的模块中,先扫描 Dubbo 的注解(如 @DubboReference,为了引用远程服务),然后再扫描 Spring 的注解(如 @Controller),配置示例如下所示:

  • application-context.xml 配置文件
1
2
<!-- 扫描并注册 Spring 组件 -->
<context:component-scan base-package="com.clay.dubbo.consumer"/>
  • application-mvc.xml 配置文件
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
<!-- 启用 SpringMVC 的注解驱动功能 -->
<mvc:annotation-driven/>

<!-- 配置服务应用名 -->
<dubbo:application name="dubbo-consumer-application">
<dubbo:parameter key="qos.enable" value="true"/>
<dubbo:parameter key="qos.port" value="22222"/>
<dubbo:parameter key="qos.accept.foreign.ip" value="false"/>
</dubbo:application>

<!-- 注册中心配置 -->
<dubbo:registry address="zookeeper://192.168.2.235:2181" timeout="5000"/>

<!-- 开启 Dubbo 注解扫描(先扫描)-->
<dubbo:annotation package="com.clay.dubbo.consumer"/>

<!-- 扫描 Web 控制器(后扫描) -->
<context:component-scan base-package="com.clay.dubbo.consumer.controller"/>