利用复制(分发订阅)延时计算业务数据

[TOC]

应用条件

  1. 数据结果可接受延时(具硬,不接受这条不用往下看了)
  2. 多个横向业务多个库,业务数据具有流转性
  3. 结果数据需多个业务库数据支持
  4. 来张图吧,如下
    image
  • 图说明
    1. 利用事务复制(分发订阅)把业务源数据从B层同步到P层
    2. P层在汇总的数据基础之上把结果周期性(10,20,30分钟)数据汇总到新表
    3. P层的新表数据流转到N层,N层对外提供结果数据

解决了些什么?

  1. 减少B层库负载
  2. 可在P层对数据表拆分\合并数据
  3. 避免跨库取数据
  4. N层结果数据快速输出(无需计算已是结果数据,周\月\年\报表类)

踩坑说明

  1. 初期复制中遇到各种问题
  2. 需要额外验证机制、预警,对数据不同步的情况及时处理
  3. 更多,参考复制常见问题总结

复制问题排查进阶——复制监视器

  1. 复制监视器是个好东西,小红叉要及时处理
  2. 数据验证(库与订阅库是否一致,不太靠谱实际中遇到过验证通过(验证多次,验证选项也都试了一遍),但数据条数就是不一样的情况)

image

  1. 令牌跟踪(分布,分发,订阅时效性能,当前是否正常的状态

image

  1. 记录日志仔细看,还得有点耐心,没动静可能是日志记录还没刷新过来,别急的又去其他操作(被坑多次,锤自己…)
  2. 事务日志剧增,定时任务收缩日志

版权声明：本文为dayou123123原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://www.cnblogs.com/dayou123123/p/8334515.html