网站首页 > 技术文章 正文
软件系统数据库的分库分表设计
系统读写分离、分库分表技术实现采用MyCat中间件,MyCat 是一款开源(遵循 Apache License 2.0 协议)的大数据库集群中间件,用于搭建数据库的分布式集群,实现分库分表功能,解决数据库中海量数据存储和查询性能的问题。MyCat 还是一个数据库的集群中间件,主要实现 RDBMS 数据库集群的故障转移、负载均衡、读写分离等功能。
MyCat 的关键技术是分库分表,它通过将数据库中物理表中的数据切分成多个表分片,并将表分片存储在多个数据库节点上,从而构建分布式存储架构,提升巨表关联、排序、分组聚合等 OLAP 的能力。
分库分表的工作原理:拦截客户端提交的SQL语句并进行分析(如:分片分析、路由分析、读写分离分析、缓存分析等),然后将此SQL发往后端的真实数据库,并将返回的结果处理(如:数据合并)后再返回给客户端。如下图:
分库分表单规则匹配1
分库分表单规则匹配2
MyCat 还是一个位于数据库和客户端之间,主要实现读写分离功能的集群中间件。主要解决在业务系统存在大量的读并发时,通过负载均衡提高查询请求吞吐量,并将多个数据库节点集群化管理,在多主集群中单点数据库故障时候选主节点切换。
图90MyCat数据库集群
MyCat组件适用于的场景如下:
1)适用于 MySQL 、Oracle等主流数据库集群的读写分离、候选主节点切换、负载均衡等高可用模式;
2)适用于 MySQL 、Oracle等主流数据库集群的分表分库,对于单表数据超过1000 万的物理表进行分片,最大支持1000亿数据的单表分片;
3)适用于多租户应用,通过分库分表实现应用数据按照租户划分物理数据库存储。从租户的角度来看,个人应用的数据集约存储在独立的空间,从应用角度看,分布式数据库有利于海量数据的分析和查询;
4)适用于海量数据的统计、分析、研判等 OLAP 能力的支撑数据库,分库分表能够快速完成巨表关联、排序、分组聚合等数据计算功能;
5) 适用于海量数据的实时查询,如:百亿数据频繁查询的记录需要在3秒内反馈结果,包括主键查询、范围查询或其他属性查询的情况;
? 数据库集群部署拓扑图
猜你喜欢
- 2024-11-16 项目spring boot实践系列4——分库分表
- 2024-11-16 sharding-jdbc oracle分表避坑(jdbctemplate分页查询oracle)
- 2024-11-16 数据库分库分表介绍(数据库的分库分表概念)
你 发表评论:
欢迎- 607℃几个Oracle空值处理函数 oracle处理null值的函数
- 599℃Oracle分析函数之Lag和Lead()使用
- 587℃0497-如何将Kerberos的CDH6.1从Oracle JDK 1.8迁移至OpenJDK 1.8
- 583℃Oracle数据库的单、多行函数 oracle执行多个sql语句
- 579℃Oracle 12c PDB迁移(一) oracle迁移到oceanbase
- 572℃【数据统计分析】详解Oracle分组函数之CUBE
- 559℃最佳实践 | 提效 47 倍,制造业生产 Oracle 迁移替换
- 552℃Oracle有哪些常见的函数? oracle中常用的函数
- 最近发表
- 标签列表
-
- 前端设计模式 (75)
- 前端性能优化 (51)
- 前端模板 (66)
- 前端跨域 (52)
- 前端缓存 (63)
- 前端aes加密 (58)
- 前端脚手架 (56)
- 前端md5加密 (54)
- 前端路由 (61)
- 前端数组 (73)
- 前端js面试题 (50)
- 前端定时器 (59)
- 前端获取当前时间 (50)
- Oracle RAC (76)
- oracle恢复 (77)
- oracle 删除表 (52)
- oracle 用户名 (80)
- oracle 工具 (55)
- oracle 内存 (55)
- oracle 导出表 (62)
- oracle约束 (54)
- oracle 中文 (51)
- oracle链接 (54)
- oracle的函数 (58)
- 前端调试 (52)
本文暂时没有评论,来添加一个吧(●'◡'●)