云原生分布式 PostgreSQL+Citus 集群在 Sentry 后端的实践
2023-02-19 12:24:26 时间
优化一个分布式系统的吞吐能力,除了应用本身代码外,很大程度上是在优化它所依赖的中间件集群处理能力。如:kafka/redis/rabbitmq/postgresql/分布式存储(CephFS,JuiceFS,C urve,Longhorn)等集群的处理能力。
分布式存储集群(Longhorn)
这里主要用于 Citus 集群的协调器(coordinator)和工作器(worker) 节点的数据持久化。
具体文档,请参阅:https://longhorn.io/
分布式 PostgreSQL 集群(Citus)
这里主要用于对 Sentry 事件源数据大表 nodestore_node 的分片。
具体文档,请参阅:
https://docs.citusdata.com/en/v11.1/
读写分离和高可用(PgPool+Repmgr)
这里主要用于对 Citus 节点(协调器/工作器)进行读写分离和主备高可用。
具体文档,请参阅:
https://www.pgpool.net/docs/pgpool-II-4.2.3/en/html/example-kubernetes.html
https://repmgr.org/
管理集群节点(PgAdmin)
具体文档,请参阅:
https://www.pgadmin.org/
nodestore_node 大表分片
选择分布式 key,并将表转换分布式表,这里将表划分为 64 个分片,数据平均分配到 6 台 worker 节点:
总结
中间件集群基础设施建设,本身涉及细节较多,可以说是另一个领域。
本文提供了一种笔者的实践思路,抛砖引玉。
相关文章
- 从全球顶级数据库大会 SIGMOD 看数据库发展趋势
- 数据库事务一致性实现上的各种细节,你注意到了吗? | DB·洞见
- 【数据库原理与运用|MySQL】MySQL存储过程(详细超全)
- T-SQL程序练习01
- windows 安装postgresql 14
- 设计数据库中常见的规范
- 通过Logstash复制MySQL数据到ElasticSearch
- mysql分组和排序同时使用时查询数据异常
- canal-adapter消费Kafka中MySQL的binlog数据,却没有同步更新Elastic search
- MySQL同步数据到Elasticsearch
- MySQL索引知识点梳理
- 数据库主从(主主)配置
- x微前台绕过鉴权执行sql分析
- SQL Server 2000遇到“用户XX已经存在”解决方案
- 定时自动释放SQL SERVER占用内存的方法
- 基于PHP的PDO编写的MySQL类2.0版源码分享
- 定时处理MySQL超时Locked进程的Shell脚本
- Fedora16通过yum源安装MySQL的正确方法
- Java学习笔记 DbUtils数据库查询和log4j日志输出 使用
- 安卓权限申请处理框架Android-UsesPermission