您现在的位置是：首页 > 数据库

当前栏目

Java开发面试题目，java开发技术经理招聘

mysql JAVA 数据库数据库存储系统数据面试开发

2023-03-02 11:48:27 时间

### ClickHouse 是什么？ ###

> ClickHouse：是一个用于联机分析(OLAP)的列式数据库管理系统(DBMS)

我们首先理清一些基础概念

*  OLTP：是传统的关系型数据库，主要操作增删改查，强调事务一致性，比如银行系统、电商系统
 *  OLAP：是仓库型数据库，主要是读取数据，做复杂数据分析，侧重技术决策支持，提供直观简单的结果

接着我们用图示，来理解一下**列式数据库**和**行式数据库**区别

在传统的行式数据库系统中（MySQL、Postgres和MS SQL Server），数据按如下顺序存储：

![d7e7b3b0cb085c964fc56cbee49f742b.png][]

在列式数据库系统中（ClickHouse），数据按如下的顺序存储：![8c596a5b491ff8ecd45f1b5de3aa14a5.png][]

两者在存储方式上对比：

![e5c4ece0732ac56ca590f7f77e760d52.png][]

以上是ClickHouse基本介绍

### 二、业务问题 ###

业务端现有存储在Mysql中，5000万数据量的大表及两个辅表，单次联表查询开销在3min+，执行效率极低。经过索引优化、水平分表、逻辑优化，成效较低，因此决定借助ClickHouse来解决此问题

最终通过优化，**查询时间降低至1s内，查询效率提升200倍！**

希望通过本文，可以帮助大家快速掌握这一利器，并能在实践中少走弯路。

### 三、ClickHouse实践 ###

##### 1.Mac下的Clickhouse安装 #####

我是通过docker安装，也可以下载CK编译安装，相对麻烦一些。

##### 2.数据迁移：从Mysql到ClickHouse #####

ClickHouse支持Mysql大多数语法，迁移成本低，目前有\[五种迁移\]

*  create table engin mysql，映射方案数据还是在Mysql
 *  insert into select from，先建表，在导入
 *  create table as select from，建表同时导入
 *  csv离线导入
 *  streamsets

选择第三种方案做数据迁移：

`CREATE TABLE [IF NOT EXISTS] [db.]table_name ENGINE = Mergetree AS SELECT * FROM mysql('host:port', 'db', 'database', 'user', 'password')`

##### 3.性能测试对比 #####

<table> 
 <thead> 
  <tr> 
   <th>类型</th> 
   <th>数据量</th> 
   <th>表大小</th> 
   <th>查询速度</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>Mysql</td> 
   <td>5000万</td> 
   <td>10G</td> 
   <td>205s</td> 
  </tr> 
  <tr> 
   <td>ClickHouse</td> 
   <td>5000万</td> 
   <td>600MB</td> 
   <td>1s内</td> 
  </tr> 
 </tbody> 
</table>

##### 4.数据同步方案 #####

**临时表**

![b16fa0ff6acbaa9192dcb15ed48a0ed2.png][]

图片来源：新建temp中间表，将Mysql数据全量同步到ClickHouse内temp表，再替换原ClickHouse中的表，适用数据量适度，增量和变量频繁的场景

### 最后 ###

我还为大家准备了一套体系化的架构师学习资料包以及BAT面试资料，供大家参考及学习，**[戳这里免费领取][Link 1]**

已经将知识体系整理好（源码，笔记，PPT，学习视频）免费领取。

![在这里插入图片描述][17880fa78208a25dbd7bc8b73dc250b3.png]

![在这里插入图片描述][430308753613d40ef47a7ba79f7175a7.png]

![在这里插入图片描述][ea5b403b6eba6b9233d6da1f49244047.png]

外链图片转存中…(img-pfOhqtQK-1625817519147)\]

\[外链图片转存中…(img-lP9ND75D-1625817519148)\]

[d7e7b3b0cb085c964fc56cbee49f742b.png]: /images/20210720/3a79f726325240baadcac88d3b19628f.png
[8c596a5b491ff8ecd45f1b5de3aa14a5.png]: /images/20210720/bb6eb6f6feab41e2b3436ca65b9c50ae.png
[e5c4ece0732ac56ca590f7f77e760d52.png]: /images/20210720/81a28aef96e741449b6309f0a45ff12c.png
[b16fa0ff6acbaa9192dcb15ed48a0ed2.png]: /images/20210720/65b8ae2bf85147b18bdf177ccc8c018c.png
[Link 1]: https://gitee.com/vip204888/java-p7
[17880fa78208a25dbd7bc8b73dc250b3.png]: /images/20210720/7434c17a4441497aa7244d4c2579126f.png
[430308753613d40ef47a7ba79f7175a7.png]: /images/20210720/a76cbf2bec24401aa7193ffba551fc3c.png
[ea5b403b6eba6b9233d6da1f49244047.png]: /images/20210720/93f6d25de57349cfaa893ce9187f46f8.png

猜你喜欢

Java Arrays类
Python学习资料总结
java----------Arrays类
使用Eclipse开发Python
构建云上勒索病毒防护体系，轻松保护数据完整性
Python 使用ORM框架
java内存泄漏
EC2 实例更新 #8211；另外两种 M5 R5 实例大小
python的时间处理
java内存泄漏
时间处理脚本（python）
AWS RDS MySQL 优化
利用 AWS DMS 在线迁移 MongoDB 到 Amazon Aurora
java 操作XML
python 移动一个目录
Python装饰器学习
利用 AWS Transit Gateway 构建全球传输网络 Global Transit Network
java volatile关键字
Scrapy的安装_Python
AWS Security Hub 现已正式发布

zl程序教程

当前栏目

Java开发面试题目，java开发技术经理招聘

相关文章