Apache Doris 集群升级

Apache Doris 可以通过滚动升级的方式，平滑进行升级。升级顺序是先升级BE，再升级FE，不能颠倒升级顺序。Doris保证BE向后兼容FE。

Apache Doris 可以通过滚动升级的方式 平滑进行升级。升级顺序是先升级BE 再升级FE 不能颠倒升级顺序。Doris保证BE向后兼容FE。

升级的过程可以分为

测试 Doris BE 升级的正确性

测试 Doris FE 元数据兼容

滚动升级

观察升级后的集群服务

注

1.为了保证在集群升级过程中 Doris服务是可用的 建议Doris集群 在高可用部署的情况下进行。即数据 3 副本 FE 高可用情况下。

2.Doris 不支持跨两位版本升级 比如你现在使用的是0.12.x版本 不能直接升级到0.14.x版本 必须首先升级0.13.x版本 Doris 可以跨三位版本进行生 比如你可以从0.13.15版本直接升级到0.14.13版本 这点非常重要

3.Doris FE 元数据目前不支持回退在升级之前一定要做好元数据备份和元数据兼容测试

1.升级准备

准备好要升级的 Doris 安装包

准备一个测试FE节点 你可以临时使用某一个BE节点作为测试FE节点 将FE安装包复制到这个节点

将 BE 和 FE 新版本的二进制文件分发到集群各自节点指定目录下 目录自己指定 不是doris安装目录即可 方便后面升级文件拷贝 。

小版本升级 BE 只需升级 palo_be FE 只需升级 palo-fe.jar 建议整体替换fe安装目录下的lib目录。

大版本升级 则可能需要升级其他文件 包括但不限于 bin/ lib/ 等 如果不确定是否需要替换其他文件 全部替换即可 备份你的 FE 和 BE conf配置文件。

在正式升级之前为了保证升级失败能回滚 强烈建议备份 Doris FE 的元数据 一旦升级失败因为Doris 元数据不支持兼容低版本 没办法回退

2.测试 Doris BE 升级正确性

任意选择一个 BE 节点 j将拷贝过来的BE安装包里lib目录下最新的 palo_be 二进制文件 复制到你的Doris BE lib目录下palo_be替换成最新的 这里如果你不确定 可以替换整lib目录 如果是大版本升级将你的配置文件 conf目录 备份出来 替换整个安装目录 然后将配置文件在还原回去

重启 BE 节点 通过 BE 日志 查看是否启动成功。

如果启动成功就可以按照这个方式滚动升级其他BE节点。

如果启动失败 可以先排查原因。如果错误不可恢复 可以直接通过 DROP BACKEND 删除该 BE、清理数据后 使用上一个版本的 palo_be 重新启动 BE。然后重新 ADD BACKEND。 该方法会导致丢失一个数据副本 请务必确保3副本完整的情况下 执行这个操作

3.测试 Doris FE 元数据兼容性

重要预警 !元数据兼容性异常很可能导致数据无法恢复

单独使用新版本部署一个测试用的 FE 进程 比如自己本地的开发机,或者其他的BE节点 。

修改测试用的 FE 的配置文件 fe.conf。

在 fe.conf 添加配置 cluster_id 123456

在 fe.conf 添加配置 metadata_failure_recovery true

拷贝线上环境 Master FE 的元数据整个目录到你刚部署的测试环境

将拷贝到测试环境中的doris-meta/image/VERSION 文件中的 cluster_id 修改为 123456 即与第3步中相同

在测试环境中 运行 sh bin/start_fe.sh 启动 FE

通过 FE 日志 fe.log 观察是否启动成功。

如果启动成功 运行 sh bin/stop_fe.sh 停止测试环境的 FE 进程。

以上 2-6 步的目的是防止测试环境的FE启动后 错误连接到线上环境中。

4.滚动升级

在完成 BE 数据正确性及 FE 元数据兼容性验证后 将 BE 和 FE 新版本的二进制文件分发到各自目录下。

通常小版本升级 BE 只需升级 palo_be 而 FE 只需升级 palo-fe.jar。如果是大版本升级 则可能需要升级其他文件 包括但不限于 bin/ lib/ 等等 如果你不清楚是否需要替换其他文件 建议全部替换。

确认新版本的文件部署完成后。逐台重启 FE 和 BE 实例即可 首先完成BE的升级 重启。然后在重启FE

建议逐台重启 BE 后 再逐台重启 FE。因为通常 Doris 保证 FE 到 BE 的向后兼容性 即老版本的 FE 可以访问新版本的 BE。但可能不支持老版本的 BE 访问新版本的 FE。

建议确认前一个实例启动成功后 在重启下一个实例。实例启动成功的标识

应用实践 | 数仓体系效率全面提升！同程数科基于 Apache Doris 的数据仓库建设 同程数科成立于 2015 年，是同程集团旗下的旅游产业金融服务平台。2020 年，同程数科基于 Apache Doris 丰富的数据接入方式、优异的并行运算能力、极简运维等特性，引入 Apache Doris 进行数仓架构2.0 的搭建。本文详细讲述了架构1.0 到 2.0 的演进过程及 Doris 的应用实践，希望对大家有所帮助
Apache Doris 整合 FLINK CDC + Iceberg 构建实时湖仓一体的联邦查询 这篇教程将展示如何使用 Flink CDC + Iceberg + Doris 构建实时湖仓一体的联邦查询分析，Doris 1.1版本提供了Iceberg的支持，本文主要展示Doris和Iceberg怎么使用，同时本教程整个环境是都基于伪分布式环境搭建，大家按照步骤可以一步步完成。完整体验整个搭建操作的过程。
应用实践 | 10 亿数据秒级关联，货拉拉基于 Apache Doris 的 OLAP 体系演进 货拉拉成立于 2013 年，成长于粤港澳大湾区，是一家从事同城、跨城货运、企业版物流服务、搬家、汽车销售及车后市场服务的互联网物流公司。截至 2022 年 4 月，货拉拉的业务范围已经覆盖了国内 352 座城市，月活司机达到 58 万，月活用户达到 760 万，包含 8 条以上的业务线。 货拉拉大数据体系为支撑公司业务，现在已经成立三个 IDC 集群、拥有上千台规模的机器数量，存储量达到了 20PB、日均任务数达到了 20k 以上，并且还处在快速增长的过程中
知乎基于 Apache Doris 的 DMP 平台架构建设实践｜万字长文详解 知乎基于业务需求搭建了 DMP 平台，本文详细的介绍了 DMP 的工作原理及架构演进过程，同时介绍了 Apache Doris 在 DMP 平台的应用实践，本文对大家了解 DMP 工作方式很有帮助，欢迎阅读。 作者｜用户理解 & 数据赋能研发 Leader 侯容
Apache Doris 查询分析功能使用 Doris提供了一个图形化的命令帮助用户方便分析一个具体的查询或者导入操作，在使用过程中的性能问题，本文主要介绍如何使用改功能.
使用 Apache Doris HyperLogLog 实现近似去重 在实际的业务场景中，随着业务数据量越来越大，对数据去重的压力也越来越大，当数据达到一定规模之后，使用精准去重的成本也越来越高，在业务可以接受的情况下，通过近似算法来实现快速去重降低计算压力是一个非常好的方式，本文主要介绍 Doris 提供的 HyperLogLog（简称 HLL）是一种近似去重算法。
基于Ansible实现Apache Doris快速部署运维指南 Apache Doris是一个现代化的MPP分析型数据库产品。仅需亚秒级响应时间即可获得查询结果，有效地支持实时数据分析。Apache Doris的分布式架构非常简洁，易于运维，并且可以支持10PB以上的超大数据集。
通过Nginx TCP反向代理实现Apache Doris负载均衡 Nginx能够实现HTTP、HTTPS协议的负载均衡，也能够实现TCP协议的负载均衡。那么，问题来了，可不可以通过Nginx实现Apache Doris数据库的负载均衡呢？答案是：可以。接下来，就让我们一起探讨下如何使用Nginx实现Apache Doris的负载均衡。