火山引擎ByteHouse助力中国地震台网中心,快速构建一站式实时数仓
更多技术交流、求职机会,欢迎关注字节跳动数据平台微信公众号,并进入官方交流群
近日,中国地震台网中心与火山引擎达成合作,双方将围绕 ByteHouse 实时数仓展开合作。
中国地震台网中心为中国地震局直属事业单位,是我国防震减灾工作的重要业务枢纽、核心技术平台和基础信息国际交流的重要窗口;从事地震监测、预报预警、应急响应和信息化工作,是统一指导省地震台、中心站业务的国家地震台。
中国地震台网中心地球物理台网部负责人邹锐主任表示,此前中心一直使用开源数据引擎 ClickHouse,但随着数据量不断扩大,在数据的实时写入去重,数据的更新、删除以及集群运维方面存在严重不足,因此亟需找到新的解决方案。
如何在保持高性能查询的情况下完成数据的实时写入去重数据更新以及删除,一直是 ClickHouse 用户比较头疼的问题。以中国地震台网中心为例,中心日常在处理海量数据时,由于开源 Clickhouse 的去重延迟导致数据的准确性降低,同时随着元数据的不断增长,导致集群的重启时间过长,进而影响业务的时效性。
字节跳动在 2017 年就开始大规模启用 ClickHouse,并拥有着国内规模最大的 ClickHouse 集群。在深度使用的过程中,字节跳动积累了大量经验,并对 ClickHouse 做了深度优化与自研改造的工作,最终在 2021 年 8 月正式发布 ByteHouse,并通过火山引擎对外服务。
架构上,火山引擎 ByteHouse 采用自研的高可用引擎 HaEngine,数据实时更新、删除的 HaUnique 引擎,以及高可用实时写入的 HaKafka 引擎,同时在集群的运维和多表关联的场景都做了相应的增强。
在上述提到的实时数仓场景下,ByteHouse 使用全自研的优化,在复杂查询的场景下具备更高的查询效能,丰富的表引擎不仅能帮助地震台网中心实现数据的快速写入去重、更新、删除与分析,还能支持高效方便的运维方式,实现高性能更灵活的实时查询。
作为一款云原生数据仓库,火山引擎 ByteHouse 也可以私有化部署,为像中国地震台网中心等面临海量数据实时分析场景的政企用户们,带来极速的分析体验,助力企业数字化转型。
点击跳转 大数据平台ByteHouse 了解更多
相关文章
- 数据孤岛是业务效率的无声杀手
- 2023展望:新的一年将给大数据分析领域带来什么?
- 阿里云ADB基于Hudi构建Lakehouse的实践
- 大数据在医疗保健领域的使用案例
- 微软增加说明:KB5021751 更新扫描已经 / 即将过时 Office 过程中不会触碰用户隐私
- 2022 Gartner全球云数据库管理系统魔力象限发布 腾讯云数据库入选
- 场景化、重实操,分享一个实时数仓实践案例
- Arctic的湖仓一体践行之路
- 分布式计算MapReduce究竟是怎么一回事?
- 淘系数据模型治理优秀实践
- 大数据分析对医疗保健的影响
- 当我们说大数据Hadoop,究竟在说什么?
- 2022年及以后大数据的五个发展趋势
- 网易严选离线数仓治理实践
- 2023 年数据治理趋势
- 一份“靠谱”的年度经营计划,你学会了吗?
- 漫谈对大数据的思考
- 测试一下,读懂数据的能力,你有吗?
- 用艺术的眼光探索数据之美
- 聊聊数据分析成果如何落地