告别数据开发中的人工审核!火山引擎 DataLeap 落地“自动校验开发规范”能力
更多技术交流、求职机会,欢迎关注字节跳动数据平台微信公众号,回复【1】进入官方交流群
近期,火山引擎 DataLeap 智能市场上线“数仓建表规范”功能,该功能通过规范数仓场景下的建表流程,提升项目开发效率,实现快速追踪数据链路,并有效保障交付质量。
数仓建设是数据开发的基础工作之一。在日常数据开发过程中,经常涉及多方协同、互相配合,如何在团队实现规范建表是管理者经常面临的问题。现阶段往往通过建立规范文档,并匹配人工审核的方式来解决,但不仅增加人工成本,也难以避免出现遗漏。
火山引擎 DataLeap 此次上线的“数仓建表规范”则一举解决这一难题。通过预设置建表规范信息,帮助开发人员实现建表规则自动检验,保障规范在项目中落地,提升数据建模质量。对于数据研发人员来说,可以根据组内规范,快速上手开发,省时省力;对于数据分析师、产品经理来说,通过表名中的产品线、业务域、主题等,方便快速定位所需的表。
据介绍,火山引擎 DataLeap“数仓建标规范”功能支持表描述、表存储格式等物理数据检查和表状态、产品线、业务域等标签元数据检查。通过 HSQL DDL 建表或数据地图中导航式/DDL 建表时,均可实现表名规范的自动化检查。
![](https://static001.geekbang.org/infoq/f3/f30d3ebdde768554bce7c90305d5e56a.png)
目前,火山引擎 DataLeap“数仓建标规范”功能主要应用于以下四个场景:
-
场景 1:通过数据研发 HSQL 任务新建表,点击解析、调试或上线时,若表名不符合规范,则触发表名规范校验,出现错误提示。
-
场景 2:数据研发工作流任务,通过 HSQL 类型的节点新建表,点击调试或上线时,若表名不符合规范,则触发表名规范校验,出现错误提示。
-
场景 3:通过数据研发临时查询->HSQL 新建表,点击解析或运行时,若表名不符合规范,触发表名规范校验,出现错误提示。
-
场景 4:通过数据地图导航式或 DDL 新建表,点击解析或提交,若表名不符合规范,触发表名规范校验,出现错误提示。 通过数据地图新建表时,需先选择项目,表名规范检查才会生效。
![](https://static001.geekbang.org/infoq/c6/c612bff37e9565db9009244644f268d0.png)
火山引擎 DataLeap 是一站式数据中台套件产品,帮助用户快速完成数据集成、开发、运维、治理、资产、安全等全套数据中台建设,提升数据研发效率、降低管理成本,搭配 EMR/LAS 大数据存储计算引擎,加速企业数据中台及湖仓一体平台建设,为企业数字化转型提供数据支撑。目前,火山引擎 DataLeap 已经应用于泛互联网、制造、新零售、汽车等行业企业等领域。
点击跳转 大数据研发治理套件 DataLeap 了解更多
相关文章
- 直接在代码里面对list集合进行分页
- .NET Framework 4.5新特性详解
- 大数据的简要介绍
- 大数据的由来
- 高斯混合模型的自然梯度变量推理
- timing-wheel 仿Kafka实现的时间轮算法
- 使用Navicat软件连接自建数据库(Linux系统)
- 那一天,我被Redis主从架构支配的恐惧
- Redis 深入了解键的过期时间
- C#使用委托调用实现用户端等待闪屏
- 基于流计算 Oceanus 和 Elasticsearch Service 构建百亿级实时监控系统
- GRAND | 转录调控网络预测数据库
- JFreeChart API中文文档
- 临床相关突变查询数据库
- TIGER | 人类胰岛基因变化查询数据库
- 视频边缘计算网关EasyNVR在视频整体监控解决方案中的应用分析
- Apache Arrow - 大数据在数据湖后的下一个风向标
- 常见的电商数据指标体系
- AKShare-艺人数据-艺人流量价值
- MySQL中多表联合查询与子查询的这些区别,你可能不知道!