DataHub: 现代数据栈的元数据平台--如何基于acryl-datahub摄取元数据
2023-09-11 14:16:24 时间
什么是acryl-datahub?
acryl-datahub是基于python开发的、可扩展的元数据系统
- 支持使用Kafka或通过REST API向DataHub发送数据
- 支持通过CLI工具使用
- 支持通过任务调度系统如Airflow使用
- 可以作为一个库使用,方便集成到项目代码中
如何安装acryl-datahub
安装acryl-datahub
最新版本是:0.8.24.1,可通过命令pip install acryl-datahub
进行安装
注意:前提是 Python 3.6+
python3 -m pip install --upgrade pip wheel setuptools
python3 -m pip install --upgrade acryl-datahub
datahub version
安装摄取插件
acryl-datahub使用插件架构,目前支持的Source插件 34个、Sink插件4个。可以根据实际业务需要,只安装真正需要的依赖项。
常用的摄取插件如下表所示
Plugin Name |
---|
相关文章
- 大数据平台助力核与辐射安全监管
- centos8平台:redis6配置启用io多线程(redis6.0.1)
- 平台云Deis部署2-deisctl安装
- EasyCamera海康摄像机向EasyDarwin云平台推送音视频数据的缓存设计
- 近百万条数据、3 秒查询,TDengine 助力北微云平台的搭建
- Jenkins X:基于Kubernetes的CI/CD平台
- SAP BTP 平台 CloudFoundry 环境入门级别的介绍
- 如何上传HTML5应用到SAP云平台的Cloud Foundry环境下
- 在Corporate Network里配置SAP Cloud Connector连接SAP云平台,需要设置代理
- ML之FE:利用【数据分析+数据处理】算法对国内某平台上海2020年6月份房价数据集【12+1】进行特征工程处理(史上最完整,建议收藏)
- 【大数据&AI人工智能】数据平台的演进与发展
- 华为方舟编译器正式开源,采用自主平台托管
- Windows平台分布式网站系统应用(转)
- android平台Camera采集数据ffmpeg进行编码探究
- 自动驾驶数据采集和分析平台--ADAS Logger
- 平台debug(代码数据比对)
- 基础的 Web Services 平台是 XML + HTTP。
- [转]C# 互操作性入门系列(三):平台调用中的数据封送处理
- RK3399平台开发系列讲解(系统修改记录篇)1.3、开机动画代码的添加
- 4. 业务数据采集平台搭建
- 操作指南|零基础快速入门麦聪DaaS平台 - 系统配置数据API开发
- SuperSeries 超gse号geo下载并处理表达矩阵duqiang同一个gse数据集里存在不同的测序平台产生的数据 生信技能树——GEO芯片数据的合并 如何去除批次效应 rnaseq去除批次效应