zl程序教程

您现在的位置是:首页 >  云平台

当前栏目

DataHub: 现代数据栈的元数据平台--如何基于acryl-datahub摄取元数据

平台数据 如何 基于 -- 现代
2023-09-11 14:16:24 时间

什么是acryl-datahub?

acryl-datahub是基于python开发的、可扩展的元数据系统

  • 支持使用Kafka或通过REST API向DataHub发送数据
  • 支持通过CLI工具使用
  • 支持通过任务调度系统如Airflow使用
  • 可以作为一个库使用,方便集成到项目代码中

如何安装acryl-datahub

安装acryl-datahub

最新版本是:0.8.24.1,可通过命令pip install acryl-datahub进行安装

注意:前提是 Python 3.6+

python3 -m pip install --upgrade pip wheel setuptools
python3 -m pip install --upgrade acryl-datahub
datahub version

安装摄取插件

acryl-datahub使用插件架构,目前支持的Source插件 34个、Sink插件4个。可以根据实际业务需要,只安装真正需要的依赖项。

常用的摄取插件如下表所示

Plugin Name