大数据之Atlas元数据管理「建议收藏」
数据 建议 收藏 数据管理 Atlas
2023-06-13 09:11:45 时间
大家好,又见面了,我是你们的朋友全栈君。
背景:
公司做数据仓库时,管理自己多张表时,需要使用数仓元数据管理系统进行管理。
一、Atlas简介
Atlas 是一个可伸缩且功能丰富、开源的元数据管理系统,深度对接了 Hadoop 大数据组件。
atlas 本身从技术上来说,就是一个典型的 JAVA WEB 系统,其整体结构图如下所示:
janusGraph (底层存储) :依赖于 hbase 和 solr
core (核心功能层): 相当于 javaee 里面的 service 层
integration(对外提供服务):相当于 javaee 里面的 controller 层
二、Atlas安装
1、下载源码包,并上传到linux,解压
tar -zxf apache-atlas-2.0.0-sources.tar.gz -C /opt/app/
2、执行 maven 编译打包
[root@h4 ~]# cd apache-atlas-sources-2.0.0/
[root@h4 apache-atlas-sources-2.0.0]# export MAVEN_OPTS="-Xms2g -Xmx2g"
[root@h4 apache-atlas-sources-2.0.0]# mvn clean -DskipTests package -Pdist,embedded-hbase-solr
3、Atlas 安装配置
若是之前安装了zookeeper,kafka,hbase直接启动就行
4、安装solr
[root@h3 solr]# bin/solr start -c -z h1:2181,h2:2181,h3:2181 -p 8984 -force
初始化 solr 中的索引数据
${SOLR}/bin/solr create -c vertex_index -shards 1 -replicationFactor 1 -force
${SOLR}/bin/solr create -c edge_index -shards 1 -replicationFactor 1 -force
${SOLR}/bin/solr create -c fulltext_index -shards 1 -replicationFactor 1 -force
5、配置及启动 atlas
上传 atlas 编译好之后的安装包
sftp> put d:/apache-atlas-bin-2.0.0.tar.gz /root/
修改配置文件
vi atlas-env.sh
export JAVA_HOME=/opt/app/jdk1.8.0_191/
export MANAGE_LOCAL_HBASE=false (如果要使用内嵌的 zk 和 hbase,则改为 true)
export MANAGE_LOCAL_SOLR=false (如果要是用内嵌的 solr,则改为 true)
export HBASE_CONF_DIR=/opt/apps/hbase-2.0.6/conf
vi atlas-application.properties
# Hbase 地址配置
atlas.graph.storage.hostname=doitedu01:2181,doitedu02:2181,doitedu03:2181
(如果使用内嵌 hbase,则填写 localhost:2181)
# Solr 地址配置
#Solr http mode properties
atlas.graph.index.search.solr.mode=http
atlas.graph.index.search.solr.http-urls=http://h3:8984/solr(solr 服务地址)
# Kafka 地址配置
atlas.notification.embedded=false (如果要使用内嵌的 kafka,则改为 true)
atlas.kafka.zookeeper.connect=doitedu01:2181,doitedu02:2181,doitedu03:2181
atlas.kafka.bootstrap.servers=doitedu01:9092,doitedu02:9092,doitedu03:9092
######### Server Properties #########
atlas.rest.address=http://doitedu01:21000
启动 atlas
[root@h3 apache-atlas-2.0.0]#
发布者:全栈程序员栈长,转载请注明出处:https://javaforall.cn/140168.html原文链接:https://javaforall.cn
相关文章
- 使用 Java8的 stream对list数据去重,使用filter()过滤列表,list转map「建议收藏」
- Mysql清空表中数据「建议收藏」
- 大数据可视化方法有哪些「建议收藏」
- 搞定高质量数据可视化的20条建议
- 远程读取elasticSearch数据库并导出数据「建议收藏」
- 数据同步利器-otter的搭建使用说明「建议收藏」
- python数据统计分析「建议收藏」
- 数据仓库和数据集市详解:ODS、DW、DWD、DWM、DWS、ADS「建议收藏」
- Oracle恢复某个时间之前的数据「建议收藏」
- 第二篇 FastAI数据准备「建议收藏」
- vue双向数据绑定的原理「建议收藏」
- kettle工具实现数据清洗「建议收藏」
- ASP.NET GridView 内嵌 DropDownList 绑定数据「建议收藏」
- mysql workbench 1142,Mysql Workbench错误1142“错误查询安全信息”;关于数据导出「建议收藏」
- rock数据集ResNet34实现「建议收藏」
- mysql批量插入大量数据「建议收藏」
- 如何给一个数据可视化报表产品优雅地提建议(二)
- 建议收藏!数据可视化大屏设计必备步骤
- MongoDB压缩备份数据,实现高效管理(mongodbzip)
- Asp.net在页面间传递大量数据(数据表)建议采用的方法