62 Flume的安装部署
2023-09-11 14:15:40 时间
1、Flume的安装非常简单,只需要解压即可,当然,前提是已有hadoop环境:
- 上传安装包到数据源所在节点上
- 然后解压
tar -zxvf apache-flume-1.6.0-bin.tar.gz
- 然后进入
flume
的目录,修改conf
下的flume-env.sh
,在里面配置JAVA_HOME
2、根据数据采集的需求配置采集方案,描述在配置文件中(文件名可任意自定义)
3、指定采集方案配置文件,在相应的节点上启动flume agent
先用一个最简单的例子来测试一下程序环境是否正常
1、先在flume的conf目录下新建一个文件
vi netcat-logger.conf
# 定义这个agent中各组件的名字
a1.sources = r1
a1.sinks = k1
a1.channels = c1
# 描述和配置source组件:r1
a1.sources.r1.type = netcat
a1.sources.r1.bind = localhost
a1.sources.r1.port = 44444
# 描述和配置sink组件:k1
a1.sinks.k1.type = logger
# 描述和配置channel组件,此处使用是内存缓存的方式
a1.channels.c1.type = memory
a1.channels.c1.capacity = 1000
a1.channels.c1.transactionCapacity = 100
# 描述和配置source channel sink之间的连接关系
a1.sources.r1.channels = c1
a1.sinks.k1.channel = c1
2、启动agent去采集数据
bin/flume-ng agent -c conf -f conf/netcat-logger.conf -n a1 -Dflume.root.logger=INFO,console
-c conf 指定flume自身的配置文件所在目录
-f conf/netcat-logger.con 指定我们所描述的采集方案
-n a1 指定我们这个agent的名字
3、测试
先要往agent采集监听的端口上发送数据,让agent有数据可采
随便在一个能跟agent节点联网的机器上
telnet anget-hostname port (telnet localhost 44444)
相关文章
- 在Vmware中安装CentOS7
- Ubunut18 安装docker环境&&AWD攻防平台部署
- 开源PLM: ARAS Innovator 12.0 SP9 的安装部署全过程与汉化流程
- Ubuntu 12.10 安装 jdk-7u10-linux-x64.tar.gz(转载)
- JAVA-数据库之MySQL与JDBC驱动下载与安装
- 【监控】ganglia 安装部署
- idea 安装热部署插件
- SQOOP安装部署
- nginx安装
- webpack的安装与基本使用
- Centos7.4安装openstack(queens)详细安装部署(三)-镜像服务(glance)安装
- Centos7 k8s v1.5.2二进制部署安装-服务暴露ingress控制器之traefik
- Centos7 k8s安装部署
- Flink(5):Flink安装部署之Standalone-HA高可用集群模式
- bind9 安装:部署自建dns系统
- hue安装部署
- 日志采集框架Flume以及Flume的安装部署(一个分布式、可靠、和高可用的海量日志采集、聚合和传输的系统)
- Memcache安装与使用
- kubernetes 二进制安装(v1.20.15)(八)部署 网络插件
- php集成开发环境的安装以及Zend Studio开发工具的安装
- ElasticSearch安装部署,基本配置(Ubuntu14.04)
- Gitlab----使用Docker方式安装部署Gitlab
- 云计算|OpenStack|社区版OpenStack安装部署文档(六 --- 网络服务neutron的安装部署---Rocky版)
- 云计算|OpenStack|社区版OpenStack安装部署文档(四 --- 镜像服务glance安装部署---Rocky版)
- Linux centos7下pycharm的安装教程
- Kali Linux安装配置(2019.1a)
- a32.ansible 生产实战案例 -- 基于kubeadm安装kubernetes v1.22 -- 集群部署(一)