大数据技术之Flume研究摘要(一)
Flume是Cloudera提供的一个高可用的,高可靠的。分布式的海量日志採集、聚合和传输的系统,Flume支持在日志系统中定制各类数据发送方,用于收集数据;同一时候,Flume提供对数据进行简单处理,并写到各种数据接受方(可定制)的能力。
Flume有两个版本号,Flume 0.9X或CDH3及更早版本号的统称Flume-og,Flume-og由agent、collection、master等组件组成。Flume1.X或CDH4及以后的版本号统称Flume-ng,Flume-ng由agent、client等组件组成。截止到眼下为止,Flume最新版本号为1.6.0版本号。Flume1.6.0有几个新特性:
- Flume Sink and Source for Apache Kafka(source、sink新增对Kafka的支持)
- A new channel that uses Kafka(channel使用Kafka的消息通道)
- Hive Sink based on the new Hive Streamingsupport
- End to End authentication in Flume
- Simple regex search-and-replace interceptor(拦截器支持简单的正則表達式)
Agent
Flume执行的核心是agent,agent用于採集数据。将数据源的数据发送给collector。它是一个完整的数据收集工具,含有三个核心组件,各自是source、channel、sink。Event从Source,流向Channel,再到Sink。Event代表着一个数据流的最小完整单元,从外部数据源来。向外部的目的地去。Source:完毕对日志数据的收集,分成transtion和 event 打入到channel之中。Channel:主要提供一个队列的功能,对source提供中的数据进行简单的缓存。Sink:取出Channel中的数据,进行对应的存储文件系统。数据库。或者提交到远程server。
通过这些组件,event能够从一个地方流向还有一个地方,例如以下图所看到的。
Source消费从外部流进的Events,如AvroSource接收外部client传来的或是从别的agent流出来的Avro Event。Source能够把event送往一个或多个channel。
channel是一个队列。持有event等待sink来消费。一种Channel的实现:FileChannel使用本地文件系统来作为它的存储。Sink的作用是把Event从channel里移除,送往外部数据仓库或给下一站agent的Source。如HDFSEventSink送往HDFS。同个agent下的source和sink是异步的。
flume-ng是由一个个agent组成的。一个agent就像一个细胞一样。当然能够自由组合,例如以下图:
下图为多对一Collection场景:
Source
完毕对日志数据的收集。分成transtion和 event打入到channel之中
- Source用于获取数据,可从文本文件,syslog,HTTP等获取数据
- Sink将Source获得的数据进一步传输给后面的Collector。
- syslogTcp(5140) |agentSink("localhost",12345)
- tail("/etc/services") |agentSink("localhost",12345)
能够让应用程序同已有的Source直接打交道,如AvroSource。SyslogTcpSource。
也能够写一个Source。以IPC或RPC的方式接入自己的应用。
Flume自带了直接可用的数据源(source),如:
ltext("filename")
ltail("filename")
lfsyslogTcp(5140)
lconsole("format")
lexec
lexecPeriodic
lexecStream
lirc
llog4jfile
lmultitail
lnonlsynth
lnull
lreport
lrpcSource
lscribe
lseqfile
lsyslogTcp
lsyslogTcp1
lsyslogUdp
l……
对于直接读取文件Source,有两种方式:
lExecSource:以执行Linux命令的方式。持续的输出最新的数据,如tail -F 文件名称指令,在这样的方式下。取的文件名称必须是指定的。 ExecSource能够实现对日志的实时收集,可是存在Flume不执行或者指令执行出错时,将无法收集到日志数据,无法保证日志数据的完整性。
lSpoolSource:监測配置的文件夹下新增的文件,并将文件里的数据读取出来。
须要注意:复制到spool文件夹下的文件不能够再打开编辑;spool文件夹下不可包括对应的子文件夹。SpoolSource尽管无法实现实时的收集数据,可是能够使用以分钟的方式切割文件。趋近于实时。假设应用无法实现以分钟切割日志文件的话,能够两种收集方式结合使用。
在实际使用的过程中,能够结合log4j使用,使用log4j的时候,将log4j的文件切割机制设为1分钟一次。将文件复制到spool的监控文件夹。
log4j有一个TimeRolling的插件,能够把log4j切割的文件到spool文件夹。
基本实现了实时的监控。
Flume在传完文件之后,将会改动文件的后缀,变为.COMPLETED(后缀也能够在配置文件里灵活指定)
Channel
Channel有多种方式:
有MemoryChannel,JDBCChannel,MemoryRecoverChannel,FileChannel。
MemoryChannel能够实现快速的吞吐,可是无法保证数据的完整性。
MemoryRecoverChannel在官方文档的建议上已经建义使用FileChannel来替换。
FileChannel保证数据的完整性与一致性。在详细配置不限的FileChannel时,建议FileChannel设置的文件夹和程序日志文件保存的文件夹设成不同的磁盘,以便提高效率。
Sink
Sink在设置存储数据时,能够向文件系统、数据库、hadoop存数据。在日志数据较少时。能够将数据存储在文件系中。而且设定一定的时间间隔保存数据。在日志数据较多时,能够将对应的日志数据存储到Hadoop中。便于日后进行对应的数据分析。
Flume提供了非常多Sink,如:
lconsole[("format")]
ltext(“txtfile”)
ldfs(“dfsfile”)
lsyslogTcp(“host”,port)
lagentSink[("machine"[,port])]
lagentDFOSink[("machine"[,port])]
lagentBESink[("machine"[,port])]
lattr2hbase
lavroSink
lcollectorSink
lcounter
lformatDfs
lhbase
lirc
llogicalSink
lmultigrep
lregexhisto
lregexhistospec
lrpcSink
lseqfile
lthriftSink
l……
扫描以下的二维码能够关注作者的微信公众号。
相关文章
- 知乎高赞:算法工程师技术路线图
- 技术分享 | 被测项目需求你理解到位了么?
- 医疗领域应用大数据技术的难题:收集信息
- Docker技术入门与实战(第2版)3.4 删除镜像
- 《企业大数据系统构建实战:技术、架构、实施与应用》一2.2 大数据职位构建体系
- 鸟类飞行状态下穿戴式神经信号与行为数据检测记录系统的技术难点总结
- 淘宝技术交流讲座笔记及其它
- 《Storm技术内幕与大数据实践》一1.1 Storm的基本组件
- 《Storm技术内幕与大数据实践》一1.2 其他流式处理框架
- 大数据技术大全
- 三星抛出万亿投资计划 布局四大科技创新领域(5G、人工智能、汽车半导体、生物技术四大新兴产业)
- 《Python自动化运维:技术与最佳实践》一3.1 数据报表之Excel操作模块
- 《数据库技术原理与应用教程(第2版)》——第一篇 基础篇 第1章 数据、数据管理与数据处理 1.1 概述
- 保利协鑫宣布无偿转让成熟黑硅技术
- SSE技术详解:使用 HTTP 做服务端数据推送应用的技术
- 网络金融安全呼唤技术与法治保障
- 大数据技术面临的三个重要技术问题
- 5G花香四溢未来技术现网“实习”
- 企业级云平台技术新突破 Nutanix解决方案全面铺向中国市场
- 数据科学家之路——数据预处理技术基础
- 数据科学家之路——数据预处理技术基础
- 大数据技术基础实验五:Zookeeper实验——部署ZooKeeper
- 系统架构设计师-软件可靠性设计技术的应用
- 【技术美术图形部分】实时阴影:光栅化与光线追踪
- 百度视频成功完成A轮融资 大数据技术带动产业升级