kafka介绍和集群环境搭建
2023-09-14 09:07:56 时间
kafka概念:
kafka是一个高吞吐量的流式分布式消息系统,用来处理活动流数据。比方网页的訪问量pm,日志等,既可以实时处理大数据信息
也能离线处理。
特点:
1.高吞吐量
2.是一种显式的分布式系统,它如果,数据生产者(producer),代理(brokers)和数据使用者(consumer)分散在多台机器上。
3.有关哪些数据已经被使用了的状态信息保存为数据使用着(consumer)的一部分。而不是保存在服务秋上。
关于队列的基础知识:
消息:指的是通信的基本单位,由消息生产者(producer)公布关于某个胡全体(topic)的消息,这句话的意思是消息以一种物理方式被发送给了
作为代理(broker)的server。若干的消费者(consumer)订阅(subscribe)某个话题,然后生产者公布的消息都会被发送给全部的使用者。
kafka是一个显式的分布式系统。指的是生产者,消费者,和代理者都能够执行在作为一个逻辑单位的,相互协调的集群的不同机器上。
消费者组:每一个消费者进程都隶属于一个消费者组。每条消息仅仅会发送到这个消费者组中的一个消费者进程,消费者组将多个消费者进程或多台
机器在逻辑上看做为了一个消费者。消费者组的意义就是。每条消息都仅仅会发送到这个消费者组中的一个进程,可是在同一个组中的消费者进程
都能使用这个消息,所以不管消费者组中有多少个订阅者。每条信息值在组中存储一份!
在kafka中,使用者(consumer)负责维护反应哪些消息已经被使用的状态(偏移量)。在kafka中会将状态数据保存到zookeeper中,
在hadoop的载入作业从kafka并行载入作业时。每一个mapper在map任务结束之前会将状态偏移量,存储到hdfs中。
通过这样的机制还能够回退数据读。
分发机制;
kafka通常情况下是执行在集群中的server上。没有中央的“主”节点。
代理彼此之间是对等的。不须要不论什么手动配置就可以可随时加入和删除。
相同,
生产者和消费者能够在不论什么时候开启。
每一个代理都能够在zookeeper(分布式协调系统)中注冊的一些元数据(比如,可用的主题)。生产者和消费者
能够使用zookeeper发现主题和相互协调。
关于生产者和消费者的细节将在以下描写叙述。
消费者和生产者通过分区实现负载均衡。
主题:用来区分不同种类的数据信息
分区partition:有主有从。将数据写到不同的文件上,分区的编号默认是从0開始。0,1,2,3...
leader负责读写数据,follower负责同步数据,高吞吐量。负载均衡
producer来能够去不同的分区上去写数据,consumer也是相同原理,这样就能够
将读写负载均衡到不同的分区中
消费之consumer,消费数据从主分区上(leader)读
消费组:共享消费信息,在同一个消费组中的消费者,读取同一份数据仅仅要一次即可了。由于
同一个组中消费者之间共享数据
#########################################################################################################
安装kafka:
1.上传kafka_2.9.2-0.8.1.1.tgz到server
2.单节点kafka,
a.先启动zookeeper集群
运行bin/kafka-server-start.sh config/server.properties
会报:
Unrecognized VM option 'UseCompressedOops'
Error: Could not create the Java Virtual Machine.
Error: A fatal exception has occurred. Program will exit.
原因是jdk的版本号不匹配,须要改动一下配置文件
改动文件:
去掉这个配置
-XX:+UseCompressedOops
b.启动一个服务端
bin/kafka-server-start.sh config/server.properties
c.查看topic
bin/kafka-topics.sh --list --zookeeper localhost:2181
创建topic
bin/kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test
查看topic描写叙述
bin/kafka-topics.sh --describe --zookeeper localhost:2181 --topic my-replicated-topic
d.測试
启动一个生产者
bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test
开启一个消费者
bin/kafka-console-consumer.sh --zookeeper localhost:2181 --topic test --from-beginning
3.集群搭建
改动配置文件
vim config/server-1.properties
最后的zookeeper集群的配置
zookeeper.connect=storm01:2181,storm02:2181,storm03:2181
再将kafka的配置复制到其它的server
scp -r /usr/itcast/kafka root@storm02:/usr/itcast/
scp -r /usr/itcast/kafka root@storm03:/usr/itcast/
改动配置文件
vim config/server-1.properties
broker.id=1,broker.id=2
启动測试
相关文章
- Kafka + Zookeeper集群搭建
- kafka集群搭建
- kafka安装完整步骤_kafka集群搭建详细步骤
- Kafka入门实战教程(4):重要的集群参数配置
- Kafka为什么吞吐量大、速度快?
- kafka学习之Kafka 的简介(一)
- Linux 搭建 Kafka教程[通俗易懂]
- kafka详细教程_kafka使用教程
- Kafka入门经典教程_kafka菜鸟教程
- kafka应用场景有哪些_kafka顺序性的消费
- windows的安装_kafka windows安装
- kafka时间轮源码_flume kafka
- kafka集群参数配置
- kafka 原理深度解读
- kafka 结合springboot实战--第一节
- 不愧是Alibaba技术官,Kafka的精髓全写这本“限量笔记”里,服了
- kafka集群安装部署
- Kafka常见面试题
- Kafka集群部署文档
- 快速理解Kafka分布式消息队列框架详解架构师
- kafka之三 Kafka 高可用详解大数据
- Kafka Eagle安装详情及问题解答详解大数据
- kafka入门:简介、使用场景、设计原理、主要配置及集群搭建详解编程语言
- kafka运行错误:提示找不到或者无法加载主类错误解决方法详解编程语言
- 面试问Kafka,这一篇全搞定
- Kafka连接Oracle数据库提高数据处理能力(kafka连oracle)
- 使用Kafka连接Oracle数据库(kafka到oracle)
- Kafka与Oracle融合实现数据交互(kafka与oracle)
- 利用Kafka与Oracle实现实时数据交换(kafka oracle)