Kafka快速入门
Kafka快速入门
基本概念AR：分区的所有副本集合，AR=ISR+OSRISR：与leader副本一定程度同步的所有副本（包括leader副本）OSR：与leader副本同步滞后过多的副本集合HW：高水位，所有副本都同步到的offset，消费者只能拉取HW之前的消息LEO：Log End Offset，待写入消息的offset，即最后一条消息的offset+1安装JDK安装123456789101112131415
日期 2023-06-12 10:48:40
Kafka快速入门（介绍）
定义Kafka是 一个开源的 分布式事件流平台 （Event Streaming Platform），被数千家公司用于高性能数据管道、流分析、数据集成和关键任务应用。消息队列的应用场景传统的消息队列的主要应用场景包括：缓存/消峰、解耦和异步通信。消息队列的两种模式Kafka 基础架构 （1）Producer：消息生产者，就是向 Kafka broker 发消息的客户端。 （2）Consumer
日期 2023-06-12 10:48:40
Kafka快速入门（安装集群）
安装部署1. 集群规划hadoop102hadoop103hadoop104zkzkzkkafkakafkakafka2. 集群部署0） 官方下载地址：官网1）解压安装包tar -zxvf kafka_2.12-3.0.0.tgz -C /opt/module/复制2）修改解压后的文件名称 mv kafka_2.12-3.0.0/ kafka复制3）进入到/opt/module/kafka 目录，
日期 2023-06-12 10:48:40
Kafka快速入门（命令行操作）
Kafka 命令行操作Kafka基础架构主题命令行操作1）查看操作主题命令参数bin/kafka-topics.sh复制-参数-描述–bootstrap-server <String: server toconnect to>连接的 Kafka Broker 主机名称和端口号。–topic <String: topic>操作的 topic 名称。–create创建主题。–d
日期 2023-06-12 10:48:40Kafka快速入门（生产者）同步异步发送、分区、消息精确一次发送、幂等性、事务
Kafka 生产者1. 生产者消息发送流程1.1 发送原理在消息发送的过程中，涉及到了两个线程——main 线程和 Sender 线程。在 main 线程中创建了一个双端队列 RecordAccumulator。main 线程将消息发送给 RecordAccumulator，Sender 线程不断从 RecordAccumulator 中拉取消息发送到 Kafka Broker。1.2 生产者重要
日期 2023-06-12 10:48:40Kafka快速入门（Kafka Broker）节点服役和退役、手动调整副本
Kafka Broker1. Kafka Broker 工作流程1.1 Zookeeper 存储的 Kafka 信息（1）启动 Zookeeper 客户端。 bin/zkCli.sh复制（2）通过 ls 命令可以查看 kafka 相关信息。ls /kafka复制Zookeeper中存储的Kafka 信息1.2 Kafka Broker 总体工作流程1）模拟 Kafka上下线，Zookeeper中数
日期 2023-06-12 10:48:40Kafka快速入门（Kafka消费者）
Kafka 消费者1. Kafka 消费方式2 Kafka 消费者工作流程2.1 消费者总体工作流程2.2 消费者组原理Consumer Group（CG）：消费者组，由多个consumer组成。形成一个消费者组的条件，是所有消费者的groupid相同。• 消费者组内每个消费者负责消费不同分区的数据，一个分区只能由一个组内消费者消费。 • 消费者组之间互不影响。所有的消费者都属于某个消费者组，即消
日期 2023-06-12 10:48:40消息中间件 --- Kafka快速入门
消息中间件 --- Kafka 快速入门 消息中间件：https://blog.51cto.com/u_9291927/category33 GitHub: GitHub - scorpiostudio/HelloKafka: HelloKafka Kafka快速入门（一）--- Kafka简介：https://blog.51cto.c
日期 2023-06-12 10:48:40《KAFKA官方文档》第三章：快速入门（一）
本教程假设读者完全从零开始，电脑上没有已经存在的Kafka和Zookeeper环境。以下内容需要注意的是：因为在类Unix平台和Windows平台上的Kafka控制脚本不同，在Windows平台上，需要使用路径\bin\windows代替/bin，脚本扩展名改为.bat。 第一步：下载kafka 下载Kafka 0.10.2.0版本 并解压： tar -xzf kafka_2.11-0
日期 2023-06-12 10:48:40
《KAFKA官方文档》第三章：快速入门（二）
第八步：使用Kafka流（Kafka Streams）处理数据 Kafka流是一个针对存储于Kafka brokers上的数据进行实时流处理和分析的客户端类库。快速入门中的示例将展示如何使用这个类库实现一个数据流处理应用。下面是其中的WordCountDemo数单词示例代码片段（转换成Java8的lambda表达式更便于阅读）。 “` // 字符串和长整型的序列化器与反序列化器(serde)
日期 2023-06-12 10:48:40消息中间件Kafka快速入门
前言 Kafka是基于zookeeper管理的，所以要先安装zookeeper，如果是单机模式，zookeeper安装比较简单，本文就介绍一下单机如何搭建kafka&
日期 2023-06-12 10:48:40