Kafka
Kafka + Zookeeper集群搭建
若采用docker容器化的部署方案可直接跳过前提准备哦~ 前提准备本文使用的是kafka_2.13-2.8.1.tgz ❀ 温馨提示： 该文件集成了zookeeper，因此不需要再特意下载哦~ 前提 ❀ 确保有jdk8环境 1、查看版本java -version2、安装jdk8(有网环境)#Ubuntu apt install -y openjdk-8-jdk-headless #Cent
日期 2023-06-12 10:48:40
Flink读取Kafka数据下沉到HDFS
1：采用BucketingSink的方式public class BucketingSinkDemo { public static void main(String[] args) throws Exception { long rolloverInterval = 2 * 60 * 1000; long batchSize = 1024 * 1024 * 100; Stre
日期 2023-06-12 10:48:40kafka概念
kafka 概念1. kafka基础架构2. Producer2.1. 一些参数在创建KafkaProducer时需要传入Properties指定一些参数bootstrap.servers: kafka集群各个服务器地址key.serializer: 用来序列化key的实现org.apache.kafka.common.serialization.Serializer接口的类(如果没有指定part
日期 2023-06-12 10:48:40
清空kafka_kafka的topic
1.问题描述使用kafka-topics –delete命令删除topic时并没有真正的删除，而是把topic标记为：“marked for deletion”，导致重新创建相同名称的Topic时报错“already exists”。2.问题复现1.登录Kafka集群所在的服务器，创建一个test的topic[root@cdh1 ~]# kafka-topics –create –zookeepe
日期 2023-06-12 10:48:40
librdkafka 安装与使用
安装 librdkafkagit clone https://github.com/edenhill/librdkafka.git ./librdkafka cd ./librdkafka ./configure # Or, to automatically install dependencies using the system's package manager: # ./conf
日期 2023-06-12 10:48:40一个kafka的辛酸填坑路
一.前言kafka是一个分布式的，支持多分区、多副本，基于 Zookeeper 的分布式消息流平台，它同时也是一款开源的基于发布订阅模式的消息引擎系统。博主所在的部门就是使用kafka做消息中间件，前不久碰到了一个奇奇怪怪的bug，找问题还花了不少功夫，特此在这记录一下。二.bug起源我所负责的模块里面有一个功能是修改宿主机的网络ip。功能页面如下输入IPV4地址后，就会将服务所在的宿主机地址给修
日期 2023-06-12 10:48:40CTO问我Pulsar到底能不能取代Kafka
Pulsar是一款分布式发布/订阅消息平台，近两年非常火，被称为下一代的消息流平台，大有取代Kafka的势头。今天我们就来比较一下Pulsar跟Kafka。历史背景Pulsar源自Yahoo，于2016年开源并捐献给Apache基金会，并在2018年9月升级成为Apache顶级项目。Kafka最初由Linkedin开发，并于2010年贡献给了Apache基金会，之后成为Apache顶级项目。架构K
日期 2023-06-12 10:48:40
Kafka在美团数据平台的实践
总第526篇2022年 第043篇Kafka在美团数据平台承担着统一的数据缓存和分发的角色，随着数据量的增长，集群规模的扩大，Kafka面临的挑战也愈发严峻。本文分享了美团Kafka面临的实际挑战，以及美团针对性的一些优化工作，希望能给从事相关开发工作的同学带来帮助或启发。1. 现状和挑战1.1 现状1.2 挑战2. 读写延迟优化2.1 概览2.2 应用层2.3 系统层2.4 混合层-SSD新缓存
日期 2023-06-12 10:48:40
0887-7.1.4-如何在CDP中为Kafka启用Kerberos认证及使用
1.文档编写目的在CDP集群中启用了Kerberos认证，那么Kafka集群能否与Kerberos认证服务集成呢？本文主要讲述如何通过Cloudera Manager为Kafka集群启用Kerberos认证及客户端配置使用。内容概述1.修改Kafka配置2.配置客户端3.客户端测试Producer和Consumer测试环境1.RedHat7.62.CM版本7.3.1和CDP版本7.1.43.采用r
日期 2023-06-12 10:48:40替代ELK：ClickHouse+Kafka+FlieBeat
点击上方“芋道源码”，选择“设为星标”管她前浪，还是后浪？能浪的浪，才是好浪！ 每天 10:33 更新文章，每天掉亿点点头发...源码精品专栏原创 | Java 2021 超神之路，很肝~ 中文详细注释的开源项目 RPC 框架 Dubbo 源码解析网络应用框架 Netty 源码解析 消息中间件 RocketMQ 源码解析 数据库中间件 Sharding-JDBC 和 MyCAT 源码解析作业调度中
日期 2023-06-12 10:48:40Kafka快速上手基础实践教程（一）
前言今天是端午节，首先祝大家端午安康！最近好久没发文，感觉人都能变懒惰了，这次重新拾起学习消息队列kafka的决心，系统学习如何掌握分布式消息队列Kafka的用法，技多不压身，感兴趣的读者可以跟着一起学一学。在我的上一篇有关kafka的文章一网打尽Kafka入门基础概念 对Kafka的基本概念以及其应用场景做了一个详细的介绍，作为三大消息中间件（RabbitMQ, RocketMQ和Kafka）之
日期 2023-06-12 10:48:40kafka集群环境搭建
大家好，又见面了，我是你们的朋友全栈君。 kafka集群环境搭建作者：链上研发-老杨叔叔 最好的集成环境搭建文章： 本文档完全临摹自此文章还不错的原理讲解抄一遍：本搭建环境基于zookeeper 3.4.6，和kafka 0.10.0.01.说明kafka集群依赖zookeeper，因此需要先安装zookeeper; 不过kafka本身也集也了zookeeper，但最好不要使用自带的。
日期 2023-06-12 10:48:40kafka事务:入门篇
之前搜索网上kafka事务相关文章，要么不清不楚，要么过于深奥。最近难得一闲，啃了一下kip-98，终于如愿能系统地总结一下kafka事务的原理与实现。kafka事务kafka官方设计文档 kip-98。大家可以先阅读我这篇文章，再去啃kip原文。Kafka 的事务可以看作Kafka 中最难的知识点之一!一、基础概念一般而言，消息中间件的消息传输保障有3个层级:at most once：至多一次。
日期 2023-06-12 10:48:40图说Kafka基本概念
使用kafka可以对系统解耦、流量削峰、缓冲，可以实现系统间的异步通信等。在活动追踪、消息传递、度量指标、日志记录和流式处理等场景中非常适合使用kafka。这篇文章主要介绍下kafka中的基本概念。1. kafka的整体结构下图展示了很多关于kafka的细节，暂时先不用关注：图中展示出了kafka的一些重要组件，接下来逐个介绍一下。1.1 Broker服务代理节点。其实就是一个kafka实例或服务
日期 2023-06-12 10:48:40CentOS7 安装 kafka「建议收藏」
大家好，又见面了，我是你们的朋友全栈君。 文章目录一、安装 JDK二、安装 zookeeper三、安装 kafka一、安装 JDKrpm -qa | grep java rpm -qa | grep jdk rpm -qa | grep gcj rpm -qa | grep java | xargs rpm -e --nodeps #卸载老版本 yum list java-1.8* yum
日期 2023-06-12 10:48:40【kafka实战】分区重分配可能出现的问题和排查问题思路(生产环境实战,附视频)
文章目录前提所有异常情况1. TargetBroker若不在线,迁移脚本执行会失败情景演示2. TargetBroker在开始迁移过程中宕机，导致迁移任务一直在进行中情景演示解决方法3. 被迁移副本没有找到Leader,导致TargetReplica一直不能同步副本情景演示解决方案4. 限流导致重分配一直完成不了情景演示解决方案5. 数据量太大,同步的贼慢解决方案排查问题思路1. 先看/admin
日期 2023-06-12 10:48:40Flume-Kafka-Flume对接Kafka以及Kafka数据分类传输
大家好，又见面了，我是你们的朋友全栈君。 Flume 对接 KafkaFlume日志采集组件；Flume对接kafka主要是为了通过kafka的topic功能，动态的增加或者减少接收的节点，并且Flume要对接多个节点是需要多个channel和sink的会导致内存不够的情况。那么可以实现的场景就是Flume采集日志文件，通过kafka给多给业务线使用。1)配置 flume(flume-kafk
日期 2023-06-12 10:48:40Flume和kafka连接测试
大家好，又见面了，我是你们的朋友全栈君。Flume的配置文件：（和kafka连接的配置文件）#文件名:kafka.properties#配置内容：分别在linux系统里面建两个文件夹：一个文件夹用于存储配置文件（flumetest），一个文件夹用于存储需要读取的文件（flume）a1.sources = s1 a1.channels = c1 a1.sinks = k1 a1.sources.s
日期 2023-06-12 10:48:40整合Flume和Kafka完成实时数据采集
大家好，又见面了，我是你们的朋友全栈君。 需要注意:参考的网站要与你的kafka的版本一致,因为里面的字段会不一致 例如:http://flume.apache.org/releases/content/1.6.0/FlumeUserGuide.html#kafka-sink 这是1.6版本的,如果需要查看1.9版本的直接就将1.6.0改为1.9.0即可# avro-memory-kafk
日期 2023-06-12 10:48:40kafka和flume区别
大家好，又见面了，我是你们的朋友全栈君。Flume更趋向于消息采集系统，Kafka更趋向于消息缓存系统。kafka:目前项目中主要是用来做消息推送中间件，消息的处理完全由业务方自己定义，请求频次单机吞吐量轻轻松松50W+/s，数据在集群不全挂的情况下是不会丢数据，消费也很灵活，可以指定分区和offset，可以当做成一个数据库。flume:用来做数据采集和落地，目前使用的是flume-ng，流程是s
日期 2023-06-12 10:48:40（3）sparkstreaming从kafka接入实时数据流最终实现数据可视化展示
（1）sparkstreaming从kafka接入实时数据流最终实现数据可视化展示，我们先看下整体方案架构：（2）方案说明：1）我们通过kafka与各个业务系统的数据对接，将各系统中的数据实时接到kafka；2）通过sparkstreaming接入kafka数据流，定义时间窗口和计算窗口大小，业务计算逻辑处理；3）将结果数据写入到mysql；4）通过可视化平台接入mysql数据库，这里使用的是NB
日期 2023-06-12 10:48:40kafka add partitions function「建议收藏」
大家好，又见面了，我是你们的朋友全栈君。代码功能在 java 代码中调用 scala 接口 addPartitions.使用场景在kafka中如果需要定制kafka-topic的管理，那么其中一个功能很可能会用到：增加partition数量。但是在kafka-1.0.x之上的版本的AdminUtils中预留了相关的api addPartitions,具体功能的实现可以参考下面源码（scala）:/
日期 2023-06-12 10:48:40kafka topicPartitions问题
大家好，又见面了，我是你们的朋友全栈君。 当我实现三个消费者去同时消费一个Topic(默认没有分区)消息时,三个消费者同时消费到了同样的消息现象如下:2019-06-11 15:30:02.516 [org.springframework.kafka.KafkaListenerEndpointContainer#0-0-C-1] INFO com.example.kafka.consumer
日期 2023-06-12 10:48:40案例 ｜ Kafka 为什么会丢消息？
点击上方“芋道源码”，选择“设为星标”管她前浪，还是后浪？能浪的浪，才是好浪！ 每天 10:33 更新文章，每天掉亿点点头发...源码精品专栏原创 | Java 2021 超神之路，很肝~ 中文详细注释的开源项目 RPC 框架 Dubbo 源码解析网络应用框架 Netty 源码解析 消息中间件 RocketMQ 源码解析 数据库中间件 Sharding-JDBC 和 MyCAT 源码解析作业调度中
日期 2023-06-12 10:48:40大数据必知必会之Kafka
1、Kafka 概述2、Kafka 解决了什么问题3、Kafka 技术特性4、Kafka 工作原理 4.1、架构图4.2、Kafka 写流程4.3、Kafka 读流程5、Kafka 数据结构说明 5.1、Kafka 在 Zookeeper 中的注册数据结构5.2、Kafka Topic 的数据结构6、Kafka 运维 6.1、Topic 管理指令6.2、增删节点后的 数据均衡6.3、消费情况指令6
日期 2023-06-12 10:48:40Kafka入门实战教程（8）：常用的shell工具脚本
1 Kafka提供的命令行脚本Kafka默认提供了多个命令行脚本，用于实现各种各样的功能和运维管理。从2.2版本开始，提供了多达30+个Shell脚本。今天我们来看一些其中比较实用的Shell脚本。2 生产消费测试脚本这恐怕是我们最常用到的工具脚本了，没有之一。生产消息生产消息使用kafka-console-producer脚本，典型命令如下：kafka-console-producer.sh -
日期 2023-06-12 10:48:40Kafka入门实战教程（9）：深入了解Offset
1 什么是offset？Offset，消息位移，它表示分区中每条消息的位置信息，是一个单调递增且不变的值。换句话说，offset可以用来唯一的标识分区中每一条记录。消费者消费完一条消息记录之后，需要提交offset来告诉Kafka Broker自己消费到哪里了。2 Offset存在哪里？Kafka 0.9.0版本以前，这些数值维护在zookeeper中，但是zookeeper并不适合大量写入（涉及
日期 2023-06-12 10:48:40kafka官方文档_kafka groupid
介绍Kafka是一个分布式的、分区的、冗余的日志提交服务。它使用了独特的设计，提供了所有消息传递系统所具有的功能。我们先来看下几个消息传递系统的术语：Kafka维护消息类别的东西是主题（topic）.我们称发布消息到Kafka主题的进程叫生产者（producer）.我们称订阅主题、获取消息的进程叫消费者（consumer）.Kafka是由多个服务器组成的机器，每个服务器称作代理（broker）.在
日期 2023-06-12 10:48:40替代ELK：ClickHouse+Kafka+FlieBeat才是最绝的
点击上方“芋道源码”，选择“设为星标”管她前浪，还是后浪？能浪的浪，才是好浪！ 每天 10:33 更新文章，每天掉亿点点头发...源码精品专栏原创 | Java 2021 超神之路，很肝~ 中文详细注释的开源项目 RPC 框架 Dubbo 源码解析网络应用框架 Netty 源码解析 消息中间件 RocketMQ 源码解析 数据库中间件 Sharding-JDBC 和 MyCAT 源码解析作业调度中
日期 2023-06-12 10:48:40kafka 认证和鉴权方式_kafka实际应用
前言kafka官网关于sasl_scram鉴权Kafka消费端配置创建SCRAM Credentials依赖zk，需要先启动zk，然后在zk中创建存储SCRAM 凭证：cd kafkacluster/kafka_2.11-1.1.1 bin/kafka-configs.sh --zookeeper zkIP1:2181,zkIP2:2181,zkIP3:2181/lxgkafka --alte
日期 2023-06-12 10:48:40Apache Kafka 生产者配置和消费者配置中文释义
Kafka客户端开发中有一个ProducerConfig和ConsumerConfig，熟悉这两个文件内容的含义对我们(尤其是新手)使用,调优Kafka是非常有帮助的。Ctrl+F搜索吧。 生产者配置参数释义 1.bootstrap.servers 指定Kafka集群所需的broker地址清单，默认“”2.metadata.max.age.ms 强制刷新元数据时间，毫秒，默认300000，5
日期 2023-06-12 10:48:40