kafka笔记202104-7
kafka 笔记（一）
消息引擎作用在于“削峰填谷”kafka同时支持两种消息引擎模式 点对点模型：也叫消息队列模型。如果拿“民间版”的定义来说，那么系统 A 发送的消息只能被系统 B 接收，其他任何系统都不能读取 A 发送的消息。日常生活的例子比如电话客服就属于这种模型：同一个客户呼入电话只能被一位客服人员处理，第二个客服人员不能为该客户服务。 发布 / 订阅模型：与上面不同的是，它有一个主
日期 2023-06-12 10:48:40
不愧是Alibaba技术官，Kafka的精髓全写这本“限量笔记”里，服了
前言分布式，是程序员必备技能之一，在面试过程中属于必备类的，在工作中更是会经常用到。而Kafka是一个分布式的基于发布订阅的消息队列，目前它的魅力是无穷的，对于Kafka的奥秘，还需要我们细细去探寻。要谈对Kafka有多熟悉，我相信还是阿里的大佬们最有发言权，所以今天分享的内容，就是Alibaba内部供应的“限量笔记”，关于Kafka的精髓全部写在这里面了，不得不感叹：不愧是Alibaba的技术官
日期 2023-06-12 10:48:40Kafka入门篇学习笔记整理
Kafka入门篇学习笔记整理该文为Kafka入门学习笔记整理: 参考视频: kafka一小时入门精讲课程 参考文档: 极客时间: Kafka核心技术与实战 和 Kafka权威指南 本文只包含Kafka入门使用导学，后续会继续整理Kafka进阶知识与底层原理剖析。本文大部分图为个人手绘补充，绘图软件采用: draw.io完整代码Demo工程仓库链接: https://gitee.com/DaH
日期 2023-06-12 10:48:40
Kafka基础篇学习笔记整理
Kafka基础篇学习笔记整理生产者数据发送流程kafka生产者客户端的数据发送流程分为三个阶段:主线程调用KafkaProducer发送数据，数据不是之间发送给kafka broker服务端，而是先缓冲起来异步线程sender负责将缓冲数据发往kafka broker服务端 使用缓冲可以避免高并发请求造成服务端压力，并且还可以利用缓冲实现数据批量发送。异步sender线程负责数据发送，避免了主线程
日期 2023-06-12 10:48:40Kafka学习笔记详解架构师
最近在看“kafk权威指南”，记录一下。 1. kafka是一个队列，开源的发布订阅系统，可以支持在线、离线任务。 2. kafka作为队列系统，下游从kafka拉取数据并将处理成功信息反馈到kafka，可以实现下游至少处理一次，保证不丢数据。 可以结合其他启动(如去重等)实现消费一次且仅一次。 消费者客户端可以在本地记录当前的o
日期 2023-06-12 10:48:40
kafka搭建笔记
环境CentOS7.0，JDK1.8 一、下载安装 在kafka官网 http://kafka.apache.org/downloads下载到最新的kafka安装包 下载 2.0.0 release，解压. > tar -xzf kafka_2.11-2.0.0.tgz > cd kafka_2.11-2.0.0 在kafka解压目录下下有一个config的文件夹，里面放置的是配
日期 2023-06-12 10:48:40
《Kafka权威指南》读书笔记
《Kafka权威指南》第一、三、四、六章，是重点。可以多看看。 一、 Kafka的组成 kafka是一个发布与订阅消息系统 消息：kafka的数据单元称为"消息"。可以把消息看成是数据库中的一个"数据行"。 消息的key：为key生成一个一致性散列值(HashCode)，然后使用散列值对主题分区数进行取模，为消息选取分区。 消息被分批次写入kafka。 批次：就是一组消息，这些消息属于同
日期 2023-06-12 10:48:40史上最全、最详细的 kafka 学习笔记！
一、为什么需要消息系统 1.解耦： 允许你独立的扩展或修改两边的处理过程，只要确保它们遵守同样的接口约束。 2.冗余： 消息队列把数据进行持久化直到它们已经被完全处理，通过这一方式规避了数据丢失风险。许多消息队列所采用的"插入-获取-删除"范式中，在把一个消息从队列中删除之前，需要你的处理系统明确的指出该消息已经被处理完毕，从而确保你的数据被安全的保存直到你使用完毕。 3.扩展性：
日期 2023-06-12 10:48:40Kafka基础篇学习笔记整理
Kafka基础篇学习笔记整理 生产者数据发送流程批量与定时发送缓冲区大小send发送消息消息可靠性发布确认机制重试机制 消息顺序性问题如何避免重试导致消息顺序错乱自定义拦截器自定义序列化器自定义分区器幂
日期 2023-06-12 10:48:40Kafka入门篇学习笔记整理
Kafka入门篇学习笔记整理 Kafka是什么Kafka的特性应用场景Kafka的安装单机版部署集群部署环境准备Kafka 2.x集群部署Kafka 3.x集群部署监听器和内外网络KRaft模型Docker安装
日期 2023-06-12 10:48:40Kafka异常复盘NotLeaderForPartitionException【实战笔记】
https://blog.csdn.net/gaoliang1719/article/details/106566913
日期 2023-06-12 10:48:40Filebeat+Kafka+Logstash+ElasticSearch+Kibana+Springboot二次部署笔记
https://blog.csdn.net/artaganan8/article/details/90288396
日期 2023-06-12 10:48:40牛人! 百度 T9 大佬纯手打的 Kafka 学习笔记, 吃透已胜过 80%Java 求职者
工作 3 年了，一直在一家初创公司做大数据架构师，最近几次大厂的面试经历都百般不顺，心如死灰，想着如果一直跳槽无望，只能跟着时下最火的地摊儿大军一起去出摊儿谋生了。 被问到了为什么要使用 Kafka，在哪种场景下需要使用 JMS，一脸问号。工作几
日期 2023-06-12 10:48:40Kafka学习笔记
Kafka学习笔记 - 巨轮的个人页面 - OSCHINA - 中文开源技术交流社区 教学视频 本文用到的源码 Kafka学习资料 链接：https://pan.baidu.com/s/1oHYCvHZ4Uanll1Bj3v-3Hw 提取码：5afq Kafka官网主页 Kafka官方文档
日期 2023-06-12 10:48:40
Kafka学习笔记
1. 相关概念 1. kafka是一个分布式的消息缓存系统2. kafka集群中的服务器都叫做broker3. kafka有两类客户端，一类叫producer（消息生产者），一类叫做consumer（消息消费者），客户端和broker服务器之间采用tcp协议连接4. kafka中不同业务系统的消息可以通过topic进行区分，而且每一个消息topic都会被分区，以分担消息读写的负载5. 每一个分区
日期 2023-06-12 10:48:40Scala + Thrift+ Zookeeper+Flume+Kafka配置笔记
1. 开发环境1.1. 软件包下载1.1.1. JDK下载地址http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html安装到 D:\GreenSoftware\Java\Java8X64\jdk1.8.0_91 目录1.1.2. Maven下载地址https://maven.apache
日期 2023-06-12 10:48:40kafka笔记博客
大数据数据流组件选择： https://www.cnblogs.com/yinzhengjie/articles/11155051.html 初识Apache Kafka 核心概念： https://www.cnblogs.com/yinzhengjie/p/9780976.html Apache Kafka常用配置： https://www.cnblogs.com/yinzhengjie/p
日期 2023-06-12 10:48:40kafka生产消费原理笔记
一、什么是kafka Kafka是最初由Linkedin公司开发，是一个分布式、支持分区的（partition）、多副本的（replica），基于zookeeper协调的分布式消息系统，它的最大的特性就是可以实时的处理大量数据以满足各种需求场景：比如基于hadoop的批处理系统、低延迟的实时系统、storm/Spark流式处理引擎，web/nginx日志、访问日志，消息服务等等，用scala
日期 2023-06-12 10:48:40