Kafka
spring kafka之如何批量给topic加前缀
01前言最近业务开发部门给我们部门提了一个需求，因为他们开发环境和测试环境共用一套kafka，他们希望我们部门能帮他们实现自动给kafka的topic加上环境前缀，比如开发环境，则topic为dev_...
日期 2023-04-22 10:47:37
面试必问之kafka
问题1：消息队列的作用1、解耦快递小哥手上有很多快递需要送，他每次都需要先电话一一确认收货人是否有空、哪个时间段有空，然后再确定好送货的方案。这样完全依赖收货人了！如果快递一多，快递小哥估计的忙疯了…...
日期 2023-04-22 10:47:37
阿里云研发工程师刘睿：阿里云消息生态及最佳实践
2022年9月24日，阿里云用户组（AUG）第12期活动在厦门举办。活动现场，阿里云消息中间件研发工程师刘睿，向参会企业...
日期 2023-04-22 10:47:37
RocksDB, 大数据量的去重实践记录
背景 数据量级 数据数量：十亿级 空间大小：百G级 场景 非实时性去重计算，如果每操作一条数据都要作重复性判断，目前可能以redis等内存数...
日期 2023-04-22 10:47:37
Kafka
Kafka 1.概述1.1消息队列1.1.1传统消息队列的应用场景1.1.2消息队列的两种模式 二级目录三级目录 1.概述 1.1消息队列 目前企业中比较常见的消息队列产品主要有 ...
日期 2023-04-22 10:47:37到底要怎么保证Kafka的消息幂等性？
文章目录 一、面试流经典答法二、Kafka是如何考虑幂等问题的三、项目中常见的Kafka消息幂等问题处理思路是怎样的？总结 如何保证Kafka的消息幂等性？...
日期 2023-04-22 10:47:37Kafka：可靠性保证
摘要 系统设计之初，就该保证可靠性，这样才能保证数据不丢失。kafka也是如此，因此它支持集群部署，消息也有副本备份，有确认和...
日期 2023-04-22 10:47:37大数据框架exactly-once底层原理，看这篇文章就够了
一、大数据框架三种语义 在分布式系统中，如kafka、spark、flink等构成系统的任何节点都是被定义为可以彼此独立失败的。比如在Kafka中，...
日期 2023-04-22 10:47:37爱奇艺实时大数据体系：应对超3千万QPS也稳得一批
数据作为互联网时代的基础生产资料，在各大公司企业拥有举足轻重的地位。数据的价值在互联网公司的体现，大致而言可以分成三类： 发掘数据中的信息来指导决策，如产品运营、用户增长相关的BI报表 依托数据优化...
日期 2023-04-22 10:47:37kafka架构和常见术语
Kafka是一个分布式系统，易于向外扩展。它同时为发布和订阅提供高吞吐量。它支持多订阅者，当失败时能自动平衡消费者。消息的持久化。kafka架构从图上看到主要包含三个组件，producer,consu...
日期 2023-04-22 10:47:37SpringBoot系列之canal和kafka实现异步实时更新
SpringBoot系列之canal和kafka实现异步实时更新实验开发环境JDK1.8SpringBoot2.2.1Maven3.2+开发工具IntelliJIDEAsmartGit1、什么是阿里c...
日期 2023-04-22 10:47:37SpringBoot系列之集成kafka实现事件发布
事件发布订阅实现，我们经常使用到spring框架提供的ApplicationEventPublisher，基于kafka的特性，我们也可以简单实现类似的效果1、kafka环境部署搭建官网下载链接：ht...
日期 2023-04-22 10:47:37基于 Flink 和 Drools 的实时日志处理
背景日志系统接入的日志种类多、格式复杂多样，主流的有以下几种日志：filebeat采集到的文本日志，格式多样winbeat采集到的操作系统日志设备上报到logstash的syslog日志接入到kafk...
日期 2023-04-22 10:47:37阿里四面：kafka何时、如何删除Topic？
Topic是怎么被删除的？Kafka有很多状态机和管理器，如Controller通道管理器ControllerChannelManager、处理Controller事件的ControllerEvent...
日期 2023-04-22 10:47:37腾讯三面：说说Kafka的分区状态机的实现原理？
PartitionStateMachine分区状态转换实现1我为何读这源码？PartitionStateMachine，分区状态机负责管理Kafka分区状态的转换，类似ReplicaStateMach...
日期 2023-04-22 10:47:37《kafka问答100例 -4》 如果我手动在zk中添加/brokers/topics/{TopicName}节点会怎么样?
如果我手动在zk中添加`/brokers/topics/{TopicName}`节点会怎么样?先说结论:根据上面分析过的源码画出的时序图可以指定;客户端发起创建Topic的请求,本质上是去zk里面写两...
日期 2023-04-22 10:47:37【实战】kafka删除Topic常见异常排查思路及解决方案
有人报案最近技术群里面有几个同学碰到了删除Topic的问题,怎么样也删除不掉,然后我协助排查之后,就做个记录,写篇文章,大家在碰到这类型的问题的时候应该怎么去排查 收集线索报notretryingde...
日期 2023-04-22 10:47:37【kafka源码】/log_dir_event_notification的LogDir脱机事件通知
前言我们会看到zk的数据中有一个节点/log_dir_event_notification/，这是一个序列号持久节点 这个节点在kafka中承担的作用是:当某个Broker上的LogDir出现异常时(...
日期 2023-04-22 10:47:37《kafka问答100例 -5》什么时候真正执行删除Topic磁盘日志 ?
什么时候真正执行删除Topic磁盘日志?Controller监听到zk节点/admin/delete_topics之后,向所有存活的Broker发送删除Topic的请求;Broker收到请求之后将待删...
日期 2023-04-22 10:47:37《kafka面试100例 -6》如果在/admin/delete_topics/中手动写入一个节点会不会正常删除Topic
如果在/admin/delete_topics/中手动写入一个节点会不会正常删除Topic?如果写入的节点,并不是一个真实存在的Topic；则将会直接被删除 当然要注意如果配置了delete.topi...
日期 2023-04-22 10:47:37