提供了编程的基础技术教程

zl程序教程

kafka实战

  • Kafka入门实战教程（2）基于Docker搭建Kafka环境

    Kafka入门实战教程（2）基于Docker搭建Kafka环境

    1 准备工作这里我们使用一台Linux CentOS系统的服务器来模拟三个Kafka Broker的伪集群（即一台server上开三个不同端口）环境用于学习测试，大概的准备工作有两个：安装Docker# wget https://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo -O /etc/yum.repos.d/docker-c

    日期 2023-06-12 10:48:40     
  • 3w字超详细 kafka 入门到实战

    3w字超详细 kafka 入门到实战

    认识 kafkakafka简介Kafka 是一个分布式流媒体平台，kafka官网：http://kafka.apache.org/1）流媒体平台有三个关键功能：发布和订阅记录流，类似于消息队列或企业消息传递系统。以容错的持久方式存储记录流。记录发生时处理流。2）Kafka通常用于两大类应用：构建可在系统或应用程序之间可靠获取数据的实时流数据管道构建转换或响应数据流的实时流应用程序3）首先是几个概念

    日期 2023-06-12 10:48:40     
  • Strimzi Kafka Bridge(桥接)实战之三：自制sdk(golang版本)

    Strimzi Kafka Bridge(桥接)实战之三：自制sdk(golang版本)

    欢迎访问我的GitHub 这里分类和汇总了欣宸的全部原创(含配套源码)：https://github.com/zq2599/blog_demos 本篇概览本文是《Strimzi Kafka Bridge(桥接)实战》的第三篇，前文咱们掌握了Strimzi Kafka Bridge的基本功能：基于http提供各种kafka消息的服务此刻，如果想通过http接口调用bridge的服务，势必要写不少代

    日期 2023-06-12 10:48:40     
  • kafka 结合springboot实战--第一节

    kafka 结合springboot实战--第一节

    kafka 结合springboot实战这一章节我们开始进入实战环节，废话不多说，让我们开始吧。依赖和配置我们新建一个springboot 项目，在 pom中引入依赖：<dependency> <groupId>org.springframework.kafka</groupId> <artifactId>spring-kafka<

    日期 2023-06-12 10:48:40     
  • kafka 结合springboot实战--第二节

    kafka 结合springboot实战--第二节

    生产者事务Spring-kafka自动注册的KafkaTemplate实例是不具有事务消息发送能力的。需要在 application.properties 配置属性：spring.kafka.producer.acks=-1 spring.kafka.producer.transaction-id-prefix=kafka_tx 复制当激活事务时 kafkaTemplate 就只能发送事务消息了，

    日期 2023-06-12 10:48:40     
  • kafka 结合springboot实战--第三节

    kafka 结合springboot实战--第三节

    消息转发kafka 消费者可以将消费到的消息转发到指定的主题中去，比如一条消息需要经过多次流转加工才能走完整个业务流程，需要多个consumer来配合完成。转发代码示例如下： @KafkaListener(topics = "send-a") @SendTo("send-b") public String sendTest0(Cons

    日期 2023-06-12 10:48:40     
  • Kafka实战－简单示例详解大数据

    Kafka实战－简单示例详解大数据

    1.概述 上一篇博客《Kafka实战－Kafka Cluster》中，为大家介绍了Kafka集群的安装部署，以及对Kafka集群Producer/Consumer、HA等做了相关测试，今天我们来开发一个Kafka示例，练习如何在Kafka中进行编程，下面是今天的分享的目录结构： ConfigureAPI Consumer Producer 下面开始今天的内容分享。 2.开发环境

    日期 2023-06-12 10:48:40     
  • Kafka实战－入门详解大数据

    Kafka实战－入门详解大数据

    1.概述 经过一个多月的时间观察，业务上在集成Kafka后，各方面还算稳定，这里打算抽时间给大家分享一下Kafka在实际场景中的一些使用心得。本篇博客打算先给大家入个门，让大家对Kafka有个初步的了解，知道Kafka是做什么的，下面是本篇博客的目录内容： Kafka背景 Kafka应用场景 Kafka架构原理 下面开始今天的博客分享内容。 2.Kafka背景 Kafka它本质

    日期 2023-06-12 10:48:40     
  • Kafka 分区备份实战详解大数据

    Kafka 分区备份实战详解大数据

    1.概述 在 Kafka 集群中，我们可以对每个 Topic 进行一个或是多个分区，并为该 Topic 指定备份数。这部分元数据信息都是存放在 Zookeeper 上，我们可以使用 zkCli 客户端，通过 ls 和 get 命令来查看元数据信息。通过 log.dirs 属性控制消息存放路径，每个分区对应一个文件夹，文件夹命名方式为：TopicName-PartitionIndex，

    日期 2023-06-12 10:48:40     
  • Kafka实战－简单示例

    Kafka实战－简单示例

    上一篇博客《Kafka实战－Kafka Cluster》中，为大家介绍了Kafka集群的安装部署，以及对Kafka集群Producer/Consumer、HA等做了相关测试，今天我们来开发一个Kafka示例，练习如何在Kafka中进行编程，下面是今天的分享的目录结构： ConfigureAPI Consumer Producer 下面开始今天的内容分享。 2.开发环境 在开发Ka

    日期 2023-06-12 10:48:40     
  • Kafka实战－KafkaOffsetMonitor

    Kafka实战－KafkaOffsetMonitor

    前面给大家介绍了Kafka的背景以及一些应用场景，并附带上演示了Kafka的简单示例。然后，在开发的过程当中，我们会发现一些问题，那就 是消息的监控情况。虽然，在启动Kafka的相关服务后，我们生产消息和消费消息会在终端控制台显示这些记录信息，但是，这样始终不够友好，而且，在实际 开发中，我们不会有权限去一直观看终端控制台，那么今天就为大家来介绍Kafka的一个监控系统——KafkaOffs

    日期 2023-06-12 10:48:40     
  • Kafka实战－实时日志统计流程

    Kafka实战－实时日志统计流程

    在《Kafka实战－简单示例》 一文中给大家介绍来Kafka的简单示例，演示了如何编写Kafka的代码去生产数据和消费数据，今天给大家介绍如何去整合一个完整的项目，本篇博客我打 算为大家介绍Flume＋Kafka＋Storm的实时日志统计，由于涉及的内容较多，这里先给大家梳理一个项目的运用这些技术的流程。下面是今天的内容 目录： Flume Kafka Storm 下面开始今天的

    日期 2023-06-12 10:48:40     
  • Kafka实战－Storm Cluster

    Kafka实战－Storm Cluster

    在《Kafka实战－实时日志统计流程》一文中，谈到了Storm的相关问题，在完成实时日志统计时，我们需要用到Storm去消费Kafka Cluster中的数据，所以，这里我单独给大家分享一篇Storm Cluster的搭建部署。以下是今天的分享目录： Storm简述 下面开始今天的内容分享。 2.Storm简述 Twitter将Storm开源了，这是一个分布式的、容错的实时计算系统，

    日期 2023-06-12 10:48:40     
  • Kafka实战－Kafka到Storm

    Kafka实战－Kafka到Storm

    在《Kafka实战－Flume到Kafka》一文中给大家分享了Kafka的数据源生产，今天为大家介绍如何去实时消费Kafka中的数据。这里使用实时计算的模型——Storm。下面是今天分享的主要内容，如下所示： Storm计算 接下来，我们开始分享今天的内容。 2.数据消费 Kafka的数据消费，是由Storm去消费，通过KafkaSpout将数据输送到Storm，然后让Storm安装

    日期 2023-06-12 10:48:40     
  • Kafka项目实战－用户日志上报实时统计之应用概述

    Kafka项目实战－用户日志上报实时统计之应用概述

    本课程的视频教程地址：《Kafka实战项目之应用概述》 本课程是通过一个用户实时上报日志来展开的，通过介绍 Kafka 的业务和应用场景，并带着大家搭建本 Kafka 项目的实战开发环境。下面我们来看看本课程有哪些课时，如下图所示： 接下来，我们开始第一课时的学习：《Kafka 回顾》。 2.1 Kafka 回顾 本课时简述 Kafka 平台部署的注意事项，以及 Kafka 在

    日期 2023-06-12 10:48:40     
  • Kafka参数调优实战，看这篇文章就够了！

    Kafka参数调优实战，看这篇文章就够了！

    1、背景引入：很多同学看不懂kafka参数 今天给大家聊一个很有意思的话题，大家知道很多公司都会基于Kafka作为MQ来开发一些复杂的大型系统。 而在使用Kafka的客户端编写代码与服务器交互的时候，是需要对客户端设置很多的参数的。 所以我就见过很多年轻的同学，可能刚刚加入团队，对Kafka这个技术其实并不是很了解。 此时就会导致他们看团队里的一些资深同事写的一些代码，会看不懂是怎么回事，不了解

    日期 2023-06-12 10:48:40     
  • 大数据Hadoop之——Kafka API介绍与实战操作

    大数据Hadoop之——Kafka API介绍与实战操作

    文章目录 一、Kafka API介绍二、实战操作1）zookeeper与kafka无鉴权1、启动服务2、示例（java版本） 2）zookeep

    日期 2023-06-12 10:48:40     
  • FlinkSQL 实时采集Kafka内容到MySQL（实战记录）

    FlinkSQL 实时采集Kafka内容到MySQL（实战记录）

    文章目录 01 引言02 实现2.1 添加依赖2.2 Flink SQL2.3 配置Kafka域名 03 文末 01 引言 最近在做实时采集Kafka发布的内容到MySQL，本文

    日期 2023-06-12 10:48:40     
  • SpringBoot集成kafka全面实战

    SpringBoot集成kafka全面实战

    本文是SpringBoot+Kafka的实战讲解。 一、生产者实践 普通生产者 带回调的生产者 自定义分区器 kafka事务提交 二、消费者实践 简单消费 指定topic、partition、offset消费 批量消费 监听异常处理器 消息过滤器 消息转发 定时启动/停止监听器 一、前戏 1、在项目中连接kafka&#x

    日期 2023-06-12 10:48:40     
  • 领取20万字《Kafka运维与实战宝典》PDF文档

    领取20万字《Kafka运维与实战宝典》PDF文档

    作者：石臻臻, CSDN博客之星Top5、Kafka Contributor 、nacos Contributor、华为云 MVP ,腾讯云TVP, 滴滴Kafka技术专家 、 KnowStreaming

    日期 2023-06-12 10:48:40     
  • 漫游kafka实战篇之搭建Kafka开发环境

    漫游kafka实战篇之搭建Kafka开发环境

    转载注明出处：http://blog.csdn.net/honglei915/article/details/37563647 上篇文章中我们搭建了kafka的server，并能够使用Kafka的命令行工具创建topic，发送和接收消息。以下我们来搭建kafka的开发环境。 加入依赖 搭建开发环境须要引入kafka的jar包，一种方式是将Kafka安装包中lib下的jar包增加

    日期 2023-06-12 10:48:40