Spark Streaming 实战(2) kafka+zookeeper+spark streaming 的windows本地测试Demo
2023-09-27 14:26:48 时间
Spark Streaming 实战(2) kafka+zookeeper+spark streaming 的windows本地测试Demo
之前搭建了kafka+zookeeper+spark streaming 的windows本地测试环境,先做一个小demo,spark和本地kafka跑通
1,spark streaming测试代码
public class BeijingStreamingStatsDemo {
public static void main(String[] args) {
/*
* 第一步:配置SparkConf: 1,至少2条线程:因为Spark Streaming应用程序在运行的时候,至少有一条
* 线程用于不断的循环接收数据,并且至少有一条线程用于处理接受的数据(否则的话无法
* 有线程用于处理数据,随着时间的推移,内存和磁盘都会不堪重负);
* 2,对于集群而言,每个Executor一般肯定不止一个Thread,那对于处理Spark Streaming的
* 应用程序而言,每个Executor一般分配多少Core比较合适?根据我们过去的经验,5个左右的
* Core是最佳的(一个段子分配为奇数个Core表现最佳,例如3个、5个、7个Core等);
*
*
*/
SparkConf conf = new SparkConf().setMaster("local")
.setAppName("BeijingStreamingStatsDem
相关文章
- Kafka-控制器
- CentOS6 Install kafka
- Kafka学习笔记
- 图解Kafka的RecordBatch结构
- 图解Kafka中的数据采集和统计机制
- 【kafka异常】kafka 常见异常处理方案(持续更新! )
- 【Kafka】Windows环境配置测试
- 使用kafka-python客户端进行kafka kerberos认证
- kafka-rest:A Comprehensive, Open Source REST Proxy for Kafka
- Kafka生产者demo
- Kafka常用操作
- Kafka 高吞吐量性能揭秘
- 关于kafka重新消费数据问题
- 【Kafka】Apache Kafka消息队列JavaAPI实战