zl程序教程

您现在的位置是:首页 >  云平台

当前栏目

《Storm分布式实时计算模式》——2.4 把toplogy提交到集群中

2023-09-11 14:19:10 时间

本节书摘来自华章计算机《Storm分布式实时计算模式》一书中的第2章,第2.4节,作者:(美)P. Taylor Goetz Brian O’Neill 更多章节内容可以访问云栖社区“华章计算机”公众号查看。

2.4 把toplogy提交到集群中

现在我们已经有一个正在运行的Storm集群了,让我们回顾一下前面说的单词计数的例子,然后使之能够像本地模式一样运行在集群环境。前面的例子使用LocalCluster类将topology运行在本地模式:


 a href=https://yqfile.alicdn.com/63d28581ae69e11343f78f3caa0f0ee1cb98b094.png"

提交一个topology到远程集群非常简单,只需要使用StormSubmitter类中同样的方法和名称:


 a href=https://yqfile.alicdn.com/77a3a8ff944227119cb8e9fae77ea90535bc93dd.png"

当开发一个Storm的topology时,通常不想在本地/远程集群模式之间切换部署时修改代码和重新编译。标准的方法是使用一个if/else的条件块,使用命令行参数来决定使用哪种模式,当命令行不带参数时,使用本地模式,反之当使用topology名称做参数时,使用远程集群模式,如下所示:


0f9a022b1e76198d3495986a7c3c0c1d401dcc07


 a href=https://yqfile.alicdn.com/e6135171e8b49a47604df8fa03f9975deadae0e7.png"

为了更新单词计数程序到运行中的集群,首先在第2章的代码目录执行Maven的编译命令:


ae614c654c387aebc5fda96f9c576c76c868ec4c

然后,执行storm jar命令来发布topology:


c3335351798afada8e61597b9104014c7f056491

当命令执行完毕时,你应该看到topology在Storm UI里已经激活,并且可以点击topology的名称来查看详情和topology的统计信息,如图2-4所示。


10b913d0d48fb004e4cced1f03accc2f7a960a5c

【Flink】深入理解Flink-On-Yarn模式 Flink提供了两种在yarn上运行的模式,分别为Session-Cluster和Per-Job-Cluster模式,本文分析两种模式及启动流程。
Flink 1.12 yarn-cluster模式触发Savepoint with Yarn指定-yid报异常failed timeout问题及解决 官方给出触发Savepoint with YARN的命令指定了-yid,测试后发现不应指定-yid。分析应该是早期版本需指定-yid,后期版本(至少Flink 1.12)不需要指定-yid,而官网文档未及时更新这个细节问题。
Flink 中的应用部署:当前状态与新应用模式 作为现代企业的重要工具,流处理和实时分析这类工具逐渐兴起,越来越多的企业以 Apache Flink 为核心构建平台,并将其作为服务在内部提供。
实时计算Flink on Kubernetes产品模式介绍 Flink产品介绍 目前实时计算的产品已经有两种模式,即共享模式和独享模式。这两种模式都是全托管方式,这种托管方式下用户不需要关心整个集群的运维。其次,共享模式和独享模式使用的都是Blink引擎。这两种模式为用户提供的主要功能也类似, 都提供开发控制台; 开发使用的都是Blink SQL,其中独享模式由于进入了用户的VPC,部署在用户的ECS上,因此可以使用很多底层的API,如UDX; 都提供一套的开箱即用的metric收集、展示功能; 都提供作业监控和报警功能。
我们在使用淘宝时,与店家交流时,你根本不知道后面的小二是一个人还是多个人共用一个账号,还有可能是多个人使用了多个账号但是对消费者只看到一个。