storm集群部署和配置过程详解
2023-09-14 09:02:10 时间
1 首先配置zookeeper集群
我们知道storm通过zookeeper来协调整个集群。zookeeper不是用来做消息传递,因
1 首先配置zookeeper集群 我们知道storm通过zookeeper来协调整个集群。zookeeper不是用来做消息传递,因此storm不会给zookeeper带来很大的压力。单节点的zookeeper在大多情形下是可以胜任的,但是如果你想得到更好的可靠性或者部署大集群的话,你可能就需要一个大的zookeeper集群。关于zookeeper的部署在这里就不多做介绍,具体请参考:here。 关于zookeeper的部署这里再补充两点:
把zookeeper运行在一个监督进程之下是非常关键的,因为zookeeper是一个fail-fast的进程,当它遇到任何错误的时候都会自动退出,具体请参考: here 定时的去压缩和转移zookeeper数据也是非常关键的,因为zookeeper不具备压缩和清楚数据机制,如果我们不设置一个cron管理这些数据,zookeeper产生的数据会很快的占满磁盘,具体请参考: here
ps:如果zookeeper启动失败,查看一下它bin目录下的zookeeper.out文件,配置一下它的myid试试。 2 安装依赖到nimbus和worker节点 storm需要依赖的是:
需要注意,storm对大多数版本的依赖都做了测试,但是storm并不保证对任何版本的依赖都能正常工作。 3 下载解压storm发布版本到nimbus和worker节点 下一步就是下载解压storm压缩文件到每一台机器,storm发布版本可以从这里下载from here。
storm里面有一个文件conf/storm.yaml,它就是storm的配置文件。关于这个文件的所有默认值可以从这里得到here。storm.yaml中的配置会覆盖掉default.yaml中的配置。下面配置一个集群必须修改的配置: 1) storm.zookeeper.servers:配置zookeeper集群的列表
Nimbus:在master节点运行“bin/storm nimbus” Supervisor:在每一台worker节点运行“bin/storm supervisor”,supervisor进程负责在worker节点上启动和停止相应的worker进程 UI:运行“bin/storm ui” ,一个通过页面管理和展示storm集群运行状态的工具,可以通过“http://nimbus host:8080”来访问。 我们可以看到启动storm服务进程相当简单直接,storm产生的log会保存在各台机器的storm/logs目录中,storm通过logback管理它的日志,我们可以通过修改其logback.xml文件来改变其log的目录及内容。
storm集群的搭建 最近也是有朋友问我storm的问题,好长时间没玩storm了,今天就来简单的说一下吧,首先我们来看一下官网的图片,storm是完全实时的,就像水龙头打开后一样,会不停的往外面流水.所以他的延迟非常的低,这也是他的特点.然后先搭建storm集群吧,storm集群的搭建也比较简单.
分布式协调服务中间件ZooKeeper 入门(1)-ZK的介绍与特性 一、Zookeeper简介 Zookeeper是一个服务,是一个分布式协调技术,他提供高性能,分布式的协调服务。主要用来解决分布式环境当中多个进程之间的同步控制,让他们有序的去访问某种临界资源,防止造成“脏数据”的后果。
1 首先配置zookeeper集群 我们知道storm通过zookeeper来协调整个集群。zookeeper不是用来做消息传递,因此storm不会给zookeeper带来很大的压力。单节点的zookeeper在大多情形下是可以胜任的,但是如果你想得到更好的可靠性或者部署大集群的话,你可能就需要一个大的zookeeper集群。关于zookeeper的部署在这里就不多做介绍,具体请参考:here。 关于zookeeper的部署这里再补充两点:
把zookeeper运行在一个监督进程之下是非常关键的,因为zookeeper是一个fail-fast的进程,当它遇到任何错误的时候都会自动退出,具体请参考: here 定时的去压缩和转移zookeeper数据也是非常关键的,因为zookeeper不具备压缩和清楚数据机制,如果我们不设置一个cron管理这些数据,zookeeper产生的数据会很快的占满磁盘,具体请参考: here
ps:如果zookeeper启动失败,查看一下它bin目录下的zookeeper.out文件,配置一下它的myid试试。 2 安装依赖到nimbus和worker节点 storm需要依赖的是:
需要注意,storm对大多数版本的依赖都做了测试,但是storm并不保证对任何版本的依赖都能正常工作。 3 下载解压storm发布版本到nimbus和worker节点 下一步就是下载解压storm压缩文件到每一台机器,storm发布版本可以从这里下载from here。
storm里面有一个文件conf/storm.yaml,它就是storm的配置文件。关于这个文件的所有默认值可以从这里得到here。storm.yaml中的配置会覆盖掉default.yaml中的配置。下面配置一个集群必须修改的配置: 1) storm.zookeeper.servers:配置zookeeper集群的列表
storm.zookeeper.servers: - "111.222.333.444" - "555.666.777.888"如果你的zookeeper集群使用的端口不是默认端口,那么你还得配置storm.zookeeper.port。 2) storm.local.dir :storm的nimbus和work进程需要一个目录来存放一小部分状态数据,比如jars、confs等等。我们需要在每台机器上创建这个目录并且赋予其相应的权限。
storm.local.dir: "/mnt/storm"3) nimbus.host:worker节点需要知道哪个机器是master节点,以便自己从maser节点下载jars和confs。
nimbus.host: "111.222.333.44"4) supervisor.slots.ports:对于每一台worker机器,它决定了这台机器一共可以运行多少个worker进程。每个worker进程会独占一个端口来接收消息,这个参数就是配置了哪些端口会分配给worker进程。如果你在这配置了5个端口,那么storm将能分配5个worker进程给这台机器,如果配置3个端口,那么storm也只能分配3个worker进程。storm默认分配4个worker进程到6700,6701,6702,6703端口。比如:
supervisor.slots.ports: - 6700 - 6701 - 6702 - 67035 通过storm命令运行storm相关的守护进程 最后一步就是启动所有storm相关守护进程。当然,把这些进程都纳入到监督进程管理之下是很有必要的。storm也是一个fail-fast系统,这就意味着这些进程一但遇到异常就会终止。storm之所以会这么设计,是为了它可以在任何时候安全的终止和在进程重启的时候恢复。这就是storm为不在进程中保存相关状态的原因,如果nimbus或supervisor节点重启,运行着的topoloies不会受到任何影响。下面就是启动storm相关进程的命令:
Nimbus:在master节点运行“bin/storm nimbus” Supervisor:在每一台worker节点运行“bin/storm supervisor”,supervisor进程负责在worker节点上启动和停止相应的worker进程 UI:运行“bin/storm ui” ,一个通过页面管理和展示storm集群运行状态的工具,可以通过“http://nimbus host:8080”来访问。 我们可以看到启动storm服务进程相当简单直接,storm产生的log会保存在各台机器的storm/logs目录中,storm通过logback管理它的日志,我们可以通过修改其logback.xml文件来改变其log的目录及内容。
storm集群的搭建 最近也是有朋友问我storm的问题,好长时间没玩storm了,今天就来简单的说一下吧,首先我们来看一下官网的图片,storm是完全实时的,就像水龙头打开后一样,会不停的往外面流水.所以他的延迟非常的低,这也是他的特点.然后先搭建storm集群吧,storm集群的搭建也比较简单.
分布式协调服务中间件ZooKeeper 入门(1)-ZK的介绍与特性 一、Zookeeper简介 Zookeeper是一个服务,是一个分布式协调技术,他提供高性能,分布式的协调服务。主要用来解决分布式环境当中多个进程之间的同步控制,让他们有序的去访问某种临界资源,防止造成“脏数据”的后果。
相关文章
- vsftpd配置chroot_local_user与chroot_list_enable详解
- 2.ElasticStack分布式数据采集搜索引擎集群搭建配置
- Tomcat 下载安装、配置、启动、报错问题
- 超详细配置教程:用 Windows 电脑训练深度学习模型
- eclipse从svn下载项目_eclipse配置
- EasyCVR平台配置公网后,Webrtc格式视频流无法播放是什么原因?
- SQL Server 2000安全配置详解
- redis集群配置与管理详解程序员
- Hbase完全分布式集群安装配置(Hbase1.0.0,Hadoop2.6.0)详解大数据
- Spring Boot(六): Favicon配置详解编程语言
- Oracle 参数 CIRCUITS 官方解释,作用,如何配置最优化建议
- Oracle 参数 LOG_CHECKPOINTS_TO_ALERT 官方解释,作用,如何配置最优化建议
- Oracle 集群的快速部署与配置(oracle集群配置)
- 解锁PHP的高效Oracle配置(php配置oracle)
- 如何正确配置 Redis 集群,实现高可用性和可扩展性?(redis配置集群)
- 阿里云上快速搭建Linux开发环境(阿里云linux配置环境)
- Linux双机实现可靠性配置(linux双机配置)
- 简单步骤搭建基于Redis的缓存系统(如何配置redis缓存)
- 纪元获取Redis集群配置的新开始(redis集群配置纪元)
- Redis集群配置出现无效情况处理(redis 集群配置无效)
- 如何实现Redis集群高效部署(redis集群配置方式)
- 安全加固Redis集群加密配置(redis集群加密配置)