在Docker上建立多节点的Hadoop集群
2023-09-27 14:23:39 时间
现在我们提高门槛,在Docker上创建一个多点hadoop集群。在开始前,确保你有最新的Ambari镜像:
docker pull sequenceiq/ambari:latest
一旦你得到了最新的镜像,你就可以启动Docker容器。我们已经创建了几个shell 函数来帮你输入Docker命令,从而避免输入像docker run [options] image [command]这样冗长的命令。
有了这些功能,创建3个节点的hadoop簇,只需要下面一行代码搞定:
curl -Lo .amb j.mp/docker-ambari . .amb amb-deploy-cluster
默认参数值都是可以根据需要更改的,像是blueprint,簇大小,等等 … 在shellj.mp/docker-ambari功能函数的头文件有参数列表.
它是按照下面步骤来实现的:
在Docker (后台运行) 容器的守护进程上运行sambari-server start (记得还有 anambari-agent start)
如果你有自己定义好的脚本,可以放在 gist然后运行 AmbariShell. 先启动 AmbariShell:
amb-start-cluster 2 amb-shell
AmbariShell启动的前提:
Ambari REST API 将帮助你建立多个hadoop端.
host list blueprint add --url https://gist.githubusercontent.com/lalyos/xxx/raw/custum-blueprint.json cluster build --blueprint custom-blueprint cluster assign --hostGroup host_group_1 --host amb0.mycorp.kom cluster assign --hostGroup host_group_2 --host amb1.mycorp.kom cluster assign --hostGroup host_group_2 --host amb1.mycorp.kom cluster create
基本上我们开始使用Docker的时候就已经使用多端的hadoop功能了 – 笔记本上运行3到4簇面临的极限问题比 Sandbox VM少得多.
我们使用了docker的模式简化了hadoop的使用模式 – 可以在 LinkedIn找到我们关于Cloudbreak的最新进展 – 开源云端的Hadoop as a Service API应用并构建在 docker上.
本文作者:佚名
来源:51CTO
浩若烟海事半功倍|利用Docker容器技术构建自动化分布式web测试集群Selenium Grid “世界上有那么多城市,城市里有那么多的酒馆,可她,却偏偏走进了我的.....”,这是电影《卡萨布拉卡》中的一句著名独白,投射到现实生活中,与之类似的情况不胜枚举,这世界上有那么多的系统,系统中有那么多的浏览器,在只有一台测试机的前提下,难道我们只能排队一个一个地做兼容性测试吗?有没有效率更高的方法呢?为此我们提出一个更高效的解决方案:使用Docker+Selenium Grid。
相关文章
- docker容器查看jvmGC情况
- docker swarm集群中manager节点个数的最佳实践
- 如何设置docker swarm中的manager节点,不执行任何的task?
- 如何将docker swarm的manager节点降级为worker节点?
- Mac Docker 安装RabbitMQ 安装单节点rabbitmq服务
- Docker搭建Clickhouse集群
- HOW TO BUILD AND RUN ORACLE DATABASE 19C ON DOCKER
- 使用 Rust & Warp 和 Docker 构建安全的 WebSocket 服务器
- Docker 图形化页面管理工具使用
- 不同主机的docker容器互相通信
- Docker底层:Overlay2 文件系统原理
- pull docker/getting-started 80端口被占用 Error response from daemon: Ports are not available
- Docker Swarm Mode无法增加管理节点
- docker gitlab-ce 容器root密码重置小记
- docker(7):使用python 连接数据库,插入并查询数据--link