利用 Spring Boot 在 Docker 中运行 Hadoop
2023-09-27 14:27:26 时间
本文讲的是利用 Spring Boot 在 Docker 中运行 Hadoop，【编者的话】Spring Boot是由Pivotal团队提供的全新框架，其设计目的是用来简化新Spring应用的初始搭建以及开发过程。本文介绍了如何利用Spring Boot在Docker中运行Hadoop任务。
越来越多的应用都开始使用Hadoop框架。而开发者在使用过程中也遇到一些挑战，比如使用诸如Docker之类的容器开发和部署相关的技术栈开发的应用。我们将会在下面的例子中介绍如何克服这些挑战。
由于 Spring 框架一直以来致力于从开发者角度对底层基础设施进行抽象，我们选择 Spring Boot 来进行开发。下面将会利用 Spring Boot 的配置文件来管理多容器的部署。
在下面第一部分，我们将应用部署在一个 Docker 容器内，在第二部分我们将会利用 Lattice 平台提供的功能进行部署。
在容器中运行 Spring Boot 应用 Docker 是一个构建、部署以及运行应用的开放平台，应用可以在不同的环境（开发、测试、生产）中无差别的运行，为应用的开发提供了很大的灵活性。
Lattice 是一个运行容器化工作负载的开源项目，通过它可以在集群中运行 Docker 化的应用。该平台的目标是在未来支持蓝绿部署、容量伸缩以及连接诸如日志服务的其它服务。
Spring Boot是由Pivotal团队提供的全新框架，其设计目的是用来简化新Spring应用的初始搭建以及开发过程。
我们将会介绍如何通过 Spring Boot 在 Docker 上运行简单的 Hadoop 任务，并且在第二部分利用 Lattice 来扩展这个例子。
Spring Boot 应用将会访问 Hadoop 集群（在一个容器中运行的微型集群），运行 Map/Reduce 任务，并访问 HDFS。
运行这个例子需要下面这些依赖条件以及一些基础标准工具（SSH等）
Boot2Docker v1.6.0 VirtualBox 和 vagrant
Java 7 或更高版本， Maven 3.3.1 （如果你希望从 Docker 仓库中直接运行 Docker 化的应用，这一步是非必须的）
下面是大概的步骤：
在容器中运行 Hadoop git clone 示例代码 组装 JAR 包 Docker 化应用 在 Docker 容器中部署应用
确保 Docker 正在运行，你可以通过下面的命令来重启 Docker：
boot2docker restart
在容器中运行 Hadoop 运行下面的命令，将会从 Docker 仓库中下载 sequenceiq 提供的 Hadoop 2.6.0 镜像，接下来将容器以后台程序运行（命令行 -d 参数）并且启动一个交互式 bash shell （命令行 -ti 参数）：
docker exec -ti $(docker run -d sequenceiq/hadoop-docker:2.6.0) /bin/bash
接下来我们对容器进行一些改动。在命令行运行下面的命令，首先记录运行 Hadoop 的容器 IP 地址：
/sbin/ifconfig eth0 | grep inet addr: | cut -d: -f2 | awk { print $1}
将会显示下面的内容，这个 IP 地址之后会被用到。
172.17.02
启动任务历史服务器，该服务默认没有启动，并利用下面的命令增加输入文件：
返回到宿主机。
git clone 样例代码 如果你只是想部署一个应用，那么这一步和下一步都可以忽略了，但是如果你想将应用打包，那么继续！
在宿主机的终端输入下面的命令：
git clone https://github.com/emccode/big-data-techcon-2015
组装 JAR 包 现在你已经准备好了利用 Maven 来组装 JAR。由于 Maven 需要将所有的依赖下载到本地，第一次需要花费一些时间。
Docker 化应用 在这一步我们将应用 Docker 化：
我们现在可以将其部署到一个 Docker 容器中。
在 Docker 容器中部署应用 首先确认已经将 hadoop_host 替换成上面得到的地址，接下来利用下面的命令运行 Spring Boot 应用的 Docker 容器。这将会从本地仓库运行 Docker 应用，如果本地没有找到回去中心仓库下载，即我们忽略了应用构建的过程。
docker run -d -p 8080 -e sping_profiles_active=docker -e hadoop_host=172.17.0.2 ragsns/hello-cloud
命令会返回运行 Spring Boot 应用的容器 ID，类似于下面的模样：
7d6d35f26272d1379ea9881dd5e885268006562593c7f73b0a28881518ba4ec6
利用下面的命令获取运行 Spring Boot 应用容器的 IP 地址，你可以指定完整的 ID 或者 ID 的前几个字母：
你将会得到类似于下面的结果：
下图展示了配置的过程。在这里的宿主机是一台 Mac 所有的容器都运行在高度优化后的 VirtualBox VM 中，在这里是 Boot2Docker VM。如果你在 Linux 机器中运行样例的话，那么你的 Docker 容器直接运行在宿主机之上。
运行下面的命令：
docker ps
对于这个容器你会看到类似于下面的输出：
0.0.0.0:49160- 8080/tcp
这意味着 Boot2Docker VM 上的 49106 端口双向转发容器 8080 端口的流量。如果运行下面的命令：
你将会看到 Spring Boot 应用中运行的输出结果：
Hello Hadoop!
根据上面的 IP，你可以通过下面的 URL 链接来利用浏览器访问 Spring Boot 应用。
运行下面的命令：
boot2docker ip
将会看到类似下面的输出：
192.168.59.104
这个应用共有 5 个也页面，最后两个将会和 Hadoop 容器产生交互。将下面的链接加到前面的 ip 和端口后面即可访问。
/ Hello 信息 /env 环境变量 /ip IP 地址 /fspath 浏览 HDFS /wc 运行 word count 这个 MapReduce 样例
举例来说 http://192.168.59.104:49160/ 会展示 Hello 信息，http://192.168.59.104:49160/env/ 会展示环境变量。也可以加入新的路由来直接使用容器的 IP 地址，我们将在下一部分进行介绍。
总结 我们在上面的例子中介绍如何利用 Spring Boot 在 Docker 中运行 Hadoop 任务。我们利用 Spring Boot 解决开发中的问题，利用 Docker 解决测试和部署方面的问题。
完整的代码可以在这里获得 https://github.com/emccode/big-data-techcon-2015。
原文链接：Hadoop workloads in Docker with Spring Boot （翻译：刘梦馨 校对：宋喻 ）
原文发布时间为：2015-05-05 本文作者：oilbeater 本文来自云栖社区合作伙伴DockerOne，了解相关信息可以关注DockerOne。 原文标题：利用 Spring Boot 在 Docker 中运行 Hadoop
Docker下的Spring Cloud三部曲之三：在线横向扩容 本章是《Docker下的Spring Cloud三部曲》的最后一篇，前面两篇我们实践了开发和制作镜像文件，运行一个基于spring cloud的RPC服务环境，今天我们来试试docker-compose的扩容功能，将我们的RPC服务做在线扩容
Docker下的Spring Cloud三部曲之二：细说Spring Cloud开发 《Docker下的Spring Cloud三部曲》系列的第二篇，详细讲解上一篇实例中用到的eureka、provider、consumer等三个应用的开发过程
越来越多的应用都开始使用Hadoop框架。而开发者在使用过程中也遇到一些挑战，比如使用诸如Docker之类的容器开发和部署相关的技术栈开发的应用。我们将会在下面的例子中介绍如何克服这些挑战。
由于 Spring 框架一直以来致力于从开发者角度对底层基础设施进行抽象，我们选择 Spring Boot 来进行开发。下面将会利用 Spring Boot 的配置文件来管理多容器的部署。
在下面第一部分，我们将应用部署在一个 Docker 容器内，在第二部分我们将会利用 Lattice 平台提供的功能进行部署。
在容器中运行 Spring Boot 应用 Docker 是一个构建、部署以及运行应用的开放平台，应用可以在不同的环境（开发、测试、生产）中无差别的运行，为应用的开发提供了很大的灵活性。
Lattice 是一个运行容器化工作负载的开源项目，通过它可以在集群中运行 Docker 化的应用。该平台的目标是在未来支持蓝绿部署、容量伸缩以及连接诸如日志服务的其它服务。
Spring Boot是由Pivotal团队提供的全新框架，其设计目的是用来简化新Spring应用的初始搭建以及开发过程。
我们将会介绍如何通过 Spring Boot 在 Docker 上运行简单的 Hadoop 任务，并且在第二部分利用 Lattice 来扩展这个例子。
Spring Boot 应用将会访问 Hadoop 集群（在一个容器中运行的微型集群），运行 Map/Reduce 任务，并访问 HDFS。
运行这个例子需要下面这些依赖条件以及一些基础标准工具（SSH等）
Boot2Docker v1.6.0 VirtualBox 和 vagrant
Java 7 或更高版本， Maven 3.3.1 （如果你希望从 Docker 仓库中直接运行 Docker 化的应用，这一步是非必须的）
下面是大概的步骤：
在容器中运行 Hadoop git clone 示例代码 组装 JAR 包 Docker 化应用 在 Docker 容器中部署应用
确保 Docker 正在运行，你可以通过下面的命令来重启 Docker：
boot2docker restart
在容器中运行 Hadoop 运行下面的命令，将会从 Docker 仓库中下载 sequenceiq 提供的 Hadoop 2.6.0 镜像，接下来将容器以后台程序运行（命令行 -d 参数）并且启动一个交互式 bash shell （命令行 -ti 参数）：
docker exec -ti $(docker run -d sequenceiq/hadoop-docker:2.6.0) /bin/bash
接下来我们对容器进行一些改动。在命令行运行下面的命令，首先记录运行 Hadoop 的容器 IP 地址：
/sbin/ifconfig eth0 | grep inet addr: | cut -d: -f2 | awk { print $1}
将会显示下面的内容，这个 IP 地址之后会被用到。
172.17.02
启动任务历史服务器，该服务默认没有启动，并利用下面的命令增加输入文件：
export PATH=$PATH:/usr/local/hadoop/bin /usr/local/hadoop/sbin/mr-jobhistory-daemon.sh start historyserver hadoop fs -mkdir /tmp hadoop fs -chmod 1777 /tmp hadoop fs -mkdir -p /tmp/hadoop-yarn/staging/history hadoop fs -chmod -R 777 /tmp/hadoop-yarn hadoop fs -mkdir -p /user/root/example/input hadoop fs -mkdir -p /user/vcap/example/input cat /tmp/simple.txt EOF able was i ere i saw elba a quick brown fox jumped over the lazy dog i came i saw i conquered the rain in spain stays mainly in the plain hadoop fs -put /tmp/simple.txt /user/root/example/input/simple.txt hadoop fs -put /tmp/simple.txt /user/vcap/example/input/simple.txt hadoop fs -chown -R root /user/root hadoop fs -chown -R vcap /user/vcap
返回到宿主机。
git clone 样例代码 如果你只是想部署一个应用，那么这一步和下一步都可以忽略了，但是如果你想将应用打包，那么继续！
在宿主机的终端输入下面的命令：
git clone https://github.com/emccode/big-data-techcon-2015
组装 JAR 包 现在你已经准备好了利用 Maven 来组装 JAR。由于 Maven 需要将所有的依赖下载到本地，第一次需要花费一些时间。
cd big-data-techcon-2015/hello-cloud/ mvn clean package
Docker 化应用 在这一步我们将应用 Docker 化：
docker build -t hello-cloud . docker tag -f hello-cloud ragsns/hello-cloud
我们现在可以将其部署到一个 Docker 容器中。
在 Docker 容器中部署应用 首先确认已经将 hadoop_host 替换成上面得到的地址，接下来利用下面的命令运行 Spring Boot 应用的 Docker 容器。这将会从本地仓库运行 Docker 应用，如果本地没有找到回去中心仓库下载，即我们忽略了应用构建的过程。
docker run -d -p 8080 -e sping_profiles_active=docker -e hadoop_host=172.17.0.2 ragsns/hello-cloud
命令会返回运行 Spring Boot 应用的容器 ID，类似于下面的模样：
7d6d35f26272d1379ea9881dd5e885268006562593c7f73b0a28881518ba4ec6
利用下面的命令获取运行 Spring Boot 应用容器的 IP 地址，你可以指定完整的 ID 或者 ID 的前几个字母：
docker inspect --format {{ .NetworkSettings.IPAddress }} 7d6d3
你将会得到类似于下面的结果：
172.17.0.12
下图展示了配置的过程。在这里的宿主机是一台 Mac 所有的容器都运行在高度优化后的 VirtualBox VM 中，在这里是 Boot2Docker VM。如果你在 Linux 机器中运行样例的话，那么你的 Docker 容器直接运行在宿主机之上。
运行下面的命令：
docker ps
对于这个容器你会看到类似于下面的输出：
0.0.0.0:49160- 8080/tcp
这意味着 Boot2Docker VM 上的 49106 端口双向转发容器 8080 端口的流量。如果运行下面的命令：
curl -L "$(boot2docker ip):49160"
你将会看到 Spring Boot 应用中运行的输出结果：
Hello Hadoop!
根据上面的 IP，你可以通过下面的 URL 链接来利用浏览器访问 Spring Boot 应用。
运行下面的命令：
boot2docker ip
将会看到类似下面的输出：
192.168.59.104
这个应用共有 5 个也页面，最后两个将会和 Hadoop 容器产生交互。将下面的链接加到前面的 ip 和端口后面即可访问。
/ Hello 信息 /env 环境变量 /ip IP 地址 /fspath 浏览 HDFS /wc 运行 word count 这个 MapReduce 样例
举例来说 http://192.168.59.104:49160/ 会展示 Hello 信息，http://192.168.59.104:49160/env/ 会展示环境变量。也可以加入新的路由来直接使用容器的 IP 地址，我们将在下一部分进行介绍。
总结 我们在上面的例子中介绍如何利用 Spring Boot 在 Docker 中运行 Hadoop 任务。我们利用 Spring Boot 解决开发中的问题，利用 Docker 解决测试和部署方面的问题。
完整的代码可以在这里获得 https://github.com/emccode/big-data-techcon-2015。
原文链接：Hadoop workloads in Docker with Spring Boot （翻译：刘梦馨 校对：宋喻 ）
原文发布时间为：2015-05-05 本文作者：oilbeater 本文来自云栖社区合作伙伴DockerOne，了解相关信息可以关注DockerOne。 原文标题：利用 Spring Boot 在 Docker 中运行 Hadoop
Docker下的Spring Cloud三部曲之三：在线横向扩容 本章是《Docker下的Spring Cloud三部曲》的最后一篇，前面两篇我们实践了开发和制作镜像文件，运行一个基于spring cloud的RPC服务环境，今天我们来试试docker-compose的扩容功能，将我们的RPC服务做在线扩容
Docker下的Spring Cloud三部曲之二：细说Spring Cloud开发 《Docker下的Spring Cloud三部曲》系列的第二篇，详细讲解上一篇实例中用到的eureka、provider、consumer等三个应用的开发过程
相关文章
- Spring Security3学习实例
- Spring Boot 2.0(五)：Docker Compose + Spring Boot + Nginx + Mysql 实践
- Spring Boot 2.0(四)：使用 Docker 部署 Spring Boot
- Spring Boot + Vue 音乐网站开源项目，前后端分离，拿来练手真不错！
- 如果抛开 Spring，如何自己实现 AOP？面试必问。。。
- Spring Boot开启的 2 种方式
- 【Docker】Spring Boot 和 Docker
- SpringBoot学习笔记-8：第八章 Spring Boot 自定义 starters
- spring getbean 方法分析（很实用！）
- Spring Boot下Druid连接池的使用配置分析
- Spring Boot与Docker（四）：额外的微服务、更新容器、Docker Compose和负载均衡
- CXF整合Spring开发WebService