大数据学习——shell编程
03/ shell编程综合练习
自动化软件部署脚本
3.1 需求
1、需求描述
公司内有一个N个节点的集群,需要统一安装一些软件(jdk)
需要开发一个脚本,实现对集群中的N台节点批量自动下载、安装jdk
2、思路
1/ 编写一个启动脚本,用来发送一个软件安装脚本到每一台机器
2/ 然后启动每台机器上的软件安装脚本来执行软件下载和安装
3、expect的使用
痛点:使用scp命令远程拷贝文件时,会有人机交互的过程,如何让脚本完成人机交互?
妙药: expect
用法示例:
先观察 ssh localhost 的过程
再看expect的功能
#!/bin/bash/expect ## exp_test.sh set timeout -1; spawn ssh localhost; expect { "(yes/no)" {send "yes\r";exp_continue;} "password:" {send "hadoop\r";exp_continue;} eof {exit 0;} } |
执行: expect -f exp_test.sh
3.2 准备内网软件下载服务器
选择一台服务器(比如mini)作为软件源服务器
1、安装httpd (如果已有,可跳过)
yum install -y httpd
service httpd start
chkconfig --level 35 httpd on
2、制作局域网yum源
1/ 挂载centos安装光盘到/mnt/cdrom (如果已有,可跳过)
mkdir /mnt/cdrom
mount -t iso9660 -o loop /dev/cdrom /mnt/cdrom
2/ 将本地yum库放入httpd服务器
ln -s /mnt/cdrom /var/www/html/centos
检查点:用浏览器访问 http://mini/centos 看能否看到光盘内容
3、编写repo配置
vi /etc/yum.repos.d/centos.repo
[c6-httpd] name=CentOS-httpd baseurl=http://192.168.33.3/centos gpgcheck=0 enabled=1 |
4、分发repo配置到局域网
从母鸡shizhan01上把centos.repo拷贝给所有需要自动安装软件的服务器(仔鸡mini1/mini2)
cd /etc/yum.repos.d/
scp /etc/yum.repos.d/innet.repo mini1:$PWD
scp /etc/yum.repos.d/innet.repo mini2:$PWD
5、准备一个jdk安装包放在内网web服务器上
3.3 脚本开发
1、启动脚本
vi boot.sh
#!/bin/bash
SERVERS="mini1 mini2" PASSWORD=hadoop BASE_SERVER=192.168.33.11
## 实现免密登陆配置的函数 auto_ssh_copy_id() { expect -c "set timeout -1; spawn ssh-copy-id $1; expect { *(yes/no)* {send -- yes\r;exp_continue;} *assword:* {send -- $2\r;exp_continue;} eof {exit 0;} }"; }
ssh_copy_id_to_all() { for SERVER in $SERVERS do auto_ssh_copy_id $SERVER $PASSWORD done }
## 调用免密登陆配置函数,实现母鸡到各仔鸡的免密登陆配置 ssh_copy_id_to_all
## 完成分发install.sh到各仔鸡的操作 ## 并让仔鸡启动install.sh for SERVER in $SERVERS do scp install.sh root@$SERVER:/root ssh root@$SERVER /root/install.sh done |
2、安装执行脚本
vi install.sh
#!/bin/bash
BASE_SERVER=192.168.33.11 ## 为本机安装wget命令 yum install -y wget ## 使用wget从母鸡的web服务器上下载jdk压缩包 wget $BASE_SERVER/soft/jdk-7u67-linux-x64.gz ## 将下载的压缩包解压 tar -zxvf jdk-7u67-linux-x64.gz -C /usr/local ## 修改profile配置文件 cat >> /etc/profile << EOF export JAVA_HOME=/usr/local/jdk1.7.0_67 export PATH=\$PATH:\$JAVA_HOME/bin EOF |
3、启动脚本
只要在baseServer即mini上启动boot.sh即可
相关文章
- 【LINUX 学习】使用find和xargs[转摘自《shell编程和unix命令》]
- 《C#高级编程》学习笔记------C#中的委托和事件(续)
- Akka学习笔记(一):创建Hello World工程
- mysql--SQL编程(基础知识) 学习笔记1
- 【学习总结】网络-应用层-文件传输协议FTP
- 【学习总结】快速上手Linux玩转典型应用-第7章-WebServer安装和配置讲解
- 【我的愿景】每个程序员都应该学习编译原理,而每个人都应该学习 编程 和 设计。
- Android开发学习---使用XmlPullParser解析xml文件
- mysql--SQL编程(基础知识) 学习笔记1
- OpenGL学习--------动画制作
- Python视觉深度学习系列教程 第一卷 第11章 卷积神经网络
- JAVA网络编程知识学习
- AI:2020年6月24日北京智源大会演讲分享之强化学习专题论坛——11: 40-12: 10俞扬教授《更好的环境模型,更好的强化学习》
- AI:一个20年程序猿的学习资料大全—人工智能之AI/机器学习/深度学习/计算机视觉/Matlab大赛——只有你不想要的,没有你找不到的
- TF学习:Tensorflow基础案例、经典案例集合——基于python编程代码的实现
- Python编程语言学习:仅需一行代码构造特殊列表之重复元素列表、等差数字列表等之详细攻略
- Python语言编程学习:numpy中的array格式数据切片与pandas中的dataframe格式数据切片、相互转换
- 为什么很多人讨厌学习编程?
- AutoEncoder (自编码/非监督学习)
- Python学习89:TCP编程
- Python学习87:网络编程
- Python学习74:hmac
- Python学习26:函数式编程
- React学习笔记(一)—— React快速入门
- 《编程之美》学习笔记——指挥CPU占用率
- Linux 中断学习之小试牛刀篇---Linux中断内核编程
- C++Primer学习笔记3-类
- 最应该看的一本人工智能理论的书-神经网络于深度学习-目录