centos7 搭建 kubernetes1.16.0 集群
目录
3. 安装kubeadm、kubelet、kubectl（所有机器）
问题: The connection to the server localhost:8080 was refused
环境：
操作系统：win10
虚拟机：virtual box
linux发行版：CentOS7.9
linux内核(使用uname -r查看)：3.10.0-957.el7.x86_64
master和node节点通信的ip(master)： 10.0.0.198
0.检查配置
本次搭建的集群共三个节点，包含一个主节点，两个工作子节点：
| 节点 | 角色 | IP |
|---|---|---|
| Node1 | Master | 10.0.0.198 |
| Node2 | Woker | 10.0.0.199 |
| Node3 | Woker | 10.0.0.200 |
根据官方推荐，节点可以是Ubuntu或CentOS操作系统，本次选择使用CentOS 7。节点最低配置如下：
| 硬件 | 配置 |
|---|---|
| 内存 | >=2G |
| CPU | >=2核 |
| 磁盘 | >=15G |
检查 centos / hostname
# 在 master 节点和 worker 节点都要执行
cat /etc/redhat-release
# 此处 hostname 的输出将会是该机器在 Kubernetes 集群中的节点名字
# 不能使用 localhost 作为节点的名字
hostname
# 请使用 lscpu 命令，核对 CPU 信息
# Architecture: x86_64 本安装文档不支持 arm 架构
# CPU(s): 2 CPU 内核数量不能低于 2
lscpu虚拟机开通完成后, 为每个节点设置hosts及hostname
修改 hosts：
master/node1/node2
cat <<EOF >>/etc/hosts
10.0.0.198 master-1
10.0.0.199 node1
10.0.0.200 node2
EOF修改 hostname
如果您需要修改 hostname，可执行如下指令：
# 修改 hostname
hostnamectl set-hostname your-new-host-name
# 查看修改结果
hostnamectl status
# 设置 hostname 解析
echo "127.0.0.1 $(hostname)" >> /etc/hostsmaster
hostnamectl set-hostname master-1node1
hostnamectl set-hostname node1node2
hostnamectl set-hostname node2
检查网络
kubelet使用的IP地址
-
ip route show命令中，可以知道机器的默认网卡，通常是eth0，如 default via 172.21.0.23 dev eth0 -
ip address命令中，可显示默认网卡的 IP 地址，Kubernetes 将使用此 IP 地址与集群内的其他节点通信，如172.17.216.80 -
所有节点上 Kubernetes 所使用的 IP 地址必须可以互通（无需 NAT 映射、无安全组或防火墙隔离）
1. 安装docker-ce 18.09.9（所有机器）
所有安装k8s的机器都需要安装docker，命令如下：
# 在 master 节点和 worker 节点都要执行
# 安装 docker
# 参考文档如下
# https://docs.docker.com/install/linux/docker-ce/centos/
# https://docs.docker.com/install/linux/linux-postinstall/
# 卸载旧版本-方式1
# yum如果报告没有安装这些软件包，那也没关系。
# 的内容/var/lib/docker/，包括图像、容器、卷和网络，都被保留。Docker 引擎包现在称为docker-ce.
yum remove -y docker \
docker-client \
docker-client-latest \
docker-common \
docker-latest \
docker-latest-logrotate \
docker-logrotate \
docker-selinux \
docker-engine-selinux \
docker-engine
# 卸载旧版本-方式2
#查看已安装的docker:
yum list installed|grep docker
#删除docker:
yum -y remove docker.x86_64 docker-client.x86_64 docker-common.x86_64
# 删除已有镜像和容器（慎重，根据需要执行）：
rm -rf /var/lib/docker
# 安装docker所需的工具
yum install -y yum-utils device-mapper-persistent-data lvm2
# 配置阿里云的docker源
yum-config-manager --add-repo http://mirrors.aliyun.com/docker-ce/linux/centos/docker-ce.repo
# 将服务器上的软件包信息 先在本地缓存,以提高搜索\安装软件的速度
yum makecache
# 指定安装这个版本的docker-ce
yum install -y docker-ce-18.09.7 docker-ce-cli-18.09.7 containerd.io
# 安装20.10.8版本
# yum install -y docker-ce-20.10.8 docker-ce-cli-20.10.8 containerd.io
# 更新 cgroupdriver 为systemd
# 如果不修改，在添加 worker 节点时可能会碰到如下错误
# [WARNING IsDockerSystemdCheck]: detected "cgroupfs" as the Docker cgroup driver. The recommended driver is "systemd".
cat <<EOF > /etc/docker/daemon.json
{
"registry-mirrors": ["https://uy35zvn6.mirror.aliyuncs.com"],
"exec-opts": ["native.cgroupdriver=systemd"]
}
EOF
# 启动docker
systemctl enable docker && systemctl start docker
# 验证docker 是否安装成功
docker version
# 检查 docker info|grep "Cgroup Driver" 是否输出 Cgroup Driver: systemd
[root@master-1 ~]# docker info|grep "Cgroup Driver"
Cgroup Driver: systemd
查看所有仓库中所有docker版本
yum list docker-ce --showduplicates | sort -r安装最新版本docker
yum install docker-ce
2. 设置k8s环境准备条件（所有机器）
安装k8s的机器需要2个CPU和2g内存以上，这个简单，在虚拟机里面配置一下就可以了。然后执行以下脚本做一些准备操作。所有安装k8s的机器都需要这一步操作。
# 关闭防火墙
systemctl disable firewalld
systemctl stop firewalld
# 关闭selinux
# 临时禁用selinux
setenforce 0
# 永久关闭 修改/etc/sysconfig/selinux文件设置
sed -i 's/SELINUX=permissive/SELINUX=disabled/' /etc/sysconfig/selinux
sed -i "s/SELINUX=enforcing/SELINUX=disabled/g" /etc/selinux/config
# 禁用交换分区
swapoff -a
# 永久禁用，打开/etc/fstab注释掉swap那一行。
sed -i 's/.*swap.*/#&/' /etc/fstab
# 验证swap是否关闭
# free -h
# 若swap那一行输出为0，则说明已经关闭。
# 有时候也需要同时调整k8s的swappiness参数
# vi /etc/sysctl.d/k8s.conf
# 添加一行
vm.swappiness=0
# 执行下面的命令使得修改生效
# sysctl -p /etc/sysctl.d/k8s.conf
# 修改内核参数
cat <<EOF > /etc/sysctl.d/k8s.conf
net.bridge.bridge-nf-call-ip6tables = 1
net.bridge.bridge-nf-call-iptables = 1
EOF
# 手动加载所有的配置文件
sysctl --system
# 单独指定配置文件加载，执行：
# sysctl -p XXX.conf为什么要在kubernetes(k8s)上禁用swap？
不正确地使用swap只是一个懒的行为，显示出对内存子系统的理解不深，以及缺乏基本的系统管理技能。设计基础设施服务而不了解这些系统，必然会以失败告终。
所以，我对此有一些评论，这在我看来更像是一种懒惰，而不是一种功能或需求。正确处理swap，分析内存，并确定如何在不影响swap的情况下正确利用内存子系统，这是绝对可能的。有一连串的工具围绕着这一点，你可以保证一个进程不会很容易地利用swap，所以性能的观点是错误的。不把这个工具放进去简直是懒惰的行为，而且总的来说，完全去除swap会对系统性能造成损害。这里的关键是正确使用它。我同意把pods换到磁盘上会影响性能，但是有很多东西应该被换到磁盘上。
此外，Linux内核的设计是为了利用swap，完全禁用它将会产生负面的影响。一个更好的处理方法是将pods固定在主内存中，不允许它们交换到磁盘，减少
vfs缓存的压力，使它不交换，除非是绝对必要的，即使这样，你也可以使固定的进程在主内存耗尽的情况下不能MALLOC。取决于容器中的进程，如果容器发生硬故障或被OOM杀手杀死，可能会导致一些相当灾难性的结果。然而，我知道在这些容器中运行的进程最好是无状态的和短暂的，但是在20年的系统运行中，我还没有看到每个人都100%地遵循预定的设计。
此外，这还没有考虑到未来的技术，如非易失性内存，以及较新的内存系统，如intel xpoint，可以使用混合磁盘/内存系统大大扩展主内存。有了这些类型的系统，他们可以直接将其作为补充主内存使用，或者利用交换文件来扩展主内存，对性能的影响可以忽略不计。
不想默认支持内存交换，至少在不久的将来
它不适用于我们的 qos 提案：https ://github.com/GoogleCloudPlatform/kubernetes/blob/master/docs/proposals/resource-qos.md
要求保证资源的工作负载不会使用它。他们需要可重复的内存延迟。他们也想要性能的可预测性。
添加交换会减慢作业并为磁盘和隔离问题带来更多带宽。我们还没有管理磁盘 io，也很难管理。如果没有更好的磁盘 io 管理，简单地为容器/pod 启用交换是不好的解决方案。
另一方面，我知道有些用户可能无论如何都想使用交换；或者某些应用程序在没有任何共享的专用节点上运行，这仍然需要交换空间。@brendandburns提出了一种方法，可以简单地将此类请求传递给具有特权的某些容器/pod 的 docker 引擎。抄送/ @bgrant0607
3. 安装kubeadm、kubelet、kubectl（所有机器）
安装kubeadm、kubelet、kubectl
由于官方k8s源在google，国内无法访问，这里使用阿里云yum源
# 执行配置k8s的yum--阿里源
cat > /etc/yum.repos.d/kubernetes.repo << EOF
[kubernetes]
name=Kubernetes
baseurl=https://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64
enabled=1
gpgcheck=0
repo_gpgcheck=0
gpgkey=https://mirrors.aliyun.com/kubernetes/yum/doc/yum-key.gpg https://mirrors.aliyun.com/kubernetes/yum/doc/rpm-package-key.gpg
EOF
# 安装kubeadm、kubectl、kubelet 1.16.0
yum install -y kubectl-1.16.0-0 kubeadm-1.16.0-0 kubelet-1.16.0-0
# 安装kubeadm、kubectl、kubelet 1.22.2
# yum install -y kubectl-1.22.2 kubeadm-1.22.2 kubelet-1.22.2
# 查看是否安装成功
kubelet --version
kubectl version
kubeadm version
# 重启 docker，并启动 kubelet
systemctl daemon-reload
systemctl restart docker
systemctl enable kubelet && systemctl start kubelet
4. 安装k8s v1.16.0 master管理节点
如果还没安装docker，请参照本文步骤二安装docker-ce 18.09.9（所有机器）安装。如果没设置k8s环境准备条件，请参照上面设置k8s环境准备条件（所有机器）执行。
以上步骤执行完毕之后，继续以下步骤。
# 下载管理节点中用到的6个docker镜像，你可以使用docker images查看到
# 这里需要大概两分钟等待，会卡在[preflight] You can also perform this action in beforehand using ''kubeadm config images pull
kubeadm init --image-repository registry.aliyuncs.com/google_containers --kubernetes-version v1.16.0 --apiserver-advertise-address 10.0.0.198 --pod-network-cidr=10.244.0.0/16 --token-ttl 0
# 安装1.22.2版本
# kubeadm init --image-repository registry.aliyuncs.com/google_containers --kubernetes-version v1.22.2 --apiserver-advertise-address 192.168.172.128 --pod-network-cidr=10.244.0.0/16 --token-ttl 0-
初始化k8s 以下这个命令开始安装k8s需要用到的docker镜像，因为无法访问到国外网站，所以这条命令使用的是国内的阿里云的源(registry.aliyuncs.com/google_containers)。
-
另一个非常重要的是：这里的-
-apiserver-advertise-address使用的是master和node间能互相ping通的ip，我这里是10.0.0.198，刚开始在这里被坑了一个晚上，你请自己修改下ip执行。这条命令执行时会卡在[preflight] You can also perform this action in beforehand using ''kubeadm config images pull，大概需要2分钟，请耐心等待。
上面安装完后，会提示你输入如下命令，复制粘贴过来，执行即可。
# 上面安装完成后，k8s会提示你输入如下命令，执行
mkdir -p $HOME/.kube
sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
sudo chown $(id -u):$(id -g) $HOME/.kube/config而需要这些配置命令的原因是：Kubernetes 集群默认需要加密方式访问。
所以，这几条命令，就是将刚刚部署生成的 Kubernetes 集群的安全配置文件，保存到当前用户的.kube 目录下，kubectl 默认会使用这个目录下的授权信息访问 Kubernetes 集群。
记住node加入集群的命令---- 上面kubeadm init执行成功后会返回给你node节点加入集群的命令，等会要在node节点上执行，需要保存下来
kubeadm join 10.0.0.198:6443 --token 95z94h.dgzgq3ceum5kju42 \
--discovery-token-ca-cert-hash sha256:6355f704056ca21d498e7d5e09c6f446b745fcc526d58f8615eaed9ba34d77a0 如果忘记了，可以使用如下命令获取。
kubeadm token create --print-join-command以上，安装master节点完毕。可以使用kubectl get nodes查看一下，此时master处于NotReady状态，需要安装网络插件。
安装网络插件
安装calico （master机器）
# 安装 calico 网络插件
# 参考文档 https://docs.projectcalico.org/v3.9/getting-started/kubernetes/
yum install wget
wget https://kuboard.cn/install-script/calico/calico-3.9.2.yaml
export POD_SUBNET=10.244.0.0/16
sed -i "s#192\.168\.0\.0/16#${POD_SUBNET}#" calico-3.9.2.yaml
kubectl apply -f calico-3.9.2.yaml修改 Pods 使用的 IP 网段，默认使用 192.168.0.0/16 网段，但是和我们的服务器本来的网段不一样，会产生冲突，所以我们需要修改一下，注意，这个网段应该与kubeapi定义--service-cluster-ip-range的网段一样
安装flannel（master机器）
-
下载官方fannel配置文件 使用wget命令，地址为：https://raw.githubusercontent.com/coreos/flannel/master/Documentation/kube-flannel.yml，这个地址国内访问不了，所以我把内容复制下来，为了避免前面文章过长，我把它粘贴到文章末尾附录了。
-
这个yml配置文件中配置了一个国内无法访问的地址(quay.io)，我已经将其改为国内可以访问的地址(quay-mirror.qiniu.com)。我们新建一个kube-flannel.yml文件，复制粘贴该内容即可。
mkdir -p ~/k8s/
cd ~/k8s
curl -O https://raw.githubusercontent.com/coreos/flannel/master/Documentation/kube-flannel.yml
kubectl apply -f kube-flannel.yml测试集群DNS是否可用
执行命令进入镜像
kubectl run curl --image=radial/busyboxplus:curl -it如下所示表示正常
kubectl run --generator=deployment/apps.v1beta1 is DEPRECATED and will be removed in a future version. Use kubectl create instead.If you don't see a command prompt, try pressing enter.
[ root@curl-6bf6db5c4f-hkd27:/ ]$进入后执行以下命令确认解析正常
nslookup kubernetes.default如下所示表示正常
[ root@curl-69c656fd45-42gj9:/ ]$ nslookup kubernetes.def
ault
Server: 10.96.0.10
Address 1: 10.96.0.10 kube-dns.kube-system.svc.cluster.local
Name: kubernetes.default
Address 1: 10.96.0.1 kubernetes.default.svc.cluster.loca
5. 安装k8s v1.16.0 node工作节点
如果还没安装docker，请参照本文步骤二安装docker-ce 18.09.9（所有机器）安装。如果没设置k8s环境准备条件，请参照本文步骤三设置k8s环境准备条件（所有机器）执行。
以上两个步骤检查完毕之后，继续以下步骤。
加入集群 这里加入集群的命令每个人都不一样，可以登录master节点，使用kubeadm token create --print-join-command 来获取。获取后执行如下。
# 加入集群，如果这里不知道加入集群的命令，可以登录master节点，使用kubeadm token create --print-join-command 来获取
kubeadm join 10.0.0.198:6443 --token 95z94h.dgzgq3ceum5kju42 \
--discovery-token-ca-cert-hash sha256:6355f704056ca21d498e7d5e09c6f446b745fcc526d58f8615eaed9ba34d77a0加入成功后，可以在master节点上使用kubectl get nodes命令查看到加入的节点。
问题: The connection to the server localhost:8080 was refused
出现这个问题的原因是kubectl命令需要使用kubernetes-admin的身份来运行，在kubeadm int启动集群的步骤中就生成了/etc/kubernetes/admin.conf。
因此，解决方法如下，将主节点中的/etc/kubernetes/admin.conf文件拷贝到工作节点相同目录下：
#复制admin.conf，请在主节点服务器上执行此命令
scp /etc/kubernetes/admin.conf 10.0.0.199:/etc/kubernetes/admin.conf
scp /etc/kubernetes/admin.conf 10.0.0.200:/etc/kubernetes/admin.conf然后分别在工作节点上配置环境变量：
#设置kubeconfig文件
export KUBECONFIG=/etc/kubernetes/admin.conf
echo "export KUBECONFIG=/etc/kubernetes/admin.conf" >> ~/.bash_profile
问题：执行 yum install -y kubectl-1.16.0-0 kubeadm-1.16.0-0 kubelet-1.16.0-0 报错"Peer's Certificate has expired."
报错信息
https://mirrors.aliyun.com/docker-ce/linux/centos/7/x86_64/stable/repodata/repomd.xml:
[Errno 14] curl#60 - "Peer's Certificate has expired."
这可能是因为，我们Linux系统的时间与网络时间未能同步，导致https证书认证错误，从而yum指令执行产生错误。
我们执行如下指令，同步时钟信息
yum install ntp -y
ntpdate ntp.aliyun.com再通过date指令查看时间是否一致：
6. kubeadm还原
集群初始化如果遇到问题，可以使用下面的命令进行清理
yum -y remove kubelet kubeadm kubectl
sudo kubeadm reset -f
sudo rm -rvf $HOME/.kube
sudo rm -rvf ~/.kube/
sudo rm -rvf /etc/kubernetes/
sudo rm -rvf /etc/systemd/system/kubelet.service.d
sudo rm -rvf /etc/systemd/system/kubelet.service
sudo rm -rvf /usr/bin/kube*
sudo rm -rvf /etc/cni
sudo rm -rvf /opt/cni
sudo rm -rvf /var/lib/etcd
sudo rm -rvf /var/etcd
参考链接:
相关文章
- CentOS7 关闭防火墙
- centos7下使用yum安装mysql
- CentOS7使用firewalld打开关闭防火墙与端口
- Centos7 RKE部署高可用k8s集群
- Centos7 搭建minio集群
- Centos7 k8s v1.5.2二进制部署安装-网络插件Flannel的安装
- Centos7 k8s v1.5.2二进制部署安装-controller-manager和scheduler服务
- Centos7 防火墙查看状态，查看开放端口，开放端口，
- Centos7 tiup搭建tiBD集群、扩容、缩容存储节点、修改监控节点
- Centos7单机部署ELK
- centos7底层系统容器使用systemctl启动服务的方法
- centos7 设备 mariadb-10
- linux系统centOS7下搭建redis集群中ruby版本过低问题的解决方法
- Linux centos7新建Oracle数据库，在进度条百分之六十八的时候报错ins_ctx.mk编译错误的解决方法
- 基于Centos7的集群分发脚本xsync
- centos7底层系统容器使用systemctl启动服务的方法
- 【云原生】centos7搭建安装k8s集群 v1.25版本详细教程实战