在CentOS7上部署高可用的k8s集群(v1.15)

在VMware虚拟机中的CentOS7集群部署高可用的k8s集群环境(v1.15)。

这里有两篇基础知识的补充和单master节点集群的搭建过程,有需要的同学可以看一下。

k8s重要概念及各组件简介

在CentOS7上部署k8s集群(v1.15)

1、前期工作

1.1 什么是高可用集群?

简单来说就是master节点不止一个的集群,我们知道k8s的node节点中,非master节点都需要听从master节点来进行任务的调度分配和负载均衡等操作,这样的好处就是我们只需要操作master节点就可以调度所有的node节点,坏处就是如果master节点崩了,那么整个集群也就崩掉了。所以这里的解决方案就是配置多个master节点,如果一个崩掉了还有别的备用备用节点顶上,不至于出现崩溃的情况。

1.2 集群机器

这里必须要说一下,k8s对每个节点的机器配置的最低要求是2C2G,即两核心的CPU,2G的内存,低于这个配置也不是不能用,只是在初始化的时候会警告而已。这里小七采用的是虚拟机的方法(穷学生没有真机集群),具体的配置如下表。

名称 配置 IP
VIP 不需要虚拟机,留一个IP即可 192.168.100.10
master20 8C4G,CentOS7.6 192.168.100.20
master21 8C4G,CentOS7.6 192.168.100.21
master22 8C4G,CentOS7.6 192.168.100.22
node30 8C8G,CentOS7.6 192.168.100.30
node31 8C8G,CentOS7.6 192.168.100.31
node32 8C8G,CentOS7.6 192.168.100.32

真机用的是一块渣渣i7-8700和64G的内存,勉强能撑一下。

1.3 集群间免密登录

之前专门写过一篇文章,这里不再赘述。多主机间实现SSH免密登录

需要注意的是,在hosts文件中,我们还需要为192.168.100.10添加一下解析。

1
echo "192.168.100.10  kubernetes.haproxy.com" >> /etc/hosts

这里的kubernetes.haproxy.com可以改成别的名字,但是注意后面要用到,建议改成有意义的名字。

1.4 时间同步(所有机器)

这里我们使用ntpdate来进行时间同步

1
2
3
4
5
6
7
8
# 使用yum安装ntpdate工具
yum install ntpdate -y

# 使用阿里云的源同步时间
ntpdate ntp1.aliyun.com

# 最后查看一下时间
hwclock

我们也可以在/etc/cron.hourly/下面直接新建一个文件,将ntpdate ntp1.aliyun.com这条命令写进去,这样cron就会每小时执行一次这个同步时间操作。关于cron可以点击这里了解。

1
2
3
cat >>/etc/cron.hourly/synctime <<EOF
ntpdate ntp1.aliyun.com
EOF

1.5 升级内核(所有机器)

建议直接升级centos官方的内核,这样兼容性最好。

1
2
3
4
5
6
7
8
# 查看当前内核版本
uname -r

# 更新yum源
yum update -y

# 升级yum源中的最新版内核
yum install -y kernel

此外我们还需要设置一下内核的namespace

1
2
3
4
grubby --args="user_namespace.enable=1" --update-kernel="$(grubby --default-kernel)"

# 重新加载内核
reboot

1.6 关闭防火墙(所有机器)

因为k8s涉及的端口非常多,我们先把防火墙关了,如果安装了iptable也先关掉。

1
2
3
# 关闭centos7自带的firewall防火墙
systemctl disable firewalld.service
systemctl stop firewalld.service

1.7 设置selinux(所有机器)

来自官网的说明,必须把selinux改为permissive(直接生效无需重启)或者disabled(需要重启生效)

通过命令 setenforce 0sed ... 可以将 SELinux 设置为 permissive 模式(将其禁用)。 只有执行这一操作之后,容器才能访问宿主的文件系统,进而能够正常使用 Pod 网络。您必须这么做,直到 kubelet 做出升级支持 SELinux 为止。

1
2
3
4
setenforce 0
sed -i 's/^SELINUX=enforcing$/SELINUX=permissive/' /etc/selinux/config

# 也可以直接修改/etc/selinux/config文件

关于SELinux的简单介绍,可以点击这里查看之前的博客。

1.8 关闭swap(所有机器)

k8s官方不推荐我们使用swap分区,所以这里我们也关闭掉。

1
2
3
4
5
6
7
swapoff -a

vim /etc/fstab
# 注释掉swap分区启动挂载的那一行

# 重启机器
reboot

2、配置ipvs(所有机器)

1
2
# 使用yum源安装ipvs
yum install ipvsadm ipset -y
1
2
# 使配置生效
sysctl --system
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
# 加载模块
modprobe -- ip_vs
modprobe -- ip_vs_rr
modprobe -- ip_vs_wrr
modprobe -- ip_vs_sh
modprobe -- nf_conntrack_ipv4

# 查看是否加载
lsmod | grep ip_vs

# 配置开机自加载
cat <<EOF >> /etc/rc.local
modprobe -- ip_vs
modprobe -- ip_vs_rr
modprobe -- ip_vs_wrr
modprobe -- ip_vs_sh
modprobe -- nf_conntrack_ipv4
EOF

chmod +x /etc/rc.d/rc.local

3、配置k8s相关网络参数(所有机器)

接着我们需要编辑一个k8s的配置文件

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
# 需要设定/etc/sysctl.d/k8s.conf的系统参数。
cat <<EOF > /etc/sysctl.d/k8s.conf
net.ipv4.tcp_keepalive_time = 600
net.ipv4.tcp_keepalive_intvl = 30
net.ipv4.tcp_keepalive_probes = 10
net.ipv4.neigh.default.gc_stale_time = 120
net.ipv4.conf.all.rp_filter = 0
net.ipv4.conf.default.rp_filter = 0
net.ipv4.conf.default.arp_announce = 2
net.ipv4.conf.lo.arp_announce = 2
net.ipv4.conf.all.arp_announce = 2
net.ipv4.ip_forward = 1
net.ipv4.tcp_max_tw_buckets = 5000
net.ipv4.tcp_syncookies = 1
net.ipv4.tcp_max_syn_backlog = 1024
net.ipv4.tcp_synack_retries = 2
net.bridge.bridge-nf-call-ip6tables = 1
net.bridge.bridge-nf-call-iptables = 1
net.netfilter.nf_conntrack_max = 2310720
fs.inotify.max_user_watches=89100
fs.may_detach_mounts = 1
fs.file-max = 52706963
fs.nr_open = 52706963
net.bridge.bridge-nf-call-arptables = 1
vm.swappiness = 0
vm.overcommit_memory=1
vm.panic_on_oom=0
EOF

4、配置iptables(所有机器)

保险起见,我们还需要配置iptables

1
2
3
4
5
6
7
8
9
10
11
12
cat >> /etc/sysctl.conf <<EOF
net.bridge.bridge-nf-call-ip6tables = 1
net.bridge.bridge-nf-call-iptables = 1
EOF

yum install -y bridge-utils.x86_64
modprobe bridge
modprobe br_netfilter

sysctl -p

reboot

5、检查配置(所有机器)

1
2
3
4
# 检查系统内核和模块是否适合运行 docker (仅适用于 linux 系统)
curl https://raw.githubusercontent.com/docker/docker/master/contrib/check-config.sh > check-config.sh

bash ./check-config.sh

这里只需要保证必要项通过就可以了。

6、安装docker(所有机器)

6.1 安装docker

centos版本的decker-ce官方安装指导:

https://docs.docker.com/install/linux/docker-ce/centos/

这里我们主要是通过yum的方式来安装,如果出现无法连接docker官网的情况,建议检查一下网络,或者使用rpm的方式进行安装。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
# 导入官网提供的repo
sudo yum install -y yum-utils device-mapper-persistent-data lvm2
sudo yum-config-manager --add-repo https://download.docker.com/linux/centos/docker-ce.repo

# 安装docker及其相关组件
sudo yum install -y docker-ce docker-ce-cli containerd.io

# 启动docker
sudo systemctl start docker

# 跑个helloworld看看
sudo docker run hello-world

# 最后我们还要设置一下开机启动
sudo systemctl enable docker

6.2 配置cgroup

k8s推荐docker的cgroup驱动使用systemd,说是会更稳定,所以这里我们还需要修改一下。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
## Create /etc/docker directory.
mkdir /etc/docker

# Setup daemon.
cat > /etc/docker/daemon.json <<EOF
{
"exec-opts": ["native.cgroupdriver=systemd"],
"log-driver": "json-file",
"log-opts": {
"max-size": "100m"
},
"storage-driver": "overlay2",
"storage-opts": [
"overlay2.override_kernel_check=true"
]
}
EOF

mkdir -p /etc/systemd/system/docker.service.d

# Restart Docker
systemctl daemon-reload
systemctl restart docker

6.3 配置普通用户

默认情况下,普通用户需要使用sudo才能操作docker,我们这里需要进行一些修改。

1
2
3
4
5
6
7
8
9
10
11
12
# 切换到普通用户
su 普通用户名

# 创建docker组
sudo groupadd docker

# 将当前用户加入docker用户组
sudo gpasswd -a ${USER} docker

# 重启docker服务
sudo systemctl daemon-reload
sudo systemctl restart docker

7、安装配置keepalived、haproxy(所有master节点)

7.1 安装

1
2
3
4
5
6
7
8
9
10
# 使用yum源直接安装
yum install socat keepalived haproxy -y

# 设置开机启动
systemctl enable haproxy
systemctl enable keepalived

# 备份一下原来的配置文件以防万一
mv /etc/haproxy/haproxy.cfg /etc/haproxy/haproxy.cfg.bak
mv /etc/keepalived/keepalived.conf /etc/keepalived/keepalived.conf.bak

7.2 编辑haproxy配置文件

首先我们开启系统的日志功能

1
2
3
4
5
6
7
8
9
vim /etc/rsyslog.conf     #为其添加日志功能
# Provides UDP syslog reception
$ModLoad imudp
$UDPServerRun 514 ------>启动udp,启动端口后将作为服务器工作

# Provides TCP syslog reception
$ModLoad imtcp
$InputTCPServerRun 514 ------>启动tcp监听端口
local2.* /var/log/haproxy.log

注意配置文件里面的IP要根据自己的master节点实际情况进行修改。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
cat >> /etc/haproxy/haproxy.cfg <<EOF
global
log 127.0.0.1 local2
chroot /var/lib/haproxy
pidfile /var/run/haproxy.pid
maxconn 1024
user haproxy
group haproxy
daemon
nbproc 1
stats socket /var/lib/haproxy/stats

defaults
mode tcp
log global
option tcplog
option dontlognull
option redispatch
retries 3
timeout queue 1m
timeout connect 10s
timeout client 1m
timeout server 1m
timeout check 10s

listen stats
mode http
bind 0.0.0.0:12345
stats enable
log 127.0.0.1 local2
stats realm Haproxy\ Statistics
stats uri /stats
stats auth admin:admin
stats admin if TRUE

frontend k8s
bind 0.0.0.0:8443
mode tcp
maxconn 200
default_backend k8s-https

backend k8s-https
balance roundrobin
mode tcp
server master220 192.168.100.20:6443 check inter 10000 fall 2 rise 2 weight 1
server master221 192.168.100.21:6443 check inter 10000 fall 2 rise 2 weight 1
server master222 192.168.100.22:6443 check inter 10000 fall 2 rise 2 weight 1

EOF

7.3 编辑keepalived配置文件

注意,三个节点keepalived配置文件存在区别:

  • router_id分别为master20、master21、master22
  • state分别为MASTER、BACKUP、BACKUP
  • priority分别为100、90、80
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
cat >> /etc/keepalived/keepalived.conf <<EOF
global_defs {
router_id master20
script_user root
enable_script_security
}

vrrp_script check_haproxy {
script /etc/keepalived/check_haproxy.sh
interval 3
}

vrrp_instance VI_1 {
state MASTER
interface ens32
virtual_router_id 80
priority 100
advert_int 1
authentication {
auth_type PASS
auth_pass 1111
}
virtual_ipaddress {
192.168.100.10/24
}
track_script {
check_haproxy
}
}
EOF

此外我们还需要编辑一个检查的脚本来确保正常

1
2
3
4
5
6
7
cat >> /etc/keepalived/check_haproxy.sh <<EOF
#!/bin/bash
NUM=`ps -C haproxy --no-header |wc -l`
if [ $NUM -eq 0 ];then
systemctl stop keepalived
fi
EOF

8、安装k8s(所有机器)

k8s官网提供的yum源并不太好用,我们这里使用阿里云的yum镜像源。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
# 新建一个yum源
cat >> /etc/yum.repos.d/kubernetes.repo <<EOF
[kubernetes]
name=Kubernetes
baseurl=https://mirrors.aliyun.com/kubernetes/yum/repos/kubernetes-el7-x86_64/
enabled=1
gpgcheck=1
repo_gpgcheck=1
gpgkey=https://mirrors.aliyun.com/kubernetes/yum/doc/yum-key.gpg https://mirrors.aliyun.com/kubernetes/yum/doc/rpm-package-key.gpg
exclude=kube*
EOF

yum clean all

yum repolist

yum install -y kubelet kubeadm kubectl --disableexcludes=kubernetes
# 启动kubelet并设置开机启动
systemctl enable kubelet && systemctl start kubelet

关于SELinux的简单介绍,可以点击这里查看之前的博客。

9.1 获取默认配置文件

1
2
3
4
5
# 获得默认配置文件。
kubeadm config print init-defaults > kubeadm.conf

# 查看需要的镜像
kubeadm config images list --config kubeadm.conf


不知道为啥这里显示的居然是1.14版本的,小七安装的明明是1.15版本,我们把kubeadm.conf里面的版本号改成1.15再查看

9.2 编辑自定义配置文件

注意下面的ip地址和版本号需要根据实际情况来进行改动。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
# 配置文件kubuadm_master20.conf

apiVersion: kubeadm.k8s.io/v1beta2
kind: InitConfiguration
localAPIEndpoint:
advertiseAddress: 192.168.100.20
bindPort: 6443
---
apiVersion: kubeadm.k8s.io/v1beta2
kind: ClusterConfiguration
kubernetesVersion: v1.15.0
controlPlaneEndpoint: "kubernetes.haproxy.com:8443"
imageRepository: registry.aliyuncs.com/google_containers
apiServer:
certSANs:
- "master20"
- "master21"
- "master22"
- 192.168.100.10
- 192.168.100.20
- 192.168.100.21
- 192.168.100.22

networking:
podSubnet: "10.244.0.0/16"
certificatesDir: /etc/kubernetes/pki
clusterName: kubernetes

etcd:
local:
extraArgs:
listen-client-urls: "https://127.0.0.1:2379,https://192.168.100.20:2379"
advertise-client-urls: "https://192.168.100.20:2379"
listen-peer-urls: "https://192.168.100.20:2380"
initial-advertise-peer-urls: "https://192.168.100.20:2380"
initial-cluster: "master20=https://192.168.100.20:2380"
initial-cluster-state: new
serverCertSANs:
- master20
- 192.168.100.20
peerCertSANs:
- master20
- 192.168.100.20
---
apiVersion: kubeproxy.config.k8s.io/v1alpha1
kind: KubeProxyConfiguration
mode: ipvs

9.3 初始化

1
2
3
4
5
# 拉取需要的镜像
kubeadm config images pull --config kubuadm_master20.conf

# 初始化
kubeadm init --config kubuadm_master20.conf

这里的token需要记下来。然后我们需要切换到非root用户来进行配置。

1
2
3
4
5
6
mkdir -p $HOME/.kube
sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
sudo chown $(id -u):$(id -g)
$HOME/.kube/config
# 添加kubectl的自动补全功能
echo "source <(kubectl completion bash)" >> ~/.bashrc

10、安装flannel网络(master20)

1
wget https://raw.githubusercontent.com/coreos/flannel/master/Documentation/kube-flannel.yml

我们先下载一下配置文件,为了保险起见,我们手动指定网卡

然后我们执行初始化安装操作。

1
kubectl apply -f kube-flannel.yml

这时候我们再查看节点就会发现,coredns已经正常工作了。

1
kubectl get pods -A

11、分发证书(master20)

我们在master20节点上编写一个脚本进行证书的分发,只需要分发到其他的master节点即可。注意里面的ip地址和用户名需要根据实际情况进行修改。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
cat >> districert <<EOF
#!/bin/bash
for index in 21 22; do
ip=192.168.100.${index}
ssh $ip "mkdir -p /etc/kubernetes/pki/etcd/; mkdir -p /home/tinychen/.kube/"
scp /etc/kubernetes/pki/ca.crt $ip:/etc/kubernetes/pki/ca.crt
scp /etc/kubernetes/pki/ca.key $ip:/etc/kubernetes/pki/ca.key
scp /etc/kubernetes/pki/sa.key $ip:/etc/kubernetes/pki/sa.key
scp /etc/kubernetes/pki/sa.pub $ip:/etc/kubernetes/pki/sa.pub
scp /etc/kubernetes/pki/front-proxy-ca.crt $ip:/etc/kubernetes/pki/front-proxy-ca.crt
scp /etc/kubernetes/pki/front-proxy-ca.key $ip:/etc/kubernetes/pki/front-proxy-ca.key
scp /etc/kubernetes/pki/etcd/ca.crt $ip:/etc/kubernetes/pki/etcd/ca.crt
scp /etc/kubernetes/pki/etcd/ca.key $ip:/etc/kubernetes/pki/etcd/ca.key
scp /etc/kubernetes/admin.conf $ip:/etc/kubernetes/admin.conf
scp /etc/kubernetes/admin.conf $ip:/home/tinychen/.kube/config
done
EOF

12、配置master21

12.1 编辑自定义配置文件

注意下面的ip地址和版本号需要根据实际情况来进行改动。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
# 配置文件kubeadm_master21.conf

apiVersion: kubeadm.k8s.io/v1beta2
kind: InitConfiguration
localAPIEndpoint:
advertiseAddress: 192.168.100.21
bindPort: 6443
---
apiVersion: kubeadm.k8s.io/v1beta2
kind: ClusterConfiguration
kubernetesVersion: v1.15.0
controlPlaneEndpoint: "kubernetes.haproxy.com:8443"
imageRepository: registry.aliyuncs.com/google_containers
apiServer:
certSANs:
- "master20"
- "master21"
- "master22"
- 192.168.100.10
- 192.168.100.20
- 192.168.100.21
- 192.168.100.22
networking:
podSubnet: "10.244.0.0/16"
certificatesDir: /etc/kubernetes/pki
clusterName: kubernetes

etcd:
local:
extraArgs:
listen-client-urls: "https://127.0.0.1:2379,https://192.168.100.21:2379"
advertise-client-urls: "https://192.168.100.21:2379"
listen-peer-urls: "https://192.168.100.21:2380"
initial-advertise-peer-urls: "https://192.168.100.21:2380"
initial-cluster: "master20=https://192.168.100.20:2380,master21=https://192.168.100.21:2380"
initial-cluster-state: existing
serverCertSANs:
- master21
- 192.168.100.21
peerCertSANs:
- master21
- 192.168.100.21
---
apiVersion: kubeproxy.config.k8s.io/v1alpha1
kind: KubeProxyConfiguration
mode: ipvs

12.2 配置非root用户

前面我们在脚本那里已经创建好了文件夹,我们这里只需要修改权限和添加自动补全就好了。

1
2
3
4
sudo chown $(id -u):$(id -g)
$HOME/.kube/config
# 添加kubectl的自动补全功能
echo "source <(kubectl completion bash)" >> ~/.bashrc

12.3 初始化

注意这里的文件名和IP地址要根据实际情况进行修改。

1
2
3
4
5
6
7
8
# 配置证书
kubeadm init phase certs all --config kubeadm_master21.conf
# 配置etcd
kubeadm init phase etcd local --config kubeadm_master21.conf
# 生成kubelet配置文件
kubeadm init phase kubeconfig kubelet --config kubeadm_master21.conf
# 启动kubelet
kubeadm init phase kubelet-start --config kubeadm_master21.conf

然后这一步要切换到非root用户

1
2
3
# 将master21的etcd加入集群
kubectl exec -n kube-system etcd-master20 -- etcdctl --ca-file /etc/kubernetes/pki/etcd/ca.crt --cert-file /etc/kubernetes/pki/etcd/peer.crt --key-file /etc/kubernetes/pki/etcd/peer.key --endpoints=https://192.168.100.20:2379 member add master21 https://192.168.100.21:2380

1
2
3
4
5
6
# 启动 kube-apiserver、kube-controller-manager、kube-scheduler
kubeadm init phase kubeconfig all --config kubeadm_master21.conf
kubeadm init phase control-plane all --config kubeadm_master21.conf

# 将节点标记为master
kubeadm init phase mark-control-plane --config kubeadm_master21.conf

13、配置master22

13.1 编辑自定义配置文件

注意下面的ip地址和版本号需要根据实际情况来进行改动。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
# 配置文件kubeadm_master22.conf

apiVersion: kubeadm.k8s.io/v1beta2
kind: InitConfiguration
localAPIEndpoint:
advertiseAddress: 192.168.100.22
bindPort: 6443
---
apiVersion: kubeadm.k8s.io/v1beta2
kind: ClusterConfiguration
kubernetesVersion: v1.15.0
controlPlaneEndpoint: "kubernetes.haproxy.com:8443"
imageRepository: registry.aliyuncs.com/google_containers
apiServer:
certSANs:
- "master20"
- "master21"
- "master22"
- 192.168.100.10
- 192.168.100.20
- 192.168.100.21
- 192.168.100.22
networking:
podSubnet: "10.244.0.0/16"
certificatesDir: /etc/kubernetes/pki
clusterName: kubernetes

etcd:
local:
extraArgs:
listen-client-urls: "https://127.0.0.1:2379,https://192.168.100.22:2379"
advertise-client-urls: "https://192.168.100.22:2379"
listen-peer-urls: "https://192.168.100.22:2380"
initial-advertise-peer-urls: "https://192.168.100.22:2380"
initial-cluster: "master20=https://192.168.100.20:2380,master21=https://192.168.100.21:2380,master22=https://192.168.100.22:2380"
initial-cluster-state: existing
serverCertSANs:
- master22
- 192.168.100.22
peerCertSANs:
- master22
- 192.168.100.22
---
apiVersion: kubeproxy.config.k8s.io/v1alpha1
kind: KubeProxyConfiguration
mode: ipvs

13.2 配置非root用户

前面我们在脚本那里已经创建好了文件夹,我们这里只需要修改权限和添加自动补全就好了。

1
2
3
4
sudo chown $(id -u):$(id -g)
$HOME/.kube/config
# 添加kubectl的自动补全功能
echo "source <(kubectl completion bash)" >> ~/.bashrc

13.3 初始化

注意这里的文件名和IP地址要根据实际情况进行修改。

1
2
3
4
5
6
7
8
# 配置证书
kubeadm init phase certs all --config kubeadm_master22.conf
# 配置etcd
kubeadm init phase etcd local --config kubeadm_master22.conf
# 生成kubelet配置文件
kubeadm init phase kubeconfig kubelet --config kubeadm_master22.conf
# 启动kubelet
kubeadm init phase kubelet-start --config kubeadm_master22.conf

然后这一步要切换到非root用户

1
2
3
# 将master22的etcd加入集群

kubectl exec -n kube-system etcd-master20 -- etcdctl --ca-file /etc/kubernetes/pki/etcd/ca.crt --cert-file /etc/kubernetes/pki/etcd/peer.crt --key-file /etc/kubernetes/pki/etcd/peer.key --endpoints=https://192.168.100.20:2379 member add master22 https://192.168.100.22:2380
1
2
3
4
5
6
# 启动 kube-apiserver、kube-controller-manager、kube-scheduler
kubeadm init phase kubeconfig all --config kubeadm_master22.conf
kubeadm init phase control-plane all --config kubeadm_master22.conf

# 将节点标记为master
kubeadm init phase mark-control-plane --config kubeadm_master22.conf

14、添加node节点

node节点的添加我们只需要切换到root用户执行之前master20初始化成功提示的指令即可。

1
2
kubeadm join kubernetes.haproxy.com:8443 --token m42q2v.y8sffomwkgjlhx8h \
--discovery-token-ca-cert-hash sha256:1829cbaf37e968b43f91e6f0b65e2f2b7985a2d3d17ec66f3af70e0d15db01de

15、查看最终效果

查看节点

查看pods

查看集群

1
2
3
4
5
kubectl exec -n kube-system etcd-master20 \
-- etcdctl --ca-file /etc/kubernetes/pki/etcd/ca.crt \
--cert-file /etc/kubernetes/pki/etcd/peer.crt \
--key-file /etc/kubernetes/pki/etcd/peer.key \
--endpoints=https://192.168.100.20:2379 member list

查看ipvs情况