基于二进制部署Kubernetes v1.13.4（学习记录）
1.1 什么是kubernetes
Kubernetes是容器集群管理系统，是一个开源的平台，可以实现容器集群的自动化部署、自动扩缩容、维护等功能。通过
Kubernetes你可以：
- 快速部署应用
- 快速扩展应用
- 无缝对接新的应用功能
- 节省资源，优化硬件资源的使用
注：K8s是将Kubernetes的8个字母“ubernete”替换为“8”的缩写。
1.2 kubernetes的特点
- 可移植: 支持公有云，私有云，混合云，多重云（multi-cloud）
- 可扩展: 模块化, 插件化, 可挂载, 可组合
- 自动化: 自动部署，自动重启，自动复制，自动伸缩/扩展
1.3 kubernetes能做什么
- 多个进程（作为容器运行）协同工作。（Pod）
- 存储系统挂载
- 分发敏感文件
- 应用健康检测
- 应用实例的复制
- Pod自动伸缩/扩展
- 务发现
- 负载均衡
- 滚动更新
- 资源监控
- 日志访问
- 调试应用程序
- 提供认证和授权
1.4 kubernetes核心组件
Kubernetes主要由以下几个核心组件组成:
- etcd：保存了整个集群的状态；
- apiserver：提供了资源操作的唯一入口，并提供认证、授权、访问控制、API注册和发现等机制；
- controller manager：负责维护集群的状态，比如故障检测、自动扩展、滚动更新等；
- scheduler：负责资源的调度，按照预定的调度策略将Pod调度到相应的机器上；
- kubelet：负责维护容器的生命周期，同时也负责Volume（CVI）和网络（CNI）的管理；
- Container runtime：负责镜像管理以及Pod和容器的真正运行（CRI）；
- kube-proxy：负责为Service提供cluster内部的服务发现和负载均衡；
除了核心组件，还有一些推荐的Add-ons：
- kube-dns：负责为整个集群提供DNS服务
- Ingress Controller：为服务提供外网入口
- Heapster：提供资源监控
- Dashboard：提供GUI
- Federation：集群联邦提供跨可用区的集群
- Fluentd-elasticsearch：提供集群日志采集、存储与查询
1.5 kubernetes二进制安装包下载
安装包下载地址： https://github.com/kubernetes/kubernetes
需要下载的安装包如下图：
2. kubernetes基础环境部署
2.1 kubernetes部署节点环境说明
| 主机名 | IP Address | service |
|---|---|---|
| ks-master | 10.10.11.21 | docker、etcd、api-server、scheduler、controller-manager、kubelet、flannel |
| ks-node1 | 10.10.11.20 | docker、etcd、kubelet、proxy、flannel |
| ks-node2 | 10.10.11.19 | docker、etcd、kubelet、proxy、flannel |
master节点
Master节点上面主要由四个模块组成，APIServer，schedule,controller-manager,etcd
APIServer: APIServer负责对外提供RESTful的kubernetes API的服务，它是系统管理指令的统一接口，任何对资源的增删该查都要交给APIServer处理后再交给etcd，如图，kubectl>(kubernetes提供的客户端工具，该工具内部是对kubernetes API的调用）是直接和APIServer交互的。
schedule: schedule负责调度Pod到合适的Node上，如果把scheduler看成一个黑匣子，那么它的输入是pod和由多个Node组成的列表，输出是Pod和一个Node的绑定。 kubernetes目前提>供了调度算法，同样也保留了接口。用户根据自己的需求定义自己的调度算法。
controller manager: 如果APIServer做的是前台的工作的话，那么controller manager就是负责后台的。每一个资源都对应一个控制器。而control manager就是负责管理这些控制器的，比如我们通过APIServer创建了一个Pod，当这个Pod创建成功后，APIServer的任务就算完成了。
etcd：etcd是一个高可用的键值存储系统，kubernetes使用它来存储各个资源的状态，从而实现了Restful的API。
node节点
每个Node节点主要由三个模板组成：kublet, kube-proxy
kube-proxy: 该模块实现了kubernetes中的服务发现和反向代理功能。kube-proxy支持TCP和UDP连接转发，默认基Round Robin算法将客户端流量转发到与service对应的一组后端pod。服务发现方面，kube-proxy使用etcd的watch机制监控集群中service和endpoint对象数据的动态变化，并且维护一个service到endpoint的映射关系，从而保证了后端pod的IP变化不会对访问者造成影响，另外，kube-proxy还支持session affinity。
kublet：kublet是Master在每个Node节点上面的agent，是Node节点上面最重要的模块，它负责维护和管理该Node上的所有容器，但是如果容器不是通过kubernetes创建的，它并不会管理。本质上，它负责使Pod的运行状态与期望的状态一致。
2.2 kubernetes部署前准备
配置所有节点主机名
1 # 配置主机名 2 [root@ks-master ~]# hostnamectl set-hostname ks-master 3 [root@ks-node1 ~]# hostnamectl set-hostname ks-node1 4 [root@ks-node2 ~]# hostnamectl set-hostname ks-node2
1 # 配置hosts记录 2 3 cat <<EOF > /etc/hosts 4 127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4 5 ::1 localhost localhost.localdomain localhost6 localhost6.localdomain6 6 10.10.11.21 ks-master 7 10.10.11.20 ks-node1 8 10.10.11.19 ks-node2 9 EOF 10 11 # 配置免密钥登陆 12 13 [root@ks-master ~]# ssh-keygen 14 Generating public/private rsa key pair. 15 Enter file in which to save the key (/root/.ssh/id_rsa): 16 Enter passphrase (empty for no passphrase): 17 Enter same passphrase again: 18 Your identification has been saved in /root/.ssh/id_rsa. 19 Your public key has been saved in /root/.ssh/id_rsa.pub. 20 The key fingerprint is: 21 SHA256:fIPG7HsiNiDfQ3e0eITt4tB9mR6JcHNF0di90R1F9rc root@ks-master 22 The key's randomart image is: 23 +---[RSA 2048]----+ 24 | .oBX| 25 | ooB| 26 | o . =| 27 | +o.* . .o| 28 | .SOo= + E | 29 | . . oo=.B.* | 30 | o + +.+ o . | 31 | . * o.. . | 32 | . +.o | 33 +----[SHA256]-----+ 34 35 [root@ks-master ~]# ssh-copy-id ks-master 36 [root@ks-master ~]# ssh-copy-id ks-node1 37 [root@ks-master ~]# ssh-copy-id ks-node2
2.3 kubernetes节点系统优化
1 # 关闭防火墙 2 systemctl stop firewalld 3 systemctl disable firewalld 4 5 # 关闭Swap 6 swapoff -a 7 sed -i 's/.*swap.*/#&/' /etc/fstab 8 9 # 禁用Selinux 10 setenforce 0 11 sed -i "s/^SELINUX=enforcing/SELINUX=disabled/g" /etc/sysconfig/selinux 12 sed -i "s/^SELINUX=enforcing/SELINUX=disabled/g" /etc/selinux/config 13 sed -i "s/^SELINUX=permissive/SELINUX=disabled/g" /etc/sysconfig/selinux 14 sed -i "s/^SELINUX=permissive/SELINUX=disabled/g" /etc/selinux/config 15 16 # 报错请参考下面报错处理 17 modprobe br_netfilter 18 cat <<EOF > /etc/sysctl.d/k8s.conf 19 net.bridge.bridge-nf-call-ip6tables = 1 20 net.bridge.bridge-nf-call-iptables = 1 21 net.ipv4.ip_forward = 1 22 vm.swappiness=0 23 EOF 24 sysctl -p /etc/sysctl.d/k8s.conf 25 ls /proc/sys/net/bridge 26 27 # 内核优化 28 echo "* soft nofile 204800" >> /etc/security/limits.conf 29 echo "* hard nofile 204800" >> /etc/security/limits.conf 30 echo "* soft nproc 204800" >> /etc/security/limits.conf 31 echo "* hard nproc 204800" >> /etc/security/limits.conf 32 echo "* soft memlock unlimited" >> /etc/security/limits.conf 33 echo "* hard memlock unlimited" >> /etc/security/limits.conf
注：kubernetes所有节点执行
2.4 安装Docker-CE
1 yum install -y yum-utils device-mapper-persistent-data lvm2 2 yum-config-manager \ 3 --add-repo \ 4 https://download.docker.com/linux/centos/docker-ce.repo 5 6 yum makecache fast 7 yum install -y --setopt=obsoletes=0 \ 8 docker-ce-18.06.1.ce-3.el7 9 10 systemctl start docker 11 systemctl enable docker
注：kubernetes所有节点执行
2.5 配置Docker镜像加速
1 sudo mkdir -p /etc/docker 2 sudo tee /etc/docker/daemon.json <<-'EOF' 3 { 4 "registry-mirrors": ["https://95d2qlt5.mirror.aliyuncs.com"] 5 } 6 EOF 7 sudo systemctl daemon-reload 8 sudo systemctl restart docker
3. 创建 CA 证书和秘钥
为确保安全，kubernetes 系统各组件需要使用 x509 证书对通信进行加密和认证。
CA (Certificate Authority) 是自签名的根证书，用来签名后续创建的其它证书。
3.1 安装 cfssl 工具集
1 sudo mkdir -p /opt/k8s/cert && cd /opt/k8s 2 wget https://pkg.cfssl.org/R1.2/cfssl_linux-amd64 3 mv cfssl_linux-amd64 /opt/k8s/bin/cfssl 4 5 wget https://pkg.cfssl.org/R1.2/cfssljson_linux-amd64 6 mv cfssljson_linux-amd64 /opt/k8s/bin/cfssljson 7 8 wget https://pkg.cfssl.org/R1.2/cfssl-certinfo_linux-amd64 9 mv cfssl-certinfo_linux-amd64 /opt/k8s/bin/cfssl-certinfo 10 11 chmod +x /opt/k8s/bin/* 12 export PATH=/opt/k8s/bin:$PATH
注：所有操作在ks-master上执行
3.2 创建根证书 (CA)
CA 证书是集群所有节点共享的，只需要创建一个 CA 证书，后续创建的所有证书都由它签名。
创建配置文件
CA 配置文件用于配置根证书的使用场景 (profile) 和具体参数 (usage，过期时间、服务端认证、客户端认证、加密等)，后续在签名其它证书时需要指定特定场景。
1 cd /opt/k8s/work 2 cat > ca-config.json <<EOF 3 { 4 "signing": { 5 "default": { 6 "expiry": "87600h" 7 }, 8 "profiles": { 9 "kubernetes": { 10 "usages": [ 11 "signing", 12 "key encipherment", 13 "server auth", 14 "client auth" 15 ], 16 "expiry": "87600h" 17 } 18 } 19 } 20 } 21 EOF
注：所有操作在ks-master上执行
- signing：表示该证书可用于签名其它证书，生成的 ca.pem 证书中 CA=TRUE；
- server auth：表示 client 可以用该该证书对 server 提供的证书进行验证；
- client auth：表示 server 可以用该该证书对 client 提供的证书进行验证；
创建证书签名请求文件
1 cd /opt/k8s/work 2 cat > ca-csr.json <<EOF 3 { 4 "CN": "kubernetes", 5 "key": { 6 "algo": "rsa", 7 "size": 2048 8 }, 9 "names": [ 10 { 11 "C": "CN", 12 "ST": "BeiJing", 13 "L": "BeiJing", 14 "O": "k8s", 15 "OU": "4Paradigm" 16 } 17 ] 18 } 19 EOF
注：所有操作在ks-master上执行
- CN：Common Name，kube-apiserver 从证书中提取该字段作为请求的用户名 (User Name)，浏览器使用该字段验证网站是否合法；
- O：Organization，kube-apiserver 从证书中提取该字段作为请求用户所属的组 (Group)；
- kube-apiserver 将提取的 User、Group 作为 RBAC 授权的用户标识；
3.3 生成 CA 证书和私钥
1 cd /opt/k8s/work 2 cfssl gencert -initca ca-csr.json | cfssljson -bare ca 3 ls ca*
注：所有操作在ks-master上执行
3.4 分发证书文件
将生成的 CA 证书、秘钥文件、配置文件拷贝到所有节点的 /etc/kubernetes/cert 目录下：
首先执行此脚本加载变量：environment.sh
1 cd /opt/k8s/work 2 source /opt/k8s/bin/environment.sh # 导入 NODE_IPS 环境变量 3 for node_ip in ${NODE_IPS[@]} 4 do 5 echo ">>> ${node_ip}" 6 ssh root@${node_ip} "mkdir -p /etc/kubernetes/cert" 7 scp ca*.pem ca-config.json root@${node_ip}:/etc/kubernetes/cert 8 done
注：所有操作在ks-master上执行
4. 部署 kubectl 客户端工具
kubectl 是 kubernetes 集群的命令行管理工具，kubectl 默认从 ~/.kube/config 文件读取 kube-apiserver 地址、证书、用户名等信息，如果没有配置，执行 kubectl 命令时可能会出错：
1 [root@ks-master bin]# kubectl get pods 2 The connection to the server 127.0.0.1:8443 was refused - did you specify the right host or port?
4.1 下载和分发 kubectl 二进制文件
1 cd /opt/k8s/work 2 wget https://dl.k8s.io/v1.13.4/kubernetes-client-linux-amd64.tar.gz 3 tar -xzvf kubernetes-client-linux-amd64.tar.gz 4 5 # 分发到所有使用 kubectl 的节点： 6 7 cd /opt/k8s/work 8 source /opt/k8s/bin/environment.sh 9 for node_ip in ${NODE_IPS[@]} 10 do 11 echo ">>> ${node_ip}" 12 scp kubernetes/client/bin/kubectl root@${node_ip}:/opt/k8s/bin/ 13 ssh root@${node_ip} "chmod +x /opt/k8s/bin/*" 14 done
注：所有操作在ks-master上执行
4.2 创建 admin 证书和私钥
kubectl 与 apiserver https 安全端口通信，apiserver 对提供的证书进行认证和授权。
kubectl 作为集群的管理工具，需要被授予最高权限。这里创建具有最高权限的 admin 证书。
创建证书签名请求：
1 cd /opt/k8s/work 2 cat > admin-csr.json <<EOF 3 { 4 "CN": "admin", 5 "hosts": [], 6 "key": { 7 "algo": "rsa", 8 "size": 2048 9 }, 10 "names": [ 11 { 12 "C": "CN", 13 "ST": "BeiJing", 14 "L": "BeiJing", 15 "O": "system:masters", 16 "OU": "4Paradigm" 17 } 18 ] 19 } 20 EOF
注：所有操作在ks-master上执行
- O 为 system:masters，kube-apiserver 收到该证书后将请求的 Group 设置为 system:masters；
- 预定义的 ClusterRoleBinding cluster-admin 将 Group system:masters 与 Role cluster-admin 绑定，该 Role 授予所有 API的权限；
- 该证书只会被 kubectl 当做 client 证书使用，所以 hosts 字段为空；
生成证书和私钥:
1 cd /opt/k8s/work 2 cfssl gencert -ca=/opt/k8s/work/ca.pem \ 3 -ca-key=/opt/k8s/work/ca-key.pem \ 4 -config=/opt/k8s/work/ca-config.json \ 5 -profile=kubernetes admin-csr.json | cfssljson -bare admin 6 7 ls admin*
注：所有操作在ks-master上执行
4.3 创建 kubeconfig 文件
kubeconfig 为 kubectl 的配置文件，包含访问 apiserver 的所有信息，如 apiserver 地址、CA 证书和自身使用的证书；
1 cd /opt/k8s/work 2 source /opt/k8s/bin/environment.sh 3 4 # 设置集群参数 5 kubectl config set-cluster kubernetes \ 6 --certificate-authority=/opt/k8s/work/ca.pem \ 7 --embed-certs=true \ 8 --server=${KUBE_APISERVER} \ 9 --kubeconfig=kubectl.kubeconfig 10 11 # 设置客户端认证参数 12 kubectl config set-credentials admin \ 13 --client-certificate=/opt/k8s/work/admin.pem \ 14 --client-key=/opt/k8s/work/admin-key.pem \ 15 --embed-certs=true \ 16 --kubeconfig=kubectl.kubeconfig 17 18 # 设置上下文参数 19 kubectl config set-context kubernetes \ 20 --cluster=kubernetes \ 21 --user=admin \ 22 --kubeconfig=kubectl.kubeconfig 23 24 # 设置默认上下文 25 kubectl config use-context kubernetes --kubeconfig=kubectl.kubeconfig
- –certificate-authority：验证 kube-apiserver 证书的根证书；
- –client-certificate、–client-key：刚生成的 admin 证书和私钥，连接 kube-apiserver 时使用；
- –embed-certs=true：将 ca.pem 和 admin.pem 证书内容嵌入到生成的 kubectl.kubeconfig 文件中(不加时，写入的是证书文件路径)；
注：所有操作在ks-master上执行
4.4 分发 kubeconfig 文件
分发到所有使用 kubectl 命令的节点：
1 cd /opt/k8s/work 2 source /opt/k8s/bin/environment.sh 3 for node_ip in ${NODE_IPS[@]} 4 do 5 echo ">>> ${node_ip}" 6 ssh root@${node_ip} "mkdir -p ~/.kube" 7 scp kubectl.kubeconfig root@${node_ip}:~/.kube/config 8 done
注：所有操作在ks-master上执行
5. 部署 etcd 高可用集群
etcd 是基于 Raft 的分布式 key-value 存储系统，由 CoreOS 开发，常用于服务发现、共享配置以及并发控制（如 leader 选举、分布式锁等）。kubernetes 使用 etcd 存储所有运行数据。
etcd 集群各节点的名称和 IP 如下：
- ks-master：10.10.11.21
- ks-node1：10.10.11.20
- ks-node2：10.10.11.19
注：所有操作在ks-master上执行
5.1 下载和分发 etcd 二进制文件
1 cd /opt/k8s/work 2 wget https://github.com/coreos/etcd/releases/download/v3.3.10/etcd-v3.3.10-linux-amd64.tar.gz 3 tar -xvf etcd-v3.3.10-linux-amd64.tar.gz 4 5 # 分发二进制文件到集群所有节点 6 7 cd /opt/k8s/work 8 source /opt/k8s/bin/environment.sh 9 for node_ip in ${NODE_IPS[@]} 10 do 11 echo ">>> ${node_ip}" 12 scp etcd-v3.3.10-linux-amd64/etcd* root@${node_ip}:/opt/k8s/bin 13 ssh root@${node_ip} "chmod +x /opt/k8s/bin/*" 14 done
注：所有操作在ks-master上执行
5.2 创建 etcd 证书和私钥
创建证书签名请求：
1 cat > etcd-csr.json <<EOF 2 { 3 "CN": "etcd", 4 "hosts": [ 5 "127.0.0.1", 6 "10.10.11.21", 7 "10.10.11.20", 8 "10.10.11.19" 9 ], 10 "key": { 11 "algo": "rsa", 12 "size": 2048 13 }, 14 "names": [ 15 { 16 "C": "CN", 17 "ST": "BeiJing", 18 "L": "BeiJing", 19 "O": "k8s", 20 "OU": "4Paradigm" 21 } 22 ] 23 } 24 EOF
注：所有操作在ks-master上执行
- hosts 字段指定授权使用该证书的 etcd 节点 IP 或域名列表，这里将 etcd 集群的三个节点 IP 都列在其中；
生成证书和私钥：
1 cd /opt/k8s/work 2 cfssl gencert -ca=/opt/k8s/work/ca.pem \ 3 -ca-key=/opt/k8s/work/ca-key.pem \ 4 -config=/opt/k8s/work/ca-config.json \ 5 -profile=kubernetes etcd-csr.json | cfssljson -bare etcd 6 ls etcd*pem
注：所有操作在ks-master上执行
分发生成的证书和私钥到各 etcd 节点：
1 cd /opt/k8s/work 2 source /opt/k8s/bin/environment.sh 3 for node_ip in ${NODE_IPS[@]} 4 do 5 echo ">>> ${node_ip}" 6 ssh root@${node_ip} "mkdir -p /etc/etcd/cert" 7 scp etcd*.pem root@${node_ip}:/etc/etcd/cert/ 8 done
注：所有操作在ks-master上执行
5.3 创建 etcd 的 systemd unit 模板文件
1 cd /opt/k8s/work 2 source /opt/k8s/bin/environment.sh 3 cat > etcd.service.template <<EOF 4 [Unit] 5 Description=Etcd Server 6 After=network.target 7 After=network-online.target 8 Wants=network-online.target 9 Documentation=https://github.com/coreos 10 11 [Service] 12 Type=notify 13 WorkingDirectory=${ETCD_DATA_DIR} 14 ExecStart=/opt/k8s/bin/etcd \\ 15 --data-dir=${ETCD_DATA_DIR} \\ 16 --wal-dir=${ETCD_WAL_DIR} \\ 17 --name=##NODE_NAME## \\ 18 --cert-file=/etc/etcd/cert/etcd.pem \\ 19 --key-file=/etc/etcd/cert/etcd-key.pem \\ 20 --trusted-ca-file=/etc/kubernetes/cert/ca.pem \\ 21 --peer-cert-file=/etc/etcd/cert/etcd.pem \\ 22 --peer-key-file=/etc/etcd/cert/etcd-key.pem \\ 23 --peer-trusted-ca-file=/etc/kubernetes/cert/ca.pem \\ 24 --peer-client-cert-auth \\ 25 --client-cert-auth \\ 26 --listen-peer-urls=https://##NODE_IP##:2380 \\ 27 --initial-advertise-peer-urls=https://##NODE_IP##:2380 \\ 28 --listen-client-urls=https://##NODE_IP##:2379,http://127.0.0.1:2379 \\ 29 --advertise-client-urls=https://##NODE_IP##:2379 \\ 30 --initial-cluster-token=etcd-cluster-0 \\ 31 --initial-cluster=${ETCD_NODES} \\ 32 --initial-cluster-state=new \\ 33 --auto-compaction-mode=periodic \\ 34 --auto-compaction-retention=1 \\ 35 --max-request-bytes=33554432 \\ 36 --quota-backend-bytes=6442450944 \\ 37 --heartbeat-interval=250 \\ 38 --election-timeout=2000 39 Restart=on-failure 40 RestartSec=5 41 LimitNOFILE=65536 42 43 [Install] 44 WantedBy=multi-user.target 45 EOF
注：所有操作在ks-master上执行
- WorkingDirectory、–data-dir：指定工作目录和数据目录为 ${ETCD_DATA_DIR}，需在启动服务前创建这个目录；
- –wal-dir：指定 wal 目录，为了提高性能，一般使用 SSD 或者和 –data-dir 不同的磁盘；
- –name：指定节点名称，当 –initial-cluster-state 值为 new 时，–name 的参数值必须位于 –initial-cluster 列表中；
- –cert-file、–key-file：etcd server 与 client 通信时使用的证书和私钥；
- –trusted-ca-file：签名 client 证书的 CA 证书，用于验证 client 证书；
- –peer-cert-file、–peer-key-file：etcd 与 peer 通信使用的证书和私钥；
- –peer-trusted-ca-file：签名 peer 证书的 CA 证书，用于验证 peer 证书；
5.4 为各节点创建和分发 etcd systemd unit 文件
替换模板文件中的变量，为各节点创建 systemd unit 文件：
1 cd /opt/k8s/work 2 source /opt/k8s/bin/environment.sh 3 for (( i=0; i < 3; i++ )) 4 do 5 sed -e "s/##NODE_NAME##/${NODE_NAMES[i]}/" -e "s/##NODE_IP##/${NODE_IPS[i]}/" etcd.service.template > etcd-${NODE_IPS[i]}.service 6 done 7 ls *.service
注：所有操作在ks-master上执行
- NODE_NAMES 和 NODE_IPS 为相同长度的 bash 数组，分别为节点名称和对应的 IP；
分发生成的 systemd unit 文件：
1 cd /opt/k8s/work 2 source /opt/k8s/bin/environment.sh 3 for node_ip in ${NODE_IPS[@]} 4 do 5 echo ">>> ${node_ip}" 6 scp etcd-${node_ip}.service root@${node_ip}:/etc/systemd/system/etcd.service 7 done
注：所有操作在ks-master上执行
5.5 启动 etcd 服务
1 cd /opt/k8s/work 2 source /opt/k8s/bin/environment.sh 3 for node_ip in ${NODE_IPS[@]} 4 do 5 echo ">>> ${node_ip}" 6 ssh root@${node_ip} "mkdir -p ${ETCD_DATA_DIR} ${ETCD_WAL_DIR}" 7 ssh root@${node_ip} "systemctl daemon-reload && systemctl enable etcd && systemctl restart etcd " & 8 done
注：所有操作在ks-master上执行
- 必须创建 etcd 数据目录和工作目录;
- etcd 进程首次启动时会等待其它节点的 etcd 加入集群，命令 systemctl start etcd 会卡住一段时间，为正常现象。
5.6 检查启动结果
1 cd /opt/k8s/work 2 source /opt/k8s/bin/environment.sh 3 for node_ip in ${NODE_IPS[@]} 4 do 5 echo ">>> ${node_ip}" 6 ssh root@${node_ip} "systemctl status etcd|grep Active" 7 done 8 9 # 执行结果 10 >>> 10.10.11.21 11 Active: active (running) since Tue 2019-03-19 15:55:22 CST; 1h 26min ago 12 >>> 10.10.11.20 13 Active: active (running) since Tue 2019-03-19 15:55:11 CST; 1h 26min ago 14 >>> 10.10.11.19 15 Active: active (running) since Tue 2019-03-19 15:55:11 CST; 1h 26min ago
注：所有操作在ks-master上执行
5.7 验证服务状态
部署完 etcd 集群后，在任一 etc 节点上执行如下命令：
1 cd /opt/k8s/work 2 source /opt/k8s/bin/environment.sh 3 for node_ip in ${NODE_IPS[@]} 4 do 5 echo ">>> ${node_ip}" 6 ETCDCTL_API=3 /opt/k8s/bin/etcdctl \ 7 --endpoints=https://${node_ip}:2379 \ 8 --cacert=/opt/k8s/work/ca.pem \ 9 --cert=/etc/etcd/cert/etcd.pem \ 10 --key=/etc/etcd/cert/etcd-key.pem endpoint health 11 done 12 13 # 执行结果 14 15 >>> 10.10.11.21 16 https://10.10.11.21:2379 is healthy: successfully committed proposal: took = 1.997671ms 17 >>> 10.10.11.20 18 https://10.10.11.20:2379 is healthy: successfully committed proposal: took = 1.289626ms 19 >>> 10.10.11.19 20 https://10.10.11.19:2379 is healthy: successfully committed proposal: took = 1.663937ms
注：所有操作在ks-master上执行
5.8 查看当前的 leader
1 source /opt/k8s/bin/environment.sh 2 ETCDCTL_API=3 /opt/k8s/bin/etcdctl \ 3 -w table --cacert=/opt/k8s/work/ca.pem \ 4 --cert=/etc/etcd/cert/etcd.pem \ 5 --key=/etc/etcd/cert/etcd-key.pem \ 6 --endpoints=${ETCD_ENDPOINTS} endpoint status 7 8 # 结果 9 10 +--------------------------+------------------+---------+---------+-----------+-----------+------------+ 11 | ENDPOINT | ID | VERSION | DB SIZE | IS LEADER | RAFT TERM | RAFT INDEX | 12 +--------------------------+------------------+---------+---------+-----------+-----------+------------+ 13 | https://10.10.11.21:2379 | a5819d9a1318a6fd | 3.3.10 | 20 kB | false | 5 | 15 | 14 | https://10.10.11.20:2379 | 41f7138582b5f2c2 | 3.3.10 | 20 kB | true | 5 | 15 | 15 | https://10.10.11.19:2379 | 97f11d52a9bffebb | 3.3.10 | 20 kB | false | 5 | 15 | 16 +--------------------------+------------------+---------+---------+-----------+-----------+------------+
注：IS LEADER 为true，则为leader
注：所有操作在ks-master上执行
版权声明：本文为liang-io原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。