作者简介

Giridhara Prasad，Mayadata Inc.首席工程师。在软件测试自动化、混沌工程（chaos engineering）方面有丰富的经验。目前，他正在研究开源混沌工程项目Litmus。

原文链接：
https://openebs.io/blog/getting-started-with-k3s-in-vsphere-and-openebs-cstor/

K3OS是一个Linux发行版，专为轻量级Kubernetes发行版K3s打造的轻量操作系统。它为K3s的顺利运行专门设计了一些功能。在本文中，我将介绍安装K3OS的步骤以及如何设置OpenEBS。OpenEBS是一个CNCF项目，是一款针对Kubernetes有状态工作负载的开源容器化存储解决方案。

K3OS的内核是从Ubuntu-18.04 LTS中fork出来的，它的用户空间二进制文件来自alpine。因此在创建虚拟机时，需要选择Ubuntu Linux（64位）作为客户操作系统。

在这里插入图片描述
从Github上的release页面下载最新的K3OS iso文件（撰写文章时最新版本为v0.9.0，目前已经更新到v0.10.1），将iso文件添加到虚拟机中，然后使用实时安装选项启动它，如下所示：

选择K3OS LiveCD & Install，并启动操作系统。

在这里插入图片描述

成功启动之后，你将进入登录提示。K3OS中的默认用户是rancher，你无需密码即可登录该用户。

在这里插入图片描述

执行了实时安装之后，你需要将操作系统安装到磁盘并将机器配置为server（master）或agent（worker）。这可以通过运行命令sudo k3os install来执行。

选择选项1，即Install to disk，以将K3OS安装到磁盘。并且需要为rancher用户设置新密码，以启用与服务器的ssh通信。

在这里插入图片描述

你需要选择server或agent以在计算机中安装相关组件。现在，我们选择server来部署K3s server组件。你可以设置token或集群密钥，当需要将K3s agent加入server时可以使用。

在这里插入图片描述

完成安装之后，屏幕如下所示：

在这里插入图片描述

K3s server已经被成功配置。如果未配置DHCP，则需要使用connmanctl分配IP地址和其他详细的网络信息，然后以rancher用户身份登录server，输入在上一步中配置的密码。通过执行以下命令，让我们找到绑定在eth0设备上的connman网络服务：

  1. sudo connmanctl services

执行以上命令之后，将会列出如下服务：

在这里插入图片描述

验证服务后，你可以通过以下命令分配IP地址、网络掩码、网关和DNS服务。

  1. sudo connmanctl config <ethernet service> --ipv4 manual <IP Address> <Netmask> <gateway> --nameservers <DNS Address>

执行以上命令之后，可以通过ifconfig命令，确保网络是否已经配置正确。在完成网络设置之后，重启机器。

在K3s术语中，Kubernetes worker被称为agent。将K3OS安装到磁盘中时，你需要选择选项2，agent，以在计算机中配置K3s agent。

在这里插入图片描述

选择了Agent之后，你需要提供agent必须配置到的server的URL。K3s server的URL可以通过以下方式生成。

  1. https://<K3s Server IP Address>:6443

键入URL之后，你需要提供集群密钥，该密钥在server安装过程已经配置完成。在输入完成以上内容之后，启动agent部署。

开始配置网络，方式与上述配置server网络相同，然后重启计算机。重启之后，请按照以下步骤检查server中的集群状态。

  1. k3os-1374 [~]$ kubectl get nodes
  2. NAME         STATUS   ROLES    AGE     VERSION
  3. k3os-1374    Ready    master   10m    v1.17.2+k3s1
  4. k3os-15360   Ready    <none>   10m    v1.17.2+k3s1
  5. k3os-1091    Ready    <none>   10m    v1.17.2+k3s1

执行以下命令，检查集群组件是否已经配置成功，并且所有pod是否已经成功运行。

  1. k3os-1374 [~]$ kubectl get pods -n kube-system
  2. NAME                                      READY   STATUS      RESTARTS   AGE
  3. helm-install-traefik-nmjvj                0/1     Completed   0          3d
  4. svclb-traefik-gp9ff                       2/2     Running     1         2d23h
  5. svclb-traefik-qgdlx                       2/2     Running     0         2d23h
  6. local-path-provisioner-58fb86bdfd-wkdtm   1/1     Running     1         3d
  7. metrics-server-6d684c7b5-mrxsr            1/1     Running     0         3d
  8. svclb-traefik-c4v7l                       2/2     Running     0         3d
  9. coredns-d798c9dd-td5tr                    1/1     Running     0         3d
  10. traefik-6787cddb4b-n57jz                  1/1     Running     0         3d

OpenEBS是一个CNCF项目，可以为Kubernetes中部署的工作负载提供持久性块存储。除了Jiva和Local PV之外，cStor也是OpenEBS提供的存储引擎之一。而根据这一issue（https://github.com/rancher/k3os/issues/151 ）通过在v0.9.0中添加了对udev的支持才在K3OS中支持cStor。

  1. k3os-1374 [~]$ kubectl apply -f openebs-operator-1.7.0.yaml 
  2. namespace/openebs created
  3. serviceaccount/openebs-maya-operator created
  4. clusterrole.rbac.authorization.k8s.io/openebs-maya-operator created
  5. clusterrolebinding.rbac.authorization.k8s.io/openebs-maya-operator created
  6. deployment.apps/maya-apiserver created
  7. service/maya-apiserver-service created
  8. deployment.apps/openebs-provisioner created
  9. deployment.apps/openebs-snapshot-operator created
  10. configmap/openebs-ndm-config created
  11. daemonset.apps/openebs-ndm created
  12. deployment.apps/openebs-ndm-operator created
  13. deployment.apps/openebs-admission-server created
  14. deployment.apps/openebs-localpv-provisioner created

检查是否所有的OpenEBS组件都成功运行。

  1. k3os-1374 [~]$ kubectl get pods -n openebs
  2. NAME                                           READY   STATUS    RESTARTS   AGE
  3. openebs-admission-server-f67f77588-8kl78       1/1     Running   0          65s
  4. openebs-provisioner-7b8c68bf44-7bjw8           1/1     Running   0          66s
  5. openebs-ndm-qp26v                              1/1     Running   0          66s
  6. openebs-ndm-84zb4                              1/1     Running   0          66s
  7. openebs-ndm-dzghs                              1/1     Running   0          66s
  8. openebs-localpv-provisioner-5c87bbd974-55486   1/1     Running   0          65s
  9. openebs-ndm-operator-5fccfb7976-dvhj6          1/1     Running   0          66s
  10. openebs-snapshot-operator-6c4c64d4bc-qxdwd     2/2     Running   0          66s
  11. maya-apiserver-84785d7fbd-ck7sh                1/1     Running   0          66s

OpenEBS cStor引擎需要将外部磁盘连接到组成cStor池的agent上。磁盘或块设备由称为节点磁盘管理器（简称为NDM）的组件管理。将磁盘连接到agent计算机后，通过执行以下命令来检查块设备。

  1. k3os-1374 [~]$ kubectl get blockdevices -n openebs
  2. NAME                                           NODENAME     SIZE          CLAIMSTATE   STATUS   AGE
  3. blockdevice-30a3eb18f5b9e2d470de45e39f1036b0   k3os-15360   17179869184   Unclaimed    Active   1h
  4. blockdevice-86fc964305abe8970fc1508538a61dbc   k3os-1374    17179869184   Unclaimed    Active   1h
  5. blockdevice-b8735721689d5843bca10e7028f60a4e   k3os-1091    17179869184   Unclaimed    Active   1h

在本例中，每个K3s agent计算机上都已连接1个块设备。让我们在spec.blockDevices下的池中创建manifest，然后创建池。

  2. apiVersion: openebs.io/v1alpha1
  3. kind: StoragePoolClaim
  4. metadata:
  5.   name: cstor-disk-pool
  6.   annotations:
  7.     cas.openebs.io/config: |
  8.       - name: PoolResourceRequests
  9.         value: |-
  10.             memory: 2Gi
  11.       - name: PoolResourceLimits
  12.         value: |-
  13.             memory: 4Gi
  14. spec:
  15.   name: cstor-disk-pool
  16.   type: disk
  17.   poolSpec:
  18.     poolType: striped
  19.   blockDevices:
  20.     blockDeviceList:
  21.     - blockdevice-30a3eb18f5b9e2d470de45e39f1036b0
  22.     - blockdevice-86fc964305abe8970fc1508538a61dbc 
  23.     - blockdevice-b8735721689d5843bca10e7028f60a4e

应用以上定义之后，通过执行以下命令检查池是否创建成功。

  1. k3os-1374 [~]$ kubectl get csp
  2. NAME                   ALLOCATED   FREE    CAPACITY   STATUS    TYPE      AGE
  3. cstor-disk-pool-rgy3   270K        15.9G   15.9G      Healthy   striped   2m3s
  4. cstor-disk-pool-gij4   270K        15.9G   15.9G      Healthy   striped   2m2s
  5. cstor-disk-pool-09l1   270K        15.9G   15.9G      Healthy   striped   2m2s

所有的池实例应该是健康的并且每个实例运行一个pod，通过执行以下命令可以找到pod：

  1. k3os-1374 [~]$ kubectl get pods -n openebs -l app=cstor-pool
  2. NAME                                    READY   STATUS    RESTARTS   AGE
  3. cstor-disk-pool-rgy3-57f965b48c-srz2x   3/3     Running   0          8m33s
  4. cstor-disk-pool-gij4-77bb4b8f44-s6k89   3/3     Running   0          8m33s
  5. cstor-disk-pool-09l1-56d444996b-m698h   3/3     Running   0          8m33s

创建cStor池之后，我们可以开始创建volume。为了能够说明清楚，我们部署一个带有cStor volume的busybox，作为其持久性存储。在创建池之前，我们需要创建一个storage class，它会指定在上述步骤中创建的storagePoolClaim，具体如下所示：

  1. apiVersion: storage.k8s.io/v1
  2. kind: StorageClass
  3. metadata:
  4.   name: openebs-cstor
  5.   annotations:
  6.     openebs.io/cas-type: cstor
  7.     cas.openebs.io/config: |
  8.       - name: StoragePoolClaim
  9.         value: "cstor-disk-pool"
  10.       - name: ReplicaCount
  11.         value: "3"
  12. provisioner: openebs.io/provisioner-iscsi

根据上述定义中的要求，填充storagePoolClaim和ReplicaCount并创建storage class。创建PVC时必须使用此类存储。

  2. kind: PersistentVolumeClaim
  3. apiVersion: v1
  4. metadata:
  5.   name: openebs-pvc
  6. spec:
  7.   storageClassName: openebs-cstor
  8.   accessModes:
  9.     - ReadWriteOnce
  10.   resources:
  11.     requests:
  12.       storage: 10Gi
  13. ---
  14. apiVersion: v1
  15. kind: Service
  16. metadata:
  17.   labels:
  18.     name: busybox
  19.   name: busybox
  20. spec:
  21.   clusterIP: None
  22.   selector:
  23.     app: busybox
  24. ---
  25. apiVersion: apps/v1
  26. kind: Deployment
  27. metadata:
  28.   name: busybox
  29.   labels:
  30.     app: busybox
  31. spec:
  32.   selector:
  33.     matchLabels:
  34.       app: busybox
  35.   template:
  36.     metadata:
  37.       labels:
  38.         app: busybox
  39.     spec:
  40.       containers:
  41.       - name: app-busybox
  42.         imagePullPolicy: IfNotPresent
  43.         image: busybox
  44.         command: ["/bin/sh"]
  45.         args: ["-c", "while true; do sleep 10;done"]
  46.         env:
  47.         volumeMounts:
  48.         - name: data-vol
  49.           mountPath: /busybox
  50.       volumes:
  51.       - name: data-vol
  52.         persistentVolumeClaim:
  53.           claimName: openebs-pvc

在上述manifest中升级storage class之后，让我们通过应用以上定义来部署busybox应用程序。通过查看它们的状态来检查PVC是否在应用程序pod上成功创建和成功挂载。

  1. k3os-1374 [~]$ kubectl get pvc
  2. NAME          STATUS   VOLUME                                     CAPACITY   ACCESS MODES   STORAGECLASS    AGE
  3. openebs-pvc   Bound    pvc-6cd2b30a-49ed-4605-b1e0-dd23c45e548d   10Gi       RWO            openebs-cstor   4m35s
  5. k3os-1374 [~]$ kubectl get pods
  6. NAME                       READY   STATUS    RESTARTS   AGE
  7. busybox-748fb77c75-9lwzz   1/1     Running   0          4m42s

由于我们在storage class中将ReplicaCount指定为3，因此需要创建3个volume副本，你可以通过执行以下命令来找到它们。

  1. k3os-1374 [~]$ kubectl get cvr -n openebs
  2. NAME                                                            USED    ALLOCATED   STATUS    AGE
  3. pvc-6cd2b30a-49ed-4605-b1e0-dd23c45e548d-cstor-disk-pool-09l1   7.95M   116K        Healthy   6m37s
  4. pvc-6cd2b30a-49ed-4605-b1e0-dd23c45e548d-cstor-disk-pool-rgy3   7.95M   116K        Healthy   6m37s
  5. pvc-6cd2b30a-49ed-4605-b1e0-dd23c45e548d-cstor-disk-pool-gij4   7.95M   116K        Healthy   6m37s

因此，可以使用cStor引擎为K3s中的工作负载提供持久卷。

版权声明：本文为k3s2019原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://www.cnblogs.com/k3s2019/p/12966236.html