k8s-NFS Provisioner 为 NFS 提供StorageClass的动态存储动态分配卷-8

举报
brucexiaogui 发表于 2021/11/26 00:25:54 2021/11/26
【摘要】 k8s-NFS Provisioner 为 NFS 提供StorageClass的动态存储动态分配卷-8 1.StorageClass的动态存储概述 Kubernetes集群管理员通过提供不同的...

k8s-NFS Provisioner 为 NFS 提供StorageClass的动态存储动态分配卷-8

1.StorageClass的动态存储概述

Kubernetes集群管理员通过提供不同的存储类，可以满足用户不同的服务质量级别、备份策略和任意策略要求的存储需求。动态存储卷供应使用StorageClass进行实现，其允许存储卷按需被创建。如果没有动态存储供应，Kubernetes集群的管理员将不得不通过手工的方式类创建新的存储卷。通过动态存储卷，Kubernetes将能够按照用户的需要，自动创建其需要的存储。

在这里插入图片描述
1）集群管理员预先创建存储类（StorageClass）；

2）用户创建使用存储类的持久化存储声明(PVC：PersistentVolumeClaim)；

3）存储持久化声明通知系统，它需要一个持久化存储(PV: PersistentVolume)；

4）系统读取存储类的信息；

5）系统基于存储类的信息，在后台自动创建PVC需要的PV；

6）用户创建一个使用PVC的Pod；

7）Pod中的应用通过PVC进行数据的持久化；

8）而PVC使用PV进行数据的最终持久化处理。

1.1.StorageClass动态存储各组件部署说明

上面介绍了StorageClass整体体系工作原理，下面根据他的原理来实施部署。

  • 部署nfs提供数据持久化存储
  • 配置ServiceAccount 授权NFS Provisioner操作权限
  • 部署NFS Provisioner 绑定nfs存储卷
  • 部署StorageClass 存储类 绑定存储提供者NFS Provisioner
  • 创建PVC用户通过在PersistentVolumeClaim中包含一个存储类，来请求动态供应存储。
  • 创建pod声明需要的pvc资源

2.部署nfs

持久化存储最终是要有一个存储的载体来存储数据，这个存储服务可以选择不同的产品。这里我们使用的是nfs服务共享文件夹存储我们的数据。因此首先要搭建这篇文章的基础层nfs存储服务。

2.1.k8s上部署nfs

  • 在k8s所有节点上安装nfs并启动
# 安装nfs服务
yum install nfs-utils rpcbind -y
# 启动nfs服务
systemctl start nfs && systemctl enable nfs
systemctl start rpcbind && systemctl enable rpcbind

  
 
    
  
  • 1
    • 
  
  • 2
    • 
  
  • 3
    • 
  
  • 4
    • 
  
  • 5
    •

2.2.创建nfs提供存储的目录

以下操作只需要在共享目录的节点上操作，该节点就为nfs服务端节点。

mkdir -p /data/nfs/
chmod 777 /data/nfs/

  
 
    
  
  • 1
    • 
  
  • 2
    •

2.3.配置nfs共享权限

vim /etc/exports

  
 
    
  
  • 1
    •
  • 配置文件内容
/data/nfs 172.16.8.0/24(rw,sync,insecure,no_subtree_check,no_root_squash)

  
 
    
  
  • 1
    •

我配置了将 /data/nfs 文件目录设置为允许 IP 为该 172.16.8.0/24 区间的客户端挂载，(注意这个IP地址范围要改成你当前nfs服务所在主机的ip地址)当然，如果客户端 IP 不在该区间也想要挂载的话，可以设置 IP 区间更大或者设置为 * 即允许所有客户端挂载，例如：/home *(ro,sync,insecure,no_root_squash) 设置 /home 目录允许所有客户端只读挂载。

在这里插入图片描述

  • 重启nfs服务
systemctl restart rpcbind
systemctl restart nfs

  
 
    
  
  • 1
    • 
  
  • 2
    •
  • 测试配置nfs是否可用
#在nfs服务端测试
showmount -e localhost

Export list for localhost:
/data/nfs 172.16.8.0/24

#在其他node节点上测试nfs
# IP地址是nfs部署所在节点的IP地址
showmount -e 172.16.8.113
Export list for 172.16.8.113:
/data/nfs 172.16.8.0/24

  
 
    
  
  • 1
    • 
  
  • 2
    • 
  
  • 3
    • 
  
  • 4
    • 
  
  • 5
    • 
  
  • 6
    • 
  
  • 7
    • 
  
  • 8
    • 
  
  • 9
    • 
  
  • 10
    • 
  
  • 11
    •

3.配置授权

k8s授权使用RBAC，我们创建一个ServiceAccount授权NFS Provisioner 操作权限。

3.1.清理rbac授权

如果曾经配置过nfs的授权，先清理再创建。第一次创建则不需要执行清理步骤

kubectl delete -f nfs-rbac.yaml -n kube-system

  
 
    
  
  • 1
    •

3.2.创建授权

cat >nfs-rbac.yaml<<-EOF
---
kind: ServiceAccount
apiVersion: v1
metadata:
  name: nfs-client-provisioner
---
kind: ClusterRole
apiVersion: rbac.authorization.k8s.io/v1
metadata:
  name: nfs-client-provisioner-runner
rules:
  - apiGroups: [""]
    resources: ["persistentvolumes"]
    verbs: ["get", "list", "watch", "create", "delete"]
  - apiGroups: [""]
    resources: ["persistentvolumeclaims"]
    verbs: ["get", "list", "watch", "update"]
  - apiGroups: ["storage.k8s.io"]
    resources: ["storageclasses"]
    verbs: ["get", "list", "watch"]
  - apiGroups: [""]
    resources: ["events"]
    verbs: ["create", "update", "patch"]
---
kind: ClusterRoleBinding
apiVersion: rbac.authorization.k8s.io/v1
metadata:
  name: run-nfs-client-provisioner
subjects:
  - kind: ServiceAccount
    name: nfs-client-provisioner
    namespace: kube-system
roleRef:
  kind: ClusterRole
  name: nfs-client-provisioner-runner
  apiGroup: rbac.authorization.k8s.io
---
kind: Role
apiVersion: rbac.authorization.k8s.io/v1
metadata:
  name: leader-locking-nfs-client-provisioner
rules:
  - apiGroups: [""]
    resources: ["endpoints"]
    verbs: ["get", "list", "watch", "create", "update", "patch"]
---
kind: RoleBinding
apiVersion: rbac.authorization.k8s.io/v1
metadata:
  name: leader-locking-nfs-client-provisioner
subjects:
  - kind: ServiceAccount
    name: nfs-client-provisioner
    # replace with namespace where provisioner is deployed
    namespace: kube-system
roleRef:
  kind: Role
  name: leader-locking-nfs-client-provisioner
  apiGroup: rbac.authorization.k8s.io
EOF

  
 
    
  
  • 1
    • 
  
  • 2
    • 
  
  • 3
    • 
  
  • 4
    • 
  
  • 5
    • 
  
  • 6
    • 
  
  • 7
    • 
  
  • 8
    • 
  
  • 9
    • 
  
  • 10
    • 
  
  • 11
    • 
  
  • 12
    • 
  
  • 13
    • 
  
  • 14
    • 
  
  • 15
    • 
  
  • 16
    • 
  
  • 17
    • 
  
  • 18
    • 
  
  • 19
    • 
  
  • 20
    • 
  
  • 21
    • 
  
  • 22
    • 
  
  • 23
    • 
  
  • 24
    • 
  
  • 25
    • 
  
  • 26
    • 
  
  • 27
    • 
  
  • 28
    • 
  
  • 29
    • 
  
  • 30
    • 
  
  • 31
    • 
  
  • 32
    • 
  
  • 33
    • 
  
  • 34
    • 
  
  • 35
    • 
  
  • 36
    • 
  
  • 37
    • 
  
  • 38
    • 
  
  • 39
    • 
  
  • 40
    • 
  
  • 41
    • 
  
  • 42
    • 
  
  • 43
    • 
  
  • 44
    • 
  
  • 45
    • 
  
  • 46
    • 
  
  • 47
    • 
  
  • 48
    • 
  
  • 49
    • 
  
  • 50
    • 
  
  • 51
    • 
  
  • 52
    • 
  
  • 53
    • 
  
  • 54
    • 
  
  • 55
    • 
  
  • 56
    • 
  
  • 57
    • 
  
  • 58
    • 
  
  • 59
    • 
  
  • 60
    • 
  
  • 61
    • 
 
#创建授权
kubectl apply -f nfs-rbac.yaml -n kube-system

  
 
    
  
  • 1
    • 
  
  • 2
    •

4.部署 nfs-client-provisioner

4.1.获取yaml文件

# 下载源文件
git clone https://github.com/kubernetes-incubator/external-storage.git
# 复制源文件中deploy到自己的工作目录。
cp -R external-storage/nfs-client/deploy/ /opt/k8s
# 进入deploy目录
cd deploy

  
 
    
  
  • 1
    • 
  
  • 2
    • 
  
  • 3
    • 
  
  • 4
    • 
  
  • 5
    • 
  
  • 6
    •

4.2.配置deployment.yaml文件

  • 清理NFS Provisioner
    如果之前配置过可用下面的命令清理
kubectl delete -f nfs-provisioner-deploy.yaml -n kube-system

  
 
    
  
  • 1
    •

-nfs服务地址配置到环境变量
将上面搭建好的nfs服务器IP地址和共享的目录配置到环境变量中

export NFS_ADDRESS='172.16.8.113'
export NFS_DIR='/data/nfs'

  
 
    
  
  • 1
    • 
  
  • 2
    •
  • 配置yaml文件
cat >nfs-provisioner-deploy.yaml<<-EOF
---
kind: Deployment
apiVersion: apps/v1
metadata:
  name: nfs-client-provisioner
spec:
  replicas: 1
  selector:
    matchLabels:
      app: nfs-client-provisioner
  strategy:
    type: Recreate  #---设置升级策略为删除再创建(默认为滚动更新)
  template:
    metadata:
      labels:
        app: nfs-client-provisioner
    spec:
      serviceAccountName: nfs-client-provisioner
      containers:
        - name: nfs-client-provisioner
          image: quay.io/external_storage/nfs-client-provisioner:latest
          volumeMounts:
            - name: nfs-client-root
              mountPath: /persistentvolumes
          env:
            - name: PROVISIONER_NAME
              value: nfs-client  #---nfs-provisioner的名称，以后设置的storageclass要和这个保持一致
            - name: NFS_SERVER
              value: ${NFS_ADDRESS}  #---NFS服务器地址，和 valumes 保持一致
            - name: NFS_PATH
              value: ${NFS_DIR}  #---NFS服务器目录，和 valumes 保持一致
      volumes:
        - name: nfs-client-root
          nfs:
            server: ${NFS_ADDRESS}  #---NFS服务器地址
            path: ${NFS_DIR} #---NFS服务器目录
EOF

  
 
    
  
  • 1
    • 
  
  • 2
    • 
  
  • 3
    • 
  
  • 4
    • 
  
  • 5
    • 
  
  • 6
    • 
  
  • 7
    • 
  
  • 8
    • 
  
  • 9
    • 
  
  • 10
    • 
  
  • 11
    • 
  
  • 12
    • 
  
  • 13
    • 
  
  • 14
    • 
  
  • 15
    • 
  
  • 16
    • 
  
  • 17
    • 
  
  • 18
    • 
  
  • 19
    • 
  
  • 20
    • 
  
  • 21
    • 
  
  • 22
    • 
  
  • 23
    • 
  
  • 24
    • 
  
  • 25
    • 
  
  • 26
    • 
  
  • 27
    • 
  
  • 28
    • 
  
  • 29
    • 
  
  • 30
    • 
  
  • 31
    • 
  
  • 32
    • 
  
  • 33
    • 
  
  • 34
    • 
  
  • 35
    • 
  
  • 36
    • 
  
  • 37
    • 
  
  • 38
    •

4.3.启动nfs-provisioner

# 启动
kubectl apply -f nfs-provisioner-deploy.yaml -n kube-system
#查看状态
kubectl get pod -o wide -n kube-system|grep nfs-client
#查看pod日志
kubectl logs -f `kubectl get pod -o wide -n kube-system|grep nfs-client|awk '{print $1}'` -n kube-system

  
 
    
  
  • 1
    • 
  
  • 2
    • 
  
  • 3
    • 
  
  • 4
    • 
  
  • 5
    • 
  
  • 6
    •

5.创建 StorageClass

创建StorageClass主要是绑定我们创建的NFS Provisioner ，在配置的是否需要注意provisioner 参数的名字要和上面我们配置nfs-provisioner-deploy.yaml文件中定义的PROVISIONER_NAME名字相同。

5.1.配置StorageClass.yaml文件

  • 如果之前配置可用下面命令清除
kubectl delete -f nfs-storage.yaml

  
 
    
  
  • 1
    • 
 
cat >nfs-storage.yaml<<-EOF
apiVersion: storage.k8s.io/v1
kind: StorageClass
metadata:
  name: nfs-storage
  annotations:
    storageclass.kubernetes.io/is-default-class: "true"  #---设置为默认的storageclass
provisioner: nfs-client  #---动态卷分配者名称，必须和上面创建的"PROVISIONER_NAME"变量中设置的Name一致
parameters:
  archiveOnDelete: "true"  #---设置为"false"时删除PVC不会保留数据,"true"则保留数据
mountOptions: 
  - hard        #指定为硬挂载方式
  #指定NFS版本，这个需要根据 NFS Server 版本号设置，查看版本号命令 nfsstat -s
  - nfsvers=4   
EOF

  
 
    
  
  • 1
    • 
  
  • 2
    • 
  
  • 3
    • 
  
  • 4
    • 
  
  • 5
    • 
  
  • 6
    • 
  
  • 7
    • 
  
  • 8
    • 
  
  • 9
    • 
  
  • 10
    • 
  
  • 11
    • 
  
  • 12
    • 
  
  • 13
    • 
  
  • 14
    • 
  
  • 15
    •

5.2.启动storageclass

#启动
kubectl apply -f nfs-storage.yaml
#查看创建的storageclass(这里可以看到nfs-storage已经变为默认的storageclass了)
kubectl get sc
------------------------------------
NAME                    PROVISIONER   RECLAIMPOLICY   VOLUMEBINDINGMODE   ALLOWVOLUMEEXPANSION   AGE
nfs-storage (default)   nfs-client    Delete          Immediate           false                  8m25s

  
 
    
  
  • 1
    • 
  
  • 2
    • 
  
  • 3
    • 
  
  • 4
    • 
  
  • 5
    • 
  
  • 6
    • 
  
  • 7
    •

6.创建pvc

6.1.创建pvc

  • 配置pvc文件
cat >test-claim.yaml<<\EOF
kind: PersistentVolumeClaim
apiVersion: v1
metadata:
  name: test-claim
spec:
  storageClassName: nfs-storage #---需要与上面创建的storageclass的名称一致
  accessModes:
    - ReadWriteMany
  resources:
    requests:
      storage: 100Gi #需要的资源大小根据自己的实际情况修改
EOF

  
 
    
  
  • 1
    • 
  
  • 2
    • 
  
  • 3
    • 
  
  • 4
    • 
  
  • 5
    • 
  
  • 6
    • 
  
  • 7
    • 
  
  • 8
    • 
  
  • 9
    • 
  
  • 10
    • 
  
  • 11
    • 
  
  • 12
    • 
  
  • 13
    •
  • 启动pvc
kubectl apply -f test-claim.yaml -n kube-public

  
 
    
  
  • 1
    •
  • 查看pvc绑定的storageclass
kubectl get pvc -n kube-public

  
 
    
  
  • 1
    •

在这里插入图片描述

  • 查看nfs自动创建的数据卷

进入nfs共享共享目录查看volume name的目录已经创建出来了。其中volume的名字是namespace，PVC name以及uuid的组合
在这里插入图片描述

7.测试pod

创建一个pod使用上面创建好的pvc，查看数据是否存储到nfs共享目录。

7.1.编辑pod文件

cat > test-pod.yaml <<\EOF
kind: Pod
apiVersion: v1
metadata:
  name: test-pod
spec:
  containers:
  - name: test-pod
    image: busybox:latest
    command:
      - "/bin/sh"
    args:
      - "-c"
      - "touch /mnt/SUCCESS && exit 0 || exit 1"
    volumeMounts:
      - name: nfs-pvc
        mountPath: "/mnt"
  restartPolicy: "Never"
  volumes:
    - name: nfs-pvc
      persistentVolumeClaim:
        claimName: test-claim
EOF

  
 
    
  
  • 1
    • 
  
  • 2
    • 
  
  • 3
    • 
  
  • 4
    • 
  
  • 5
    • 
  
  • 6
    • 
  
  • 7
    • 
  
  • 8
    • 
  
  • 9
    • 
  
  • 10
    • 
  
  • 11
    • 
  
  • 12
    • 
  
  • 13
    • 
  
  • 14
    • 
  
  • 15
    • 
  
  • 16
    • 
  
  • 17
    • 
  
  • 18
    • 
  
  • 19
    • 
  
  • 20
    • 
  
  • 21
    • 
  
  • 22
    • 
  
  • 23
    •

7.2.启动pod

kubectl apply -f test-pod.yaml -n kube-public

  
 
    
  
  • 1
    •

7.3.查看pod状态

kubectl get pod -o wide -n kube-public

  
 
    
  
  • 1
    •

7.4.查看pod在nfs下创建的文件

#进入nfs共享目录下的pvc数据卷
 cd /data/nfs/kube-public-test-claim-pvc-baf9196b-9307-4cea-9963-12ad7105890b/
 # 查看pvc数据卷下显示pod创建的SUCCESS文件

  
 
    
  
  • 1
    • 
  
  • 2
    • 
  
  • 3
    •

在这里插入图片描述

文章来源: brucelong.blog.csdn.net，作者：Bruce小鬼，版权归原作者所有，如需转载，请联系作者。

原文链接：brucelong.blog.csdn.net/article/details/109516958

【版权声明】本文为华为云社区用户转载文章，如果您发现本社区中有涉嫌抄袭的内容，欢迎发送邮件进行举报，并提供相关证据，一经查实，本社区将立刻删除涉嫌侵权内容，举报邮箱： cloudbbs@huaweicloud.com
Kubernetes
  • 点赞
  • 收藏
  • 关注作者

评论（0）

0/1000
抱歉，系统识别当前为高风险访问，暂不支持该操作

全部回复

上滑加载中

设置昵称

在此一键设置昵称，即可参与社区互动！

*长度不超过10个汉字或20个英文字符，设置后3个月内不可修改。

*长度不超过10个汉字或20个英文字符，设置后3个月内不可修改。

确认 取消

加入云驻计划，成为创作者

  • 华为云周边好礼
  • 免费体验产品
  • 特殊身份标识
  • 线下官方门票
  • 内部专家零距离
  • 与10000+优质创作者共同成长
立即加入