背景介绍
首先需要大家已经成功搭建好了Kubernetes集群的实验环境,Kubernetes的集群部署请参考自动化部署:https://github.com/unixhot/salt-kubernetes。
想在生产环境里面使用glusterfs做storageclass,本文就可以保证你完成。
本案例中,实验环境与k8s集群使用同样的主机地址,实际生产案例中请分开部署。三个虚拟机里面各新建一块硬盘,硬盘大小均为10g。
主机ip |
主机名 |
磁盘 |
挂载点 |
192.168.56.11 |
Linux-node1.example.com |
/dev/sdb |
/gluster_brick1 |
192.168.56.12 |
Linux-node2.example.com |
/dev/sdb |
/gluster_brick1 |
192.168.56.13 |
Linux-node3.example.com |
/dev/sdb |
/gluster_brick1 |
【第一部分:Glusterfs实战】
1.磁盘类型修改
实际生产案例中大家的磁盘都比较大,先将磁盘类型修改为gpt。这里给大家提供一个生产使用的脚本。
请大家在三台机器上使用fdisk –l查看下新加入硬盘的编号,我这里为/dev/sdb。在三台机器上分别进行如下操作,操作过程按照生产环境来。三台机器的新加磁盘均需要做如下操作。
操作完成后检查新加入的磁盘类型是否为gpt类型。检测命令fdisk -l
2.磁盘格式化并挂载卷
生产环境在使用的时候存储也进行了自己的规划使用了flashcache做缓存层,大家有兴趣的可以研究下存储,我这边实验环境没有使用flashcache。给大家提供一个格式化和挂载的脚本。
好了不废话,继续我们的实验,格式化磁盘/dev/sdb1,如下所示,三台机器均进行如下操作。这里不使用卷标的可以使用uuid,否则有坑。
3.安装glusterfs
去gfs官网看了下glusterfs更加简单了,安装的命令不复杂了,n年前我安装的时候还是3版本,偶然发现已经5版本了,变化太快了,若你有兴趣可把官网看一遍。三台机器均为glusterfs的server,均需按照如下步骤进行安装:
# yum install centos-release-gluster
# yum install glusterfs-server(说明如果是glsuterfs的客户端,则只需要按照glusterfs-client包即可)
# systemctl enable glusterd
# systemctl start glusterd
当然你也可以使用之前配置好的salt进行自动化安装。
# salt-ssh '*' cmd.run 'systemctl enable glusterd'
4.gluster peer管理
当glusterd运行起来之后在任意一台机器添加另外两个机器进信任的池子即可。这里在linux-node1进行操作,需要执行如下两条命令。
验证是否添加成功,如下图所示则为成功。
[root@linux-node1 ~]# gluster peer status
5.创建卷devops
注意生产中,一般使用三个副本,这里就三块盘,里面存储的数据是一致的,如下图所示:
6.测试glusterfs存储
此步骤可以看到100个文件;然后查看下:
因为是三个副本,所以每个机器上已经有了100个文件,好了glusterfs的实验就到这里。
【第二部分:在Kubernetes集群中使用】
1.将glusterfs当作pv和pvc在集群中使用
需要使用三个文件:
glusterfs-endpoints.yaml
pv-demo.yaml
pvc-demo.yaml
使用kubectl直接创建好资源即可。
2.用deployment进行验证
3.自动化扩容pvc
1、当glustefs的磁盘空间够大的时候,我们使用的pv跟我们申请的大小是不一样的,上限是GFS卷的大小,若gfs存储不够,只需扩容gfs的volume即可。
2、当存储管理员开启了这个参数的时候怎么办?
扩容完存储之后,将我们的quota值调大,这个时候我们k8s里面的pod就可以使用大额的存储了,不需要重启。pv和pvc不做调整。
上面的实验过程中,我们创建顺序为先创建glusterfs的volume->再创建endpoint指向glusterfs集群,再创建pv与volume做关联,然后是pvc绑定pv,pod使用pvc,那么有没有办法来自动创建这一切呢?下篇文章我们将介绍《使用Heketi来自动化管理GlusterFS》。
Copyright © QY Network Company Ltd. All Rights Reserved. 2003-2018 群英 版权所有 茂名市群英网络有限公司
增值电信经营许可证 : B1.B2-20140078 粤ICP备09006778号-36 粤公网安备 44090202000006号 粤工商备P091701000595