moosefs简介MooseFS 是一个分布式网络文件系统它的核心设计思路是Master Server管理整个集群的元数据文件名、目录结构、文件分布在哪些 chunkserver上常驻内存Chunkserver实际存储数据块的节点数据被切分成固定大小的 chunk默认 64MB可以设置多个副本分散存储在不同 chunkserver 上Metalogger备份 Master 的元数据变更日志Master 挂了可以用它恢复Client通过 FUSE 挂载 MooseFS 到本地目录像访问普通文件系统一样读写作用把多台普通服务器的硬盘拼成一个超大容量的统一文件系统同时提供高可用多副本和横向扩展能力部署新建四台rocy9虚拟机四台虚拟机先配置yum源sever1下载mastersever2下载chunkserverssever3下载chunkserver和metaloggersever4下载clientsever1启动master和cgisever2启动chunkserver浏览器访问sever1的9425端口sever2和sever3创建文件夹提升权限浏览器刷新页面sever4sever3启动metaloggersever4上启动副本保护先在sever1上分配通用标签重新加载配置sever4查看这里如果出现挂载错误之后虚拟机会无法启动需要进入单用户模式注释掉新增的磁盘重新启动还可以添加标签出现标签整理了一份MooseFS常用命令速查手册https://www.kdocs.cn/l/cpp5bQ7fVghU与pacemaker高可用结合新建sever5作为chunkserversever1与sever5做好免密可参照之前pacemaker的部署进行sever1与sever5同步执行先启用高可用仓库下载启动服务写入密码授权设置启动设置开机自启查看状态若出现以下报错执行该命令设置策略配置虚拟ip资源查看修改注释每个seversever4新增一块磁盘重新启动后下载启动设置开机自启进入命令行用新创建的磁盘创建一个 block backstore查看回到sever1查找iscsi下载包下载sever5也需要下载回到sever4成功创建了一个 iSCSI Target目标端存储服务器现在有了一个对外提供存储服务的入口查看把刚才准备好的硬盘my_disk / /dev/sdb正式绑定绑定为 LUN 0创建ACL指定可访问主机退出在sever1上编辑白名单复制到sever5重启使白名单生效发起发现发现请求返回结果与在sever4上设置的相同sever5也成功实现自动故障转移sever1挂载复制文件停止挂载将硬盘分区挂载到 MooseFS 的数据存储目录确保master状态正常停止服务停止挂载sever5下载启动服务查看状态正常后关闭服务创建资源查看创建 Pacemaker 资源来管理 MooseFS 的 Master 服务查看这里不正确VIPmfsdatamfsmaster应该在同一个sever打包为资源组查看笔者中间把挂载的硬盘的名字搞错了重新修改了一下SBD 共享磁盘隔离防脑裂简介SBD 全称 STONITH Block Device也叫 STONITH 块设备是 Linux HA 集群Pacemaker/Corosync中实现 Fencing隔离 机制的一种手段Fencing 的作用就是在接管之前先把疑似故障的节点彻干掉重启或关机确保停止后才能接管资源部署新建磁盘这里注意需要mfsdata和sbd使用不同的盘先关闭sever1sever5打开windows命令行查看虚拟机存放目录切入新建文件夹只需sever1创建一个1GB的磁盘作为共享修改文件sever1sever5都需要末尾添加虚拟机sever15启动可能会报错进入单用户模式禁用iscsi开机自启进入后禁用iscsi查看磁盘出现共享如果sever5没有出现新建的硬盘直接去虚拟机添加新磁盘使用已有磁盘使用新建的磁盘保存现有格式添加重新启动成功添加确保集群状态正常iscsi需要启动才能挂载sbd配置sever15安装sbd组件加载且验证出现/dev/watchdog即为成功获取SBD磁盘持久by‑id路径例如scsi-36000c29xxxxxxx确保为新建盘的id下文有查看方式仅在其中一个节点执行create初始化SBD头部校验SBD头部信息正常会输出header版本、timeout参数启用 SBD stonith 隔离pcs 一键配置 fence_sbd先查看新建的盘的id手动创建 stonith 资源pcs stonith create sbd-fence fence_sbd \devices/dev/disk/by-id/scsi-36000c29xxxxxxx \op monitor interval30s timeout20s \op start timeout20s \op stop timeout20s查看stonith配置激活fence最后重启测试