欢迎来到尧图网

客户服务 关于我们

您的位置:首页 > 财经 > 创投人物 > lustre 文件系统部署到centos7上 之后挂载到slurm计算集群中

lustre 文件系统部署到centos7上 之后挂载到slurm计算集群中

2025/5/7 3:02:52 来源:https://blog.csdn.net/sinat_26809255/article/details/147249583  浏览:    关键词:lustre 文件系统部署到centos7上 之后挂载到slurm计算集群中

在 CentOS 7 上部署 Lustre 文件系统并将其挂载到 Slurm 计算集群的节点上,可以按照以下步骤进行:

  1. 安装依赖包
    首先,确保你的 CentOS 7 系统已经安装了基本的开发工具和依赖包。打开终端并执行以下命令:
sudo yum install -y epel-release
sudo yum install -y gcc kernel-devel make numactl numactl-devel libtirpc-devel libibverbs-devel librdmacm-devel
  1. 下载并安装 Lustre 软件
    Lustre 通常从其官方网站或者通过 RPM 包进行安装。你可以从 Lustre 的官方网站下载最新版本的 RPM 包,或者使用 yum 命令直接安装(如果可用)。例如,使用 OpenSUSE Build Service (OBS) 的仓库:
sudo yum install -y http://download.opensuse.org/repositories/filesystems:/lustre:/el7/CentOS_CentOS-7/filesystems:lustre:el7.repo
sudo yum install -y lustre-client lustre-osd-ldiskfs
  1. 配置 Lustre 客户端
    编辑 Lustre 的配置文件 /etc/lvm/lvm.conf,确保启用了 LVM 支持。
sudo vim /etc/lvm/lvm.conf

在文件中添加或修改以下行:

types =  ["lvm2"]
  1. 配置 Lustre 客户端的 MDS 和 OSS 地址
    编辑 Lustre 的配置文件 /etc/lvm/lvm.conf,添加或修改 MDS 和 OSS 的连接信息。例如:
sudo vim /etc/lvm/lvm.conf

添加或修改以下内容:

options lvm {md_log_file = "/var/log/mdlog"md_fail_timeout = "120"md_cache_size = "1024"md_cache_pressure = "100"md_max_mdop = "1024"md_max_locks_per_client = "1024"
}
options lustre {mounts {mylustre "/mnt/lustre" "192.168.1.1@tcp,192.168.1.2@tcp" ldiskfs defaults,noatime,nodiratime 0 0}
}

这里 192.168.1.1 和 192.168.1.2 是 Lustre 服务器的 IP 地址。

  1. 挂载 Lustre 文件系统
    执行挂载命令:
sudo mkdir -p /mnt/lustre
sudo mount -t lustre mylustre /mnt/lustre
  1. 自动挂载 Lustre 文件系统(可选)
    编辑 /etc/fstab 文件以实现自动挂载:
echo "mylustre /mnt/lustre lustre defaults,_netdev 0 0" | sudo tee -a /etc/fstab

然后重新加载 fstab 文件:

sudo mount -a
  1. 在 Slurm 节点上挂载 Lustre 文件系统(如果尚未挂载)
    在 Slurm 的计算节点上重复上述步骤 4 和步骤 5。确保所有节点都能访问并挂载 Lustre 文件系统。你可以通过 SSH 到每个节点并执行挂载命令来做到这一点。例如:
ssh node1 "sudo mkdir -p /mnt/lustre; sudo mount -t lustre mylustre /mnt/lustre"
ssh node2 "sudo mkdir -p /mnt/lustre; sudo mount -t lustre mylustre /mnt/lustre"

对于所有其他节点…

  1. 验证挂载和性能测试(可选)
    在所有节点上运行文件系统性能测试,例如使用 fio:
fio --name=test --directory=/mnt/lustre --ioengine=libaio --iodepth=32 --rw=readwrite --bs=4k --size=1G --numjobs=4 --time_based --runtime=60

版权声明:

本网仅为发布的内容提供存储空间,不对发表、转载的内容提供任何形式的保证。凡本网注明“来源:XXX网络”的作品,均转载自其它媒体,著作权归作者所有,商业转载请联系作者获得授权,非商业转载请注明出处。

我们尊重并感谢每一位作者,均已注明文章来源和作者。如因作品内容、版权或其它问题,请及时与我们联系,联系邮箱:809451989@qq.com,投稿邮箱:809451989@qq.com

热搜词