AutoDL私有云环境安装

本文介绍autodl私有云安装方法。

在做深度学习的时候，经常被GPU算力和环境问题困扰，要么算力不够，要么多人共用服务器导致环境管理混乱。

AutoDL提供多规格的算力租赁，是非常好用的AI算力平台，AutoDL的试用相信用过的朋友都知道怎么用，今天介绍试用AutoDL搭建私有云平台的过程。

企业或者学校内的服务器经常会有个问题：多人共用一台GPU服务器，因为个人的研究方向不一样、代码框架不一样，经常因为管理环境而困惑，有的时候还要为使用时长吵架，autodl私有云可以非常好的解决这个问题，本文介绍在8卡4090服务器上部署autodl私有云的方法。

autodl私有云的优点如下：

1、按量计费。不在为公共算力谁用的久谁用的短困扰，每个月管理员为每个人充值固定费用即可。

2、丰富的镜像环境。不同的开发环境只要创建不同的docker即可，docker还支持anaconda做环境隔离。

3、管理简单。再也不用担心环境冲突问题。

废话不多说，下面来到autodl私有云的安装环节。

一、worker agent 与 ft agent安装

本地服务器环境要求：

Ubuntu系统，版本>=18.04
安装有GPU驱动（如果是GPU主机）
可访问互联网（不需要公网IP）

服务介绍：

每台GPU服务器上均需要部署
该服务仅对当前所在服务器进行管理，因此服务异常时仅影响当前主机的使用，服务异常的来源可能有GPU驱动异常，GPU硬件异常、网络异常等
该服务在安装时会检查docker/nvidia-docker，如环境未满足要求的会自动进行安装（该过程不会影响当前服务器中的数据，可以放心执行）
不会对磁盘进行再格式化，不影响当前主机上存在的任何数据

I、保存配置文件

打开系统配置的agent服务配置，把worker agent配置文件保存到服务器的/etc/privatecloud/worker-agent.yaml

执行安装命令：

# 先下载安装程序pct (private cloud tools)，使用该程序方便后续卸载agent
sudo curl -L -o /usr/local/bin/pct https://autodl-cloud.oss-cn-beijing.aliyuncs.com/privatecloud/tools/pct
sudo chmod +x /usr/local/bin/pct
# 执行安装worker-agent
# 如果您需要指定docker的root dir，那么使用--docker-root-dir参数，比如：sudo pct install worker-agent --docker-root-dir /data/docker
sudo pct install worker-agent# 验证是否正常启动，显示running为已启动
sudo systemctl status worker-agent.service

输出如下图：

安装完成后，即可在AutoDL私有云管理后台看到有新的主机记录生成，然后编辑相关主机信息即可上架该主机。

如下图：

Ⅱ、安装proxy agent

本地服务器环境要求：

Ubuntu系统
2核心，4GB内存以上的配置即可
可访问互联网（是否需要公网IP取决于您的需求，请看下方说明）

服务说明：

一个集群仅需部署一个该服务
该服务占用CPU/内存资源很低，如果无专用CPU机器，可以直接部署于某台GPU服务器之上，但需要注意的是该服务出现异常会导致所有容器无法访问，因此推荐您部署在一台相对稳定的机器上
开放必要的端口，7007和20000 ~ 60000端口。由于proxy agent所在主机的IP仅有一个，访问不同容器则需利用不同的端口加以区分，因此该主机需要开放一定范围的端口，推荐您开放：20000 ~ 60000端口。可用端口的数量会决定可创建的容量数量，如一个容器需要ssh、jupyterlab等服务，每个服务需要一个端口映射出去，因此每个容器需要3个左右的端口，以此估算可创建的容器数量规模，评估是否可以满足您的需求
该服务决定了您访问容器实例时的IP(或域名)地址，以及决定您的用户可以在哪里能访问容器。场景举例：

场景一：如果您仅希望用户在实验室或办公室可以访问和使用容器，那么可以将该服务部署于只能在实验室/办公室局域网访问的某台机器上（注意所有GPU机器都需能访问到该proxy agent所在主机），这样用户必须在可以访问proxy agent所在主机的内网环境才可访问容器实例

场景二：如果您希望用户在任何地方都可以通过公网访问到容器，那么将该服务部署于具有公网IP的主机上即可

找到上面agent服务配置页面中的proxy agent配置内容，将配置内容保存于文件/etc/privatecloud/proxy-agent.yaml中

接下来执行安装命令：

# （如已安装请跳过）先下载安装程序pct (private cloud tools)，使用该程序方便后续卸载agent
sudo curl -L -o /usr/local/bin/pct https://autodl-cloud.oss-cn-beijing.aliyuncs.com/privatecloud/tools/pct
sudo chmod +x /usr/local/bin/pct
# 执行安装proxy-agent
sudo pct install proxy-agent# 验证是否正常启动，显示running为已启动
sudo systemctl status proxy-agent.service

输出如下图：