Amazon EC2 部署Ollama + webUI

2025/9/19 5:12:22 来源：https://blog.csdn.net/weixin_38781498/article/details/140401725 浏览: 次关键词：Amazon EC2 部署Ollama + webUI

最近和同事闲聊，我们能不能内网自己部署一个LLM，于是便有了Ollama + webUI的尝试
在这里插入图片描述

对于Linux，使用一行命令即可

curl -fsSL https://ollama.com/install.sh | sh

ollama --help                     
Large language model runnerUsage:ollama [flags]ollama [command]Available Commands:serve       Start ollamacreate      Create a model from a Modelfileshow        Show information for a modelrun         Run a modelpull        Pull a model from a registrypush        Push a model to a registrylist        List modelsps          List running modelscp          Copy a modelrm          Remove a modelhelp        Help about any commandFlags:-h, --help      help for ollama-v, --version   Show version information

docker run -d --gpus=all -p 11434:11434 --name ollama ollama/ollama

除了 Llama 3, Phi 3, Mistral, Gemma 2, and

docker run -d -p 3001:8080 --gpus all --add-host=host.docker.internal:host-gateway -e OLLAMA_BASE_URL=https://example.com  --name open-webui --restart always ghcr.io/open-webui/open-webui:cuda

在这里插入图片描述