Ollama：一条命令跑大模型#

Ollama 是一个跨平台的本地大模型运行工具，支持 Llama、Qwen（通义千问）、DeepSeek、Mistral、Gemma 等众多开源模型，自动调度 CPU / GPU（Apple Silicon 也有很好的支持）。

安装 Ollama：

1
# macOS
2
brew install ollama
3

4
# Linux
5
curl -fsSL https://ollama.com/install.sh | sh

安装后直接运行模型：

1
# 运行通义千问 7B
2
ollama run qwen2.5:7b
3

4
# 拉取并运行 DeepSeek-R1 蒸馏版
5
ollama run deepseek-r1:7b
6

7
# 查看本地已下载的模型
8
ollama list

Open WebUI：ChatGPT 同款界面#

Open WebUI 是面向 Ollama 的网页前端（也支持 OpenAI 兼容接口），提供了：

• 类 ChatGPT 的对话界面与多会话管理
• 多用户 / 权限管理，适合个人或小团队共享
• 文档上传做 RAG（本地知识库问答）
• 支持联网搜索、自定义模型参数等

Docker 一键部署：

1
docker run -d -p 3000:8080 \
2
  -v open-webui:/app/backend/data \
3
  -e OLLAMA_BASE_URL=http://host.docker.internal:11434 \
4
  --name open-webui --restart always \
5
  ghcr.io/open-webui/open-webui:main

部署完成后访问 http://localhost:3000 即可使用。

注意

host.docker.internal 主要用于 Docker Desktop（macOS / Windows）；在 Linux 服务器上，可改用 --network=host 或将 OLLAMA_BASE_URL 指向宿主机的 IP。国内拉取模型或镜像可能较慢，建议为 Docker 配置镜像加速。

小结#

如果你有一台带独显的电脑或一台小服务器，这套组合能让你以几乎为零的成本，拥有一个数据完全留在本地的 AI 助手，特别适合对隐私敏感的开发者。