10秒，优雅的部署本地大模型ollama+openwebui

资源荟萃
1

首先，你要有个Docker！

开始！同时安装 Open WebUI 和 Ollama

使用GPU：

docker run -d -p 3000:8080 --gpus=all -v ollama:/root/.ollama -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:ollama

仅CPU

docker run -d -p 3000:8080 -v ollama:/root/.ollama -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:ollama

结束！http://localhost:3000

往期参考：

46 Likes
2

好强啊，这么快就优雅起来了

1 Like
3

好嘞

1 Like
4

先赞后看

1 Like
5

插眼，已收藏！

1 Like
6

mark

1 Like
7

确实很。。。。10秒搞定…

1 Like
8

点赞收藏666

1 Like
9

优雅

1 Like
10

很棒。我的3080Ti貌似跑个8B的llama3都得量化4bit，速度倒是挺快的。cpu很能打，内存256g，用cpu跑会不会快一些

1 Like
11

优雅

1 Like
12

收藏

1 Like
13

优雅

2 Likes
14

10秒看完帖子

1 Like
15

够精简

16

想多了 CPU肯定慢

17

正在看llama本地部署相关的内容呢 :rofl:

19

有论据支撑吗

20

CPU拉跨的话 基本简单的问题1-2分钟回答

21

A卡能上吗