10秒,优雅的部署本地大模型ollama+openwebui

首先,你要有个Docker!

开始!同时安装 Open WebUI 和 Ollama

使用GPU:

docker run -d -p 3000:8080 --gpus=all -v ollama:/root/.ollama -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:ollama

仅CPU

docker run -d -p 3000:8080 -v ollama:/root/.ollama -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:ollama

结束!http://localhost:3000


往期参考:

29 个赞

好强啊,这么快就优雅起来了

1 个赞

好嘞

1 个赞

先赞后看

1 个赞

插眼,已收藏!

1 个赞

mark

1 个赞

确实很。。。。10秒搞定…

1 个赞

点赞收藏666

1 个赞

优雅

1 个赞

很棒。我的3080Ti貌似跑个8B的llama3都得量化4bit,速度倒是挺快的。cpu很能打,内存256g,用cpu跑会不会快一些

1 个赞

优雅

1 个赞

收藏

1 个赞

优雅

1 个赞

10秒看完帖子

1 个赞

够精简

想多了 CPU肯定慢

正在看llama本地部署相关的内容呢 :rofl:

需要多少磁盘空间? 貌似磁盘空间紧张了

有论据支撑吗

CPU拉跨的话 基本简单的问题1-2分钟回答