首先,你要有个Docker!
开始!同时安装 Open WebUI 和 Ollama
使用GPU:
docker run -d -p 3000:8080 --gpus=all -v ollama:/root/.ollama -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:ollama
仅CPU
docker run -d -p 3000:8080 -v ollama:/root/.ollama -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:ollama
结束!http://localhost:3000
往期参考:
29 个赞
_y1
(赵子龙)
10
很棒。我的3080Ti貌似跑个8B的llama3都得量化4bit,速度倒是挺快的。cpu很能打,内存256g,用cpu跑会不会快一些
1 个赞