Ubuntu20.04下安装ollama和open webui

1. 安装ollama

执行如下命令安装ollama

image

默认ollama绑定在127.0.0.1的11434端口,修改/etc/systemd/system/ollama.service,在[Service]下添加如下内容,使ollama绑定到0.0.0.0的11434端口

Environment=“OLLAMA_HOST=0.0.0.0”

image

然后执行如下命令重启ollama
image

2. 拉取模型
ollama使用帮助,类似于docker使用


点击https://ollama.com/library可查看ollama有哪些镜像

3. 安装open webui
使用docker安装open webui,需要设置以下环境变量

OLLAMA_BASE_URL=http://192.168.20.30:11434

open webui在启动的时候会使用到huggingface,由于网络问题可能会导致下载连接不稳定,出现ConnectError,所以改成镜像加速站。

HF_ENDPOINT=https://hf-mirror.com

执行docker命令
image

4. web访问

浏览器打开 http://192.168.20.30:8080,先注册一个admin用户,邮箱信息随便填写


登录后可设置中文界面

配置openai模型

聊天选择模型


创建新用户,其实就是注册新用户


管理员在管理员面板启用新用户

点击待定即可


新用户点击Check Again,即可正常使用


3 个赞

慕思裴的意思,你可以使用 markdown 的 code 功能包一下你的代码,这样你就不用发图了。例如

curl -fsSL https://ollama.com/install.sh | sh
1 个赞

好的,懂了,谢谢

需要多大的存储啊

试试

7b的模型一般都4G左右,用不了多少,有gpu是最好了。

可参考如下中的---- 判断内存适合多大模型

Llama3来了,用Linux Ollama线下部署你自己的大模型羊驼

这个界面有些意思的

1 个赞