openwebui 加载模型缓慢怎么解决?

如下图,openwebui加载模型要3s钟,而且加载模型居然界面不会加载,有没有哥们优化的地方?


谢谢!

7 个赞

连接api太慢了,检查下连接,必要时配置代理

3 个赞

好的,我尝试下

2 个赞

new-api 和 oi 用 docker-compose 桥接

1 个赞

小白请教一下这个是咋看的

f12 然后看modle的这个接口就行

可以把你要用的模型id都写上,不然我记得默认是拉/v1/models里所有的模型……模型不怎么变的话可以考虑缓存models,如果模型传了头像图片换成图链,不然默认是base64存储,论坛里都有教程

2 个赞