Scyu
(半夏)
1
众所周知,openwebui每次都要重新加载模型,而且如果某个渠道出问题,轻则卡半天重则卡死。
我在openwebui前面套了一层newapi,方便管理各个渠道。
我现在的疑问是, OpenWebUI 重新加载模型时如果通过 newapi中转,那加载模型的流程是怎样的?
OpenWebUI
每次进入时,向 newapi
发起请求,要求加载模型。
newapi
接收到请求后,分别向各个渠道的 API 请求加载模型。
newapi
将各个渠道的模型加载结果整合后,返回给 OpenWebUI
。
OpenWebUI
每次进入时,直接在 newapi
中加载模型。
newapi
已经预先整合了各个渠道的模型,直接返回给 OpenWebUI
。
麻烦知道他工作流程的佬解惑一下。如果是第一种,我就要删掉一些不那么好用的渠道了。如果是第二种,那么就无所谓了。
另外还有一个小疑问想要确定一下,渠道禁用了就不会再加载了吧?
2 Likes
openwebui 向 new-api 请求模型
new-api 返回配置的模型
模型列表是渠道的一部分
2 Likes
Scyu
(半夏)
4
也就是说是我想的第二种流程 ,newapi不再向各个渠道发请求了是吧
对,我渠道里还有不支持模型列表的,手动配置模型照样可以用
Scyu
(半夏)
6
那如果这个渠道禁用了 那他还会影响openwebui的速度吗?或者说openwebui还会加载这些禁用的渠道模型吗?
套了 new-api 就是 new-api 管理模型了,渠道禁用同模型没有其他可用渠道OpenWebui 里就没这个模型了
newapi应该是有缓存的,禁用这种操作更新不及时,会有些延迟(为啥不做成旁路更新呢 
Scyu
(半夏)
9
大概理解了 newapi禁用了A渠道,A渠道在newapi里面虽然有模型。但是对openwebui不可见了,openwebui也就不会再加载了。简单说,禁用了就不会影响openwebui的速度了
1 Like
Scyu
(半夏)
11
到不是更新的问题 白嫖的渠道有的时候不稳定,删掉以后可能还需要再添加,就禁用了。但是如果禁用了openwebui仍然会加载,仅仅给了个隐藏标识,那还是会影响速度。openwebui的速度,想着是能快一点是一点啊
newapi里禁用渠道按理是对调用者透明的,它内部自己处理渠道的逻辑,你是不是模型映射没做好。
如果把一个模型所有渠道都禁了,这个模型应该就没了,models接口不会返回了
1 Like
禁用了渠道就是删掉了这个渠道,openwebui 就不会加载了
1 Like
Scyu
(半夏)
14
没有 想着是这样 但是不确定 就是借着问一下流程这个机会确定一下 谢谢佬
这个是没有的,newapi 会维护自己的可用模型列表,就是账户页你能看到的模型,你添加渠道的时候不添加对应模型那它也不会进入 newapi 的可用列表里
Scyu
(半夏)
17
这样说的话应该就没问题了 我担心他再跑去请求一遍模型 会拖慢速度
wtxagxy
(王豆豆)
18
是one-api管理渠道好用,还是 new-api好用呢
Scyu
(半夏)
20
我没用过one api ,但是newapi应该是在它基础上二改的。还有one hub vocapi之类的,应该都是大同小异。毕竟咱们个人用,需要他的功能很少,就是一个合集作用