咨询一下佬友们,部署openai时支持使用多个中转站点吗

rt,在1panel上部署了一个nextweb服务,但是好像只能填入一个中转站点和一个key,是因为该项目不支持使用多个站点吗,是否有类似项目支持多个站点或者key轮询使用呢

标题有点怪,以为部署了个openai哈哈哈

用new-api转一下?
或者用openwebui。tieba_087

nextweb 目前不支持(最多只支持到一个站点多个key随机,早期 3.5 送 api 时代的产物),而且多站点轮询其实还挺复杂的,每个站点支持的模型也不一致,要支持起来就得像 oneapi newapi 那样加一堆模型管理的功能,应该是不会引入这个特性的。
其他项目好像最多是支持到允许保存多个站点 api,但是使用时需要手动指定其中一个。部署一个类似 one new 那种渠道管理还是很方便的。

1 个赞

打快了,想打nextweb的 :smiling_face_with_tear:

好的,学到了,谢谢佬友

搭建一个用new-api当中转站 我用的这个方法

1 个赞

我先整个oneapi研究一下 :face_with_peeking_eye:

可以试下坛子里大佬开发的ChatNIO, 支持多中转站点/多Key按照优先级和权重轮询。

一个站点多key随机怎么搞呀,用逗号好像报错

好的,我看看,还是咱论坛的佬友牛啊

支持后端环境变量设置一个站点多个key,前端不支持

感谢感谢,这就挺好