new-api 如何聚合多个渠道的某个模型,对外表现为一个入口

比如,同样是一个模型 X,在 A 站上的模型名称是 X1,在 B 站上的模型名称是 X2,new api 里有没有办法,把这 A B 两个渠道中的这个模型聚合起来,对外表现为一个名称

1 个赞

模型重定向成一个模型名字X3 就可以了 出现类似轮询的效果

1 个赞

然后在外部渠道管理里,把你需要一起使用的设置好相同的优先级,权重看你自己需求就行:

4 个赞

重定向一下,模型名都是你自己网站的,然后重定向那里 不同渠道重定向到不同模型

我之前的项目就是为了这个需求做的,不过得配合gptload

重定向
不多重定向不能重名好难受:confounded_face:

但为这个多套两个docker感觉成本也不低(newapi什么时候自己支持一下啊

确实,感觉可以期待一下T佬的GPT-Load更新
我这个项目最多算一个work around
New-API感觉这个也不太好支持,顺便吐槽一下多key甚至是放到一个字段里面的,数据库设计有点逆天,数据库范式都不管,还是GPT-Load要好一点

GPT load支持了也得重新从newapi一个个手动迁移过去,还是麻烦的,不知道其他oneapi的衍生有没有支持的

那确实没办法,毕竟是两个项目

蹲后续~

因为newapi实现这个很麻烦 所以我自己写一个替代了newapi atopos31/llmio: llm接口负载均衡工具

模型和提供商分开定义 然后自定义模型和提供商之间的关联 :yawning_face:

佬友請問可以抽空看下issue嗎