比如,同样是一个模型 X,在 A 站上的模型名称是 X1,在 B 站上的模型名称是 X2,new api 里有没有办法,把这 A B 两个渠道中的这个模型聚合起来,对外表现为一个名称
1 个赞
模型重定向成一个模型名字X3 就可以了 出现类似轮询的效果
1 个赞
重定向一下,模型名都是你自己网站的,然后重定向那里 不同渠道重定向到不同模型
我之前的项目就是为了这个需求做的,不过得配合gptload
重定向
不多重定向不能重名好难受![]()
但为这个多套两个docker感觉成本也不低(newapi什么时候自己支持一下啊
确实,感觉可以期待一下T佬的GPT-Load更新
我这个项目最多算一个work around
New-API感觉这个也不太好支持,顺便吐槽一下多key甚至是放到一个字段里面的,数据库设计有点逆天,数据库范式都不管,还是GPT-Load要好一点
GPT load支持了也得重新从newapi一个个手动迁移过去,还是麻烦的,不知道其他oneapi的衍生有没有支持的
那确实没办法,毕竟是两个项目
蹲后续~
因为newapi实现这个很麻烦 所以我自己写一个替代了newapi atopos31/llmio: llm接口负载均衡工具
模型和提供商分开定义 然后自定义模型和提供商之间的关联 ![]()
佬友請問可以抽空看下issue嗎

