EXXD
(衣叉插地)
1
比如现在很多大佬提供的一些公益API,还有一些C来的API,都是OpenAI的API格式,在我印象中one-api和new-api这类都是不同api格式的聚合,对于同一个格式,并不能添加多个API,所以请问这负载均衡应该是怎么做?
大概需求就是把我从各大佬那里搞到的API填入一个地方聚合,我自己生成一个API填入需要用的地方,然后按照一定的规则,在使用时调用前面那堆API的某一个。
重点是填入多个同样格式的OpenAI API
new-api至今用的都是别人架好的服务,尝试了几天都没架设成功,如果one/new-api这些能做到负载均衡,那我再加紧研究……
3 个赞
EXXD
(衣叉插地)
4
那请问如果我想做个自用的负载均衡API,添加各种渠道混来的OpenAI格式的API,应该怎么做呢?
1 个赞
直接部署 New API
还是你的意思说根据服务是否在线判断用哪个
2 个赞
EXXD
(衣叉插地)
9
大概需求就是把我从各大佬那里搞到的API填入一个地方聚合,我自己生成一个API填入需要用的地方,然后按照一定的规则,在使用时调用前面那堆API的某一个
2 个赞
EXXD
(衣叉插地)
12
行吧,那我下一个问题应该就是如何架设new-api了,我自己再研究一下
2 个赞
理论上one\new都有基于随机选择渠道的负载均衡,“对于同一个格式,不能添加多个api”,这是你的理解错误
2 个赞