请问众佬现在多OAI API负载均衡是怎么做的?

比如现在很多大佬提供的一些公益API,还有一些C来的API,都是OpenAI的API格式,在我印象中one-api和new-api这类都是不同api格式的聚合,对于同一个格式,并不能添加多个API,所以请问这负载均衡应该是怎么做?


大概需求就是把我从各大佬那里搞到的API填入一个地方聚合,我自己生成一个API填入需要用的地方,然后按照一定的规则,在使用时调用前面那堆API的某一个。

重点是填入多个同样格式的OpenAI API


new-api至今用的都是别人架好的服务,尝试了几天都没架设成功,如果one/new-api这些能做到负载均衡,那我再加紧研究……

3 个赞

事实就是换渠道

5 个赞

随机切换渠道,new-api可以添加渠道权重

2 个赞

那请问如果我想做个自用的负载均衡API,添加各种渠道混来的OpenAI格式的API,应该怎么做呢?

1 个赞

直接部署 New API
还是你的意思说根据服务是否在线判断用哪个

2 个赞

new-api可以添加多个OpenAI格式吗?

1 个赞

当然可以

2 个赞

oneapi和基于他的二开都支持均衡负载

2 个赞

大概需求就是把我从各大佬那里搞到的API填入一个地方聚合,我自己生成一个API填入需要用的地方,然后按照一定的规则,在使用时调用前面那堆API的某一个

2 个赞

这就是oneapi的功能 :wink:

3 个赞

搭一个new-api玩玩就会了

1 个赞

行吧,那我下一个问题应该就是如何架设new-api了,我自己再研究一下 :joy:

2 个赞

one-api或者new-api都行

1 个赞

理论上one\new都有基于随机选择渠道的负载均衡,“对于同一个格式,不能添加多个api”,这是你的理解错误

2 个赞

部署多个newapi节点

1 个赞

one和new都能做到啊

1 个赞