有佬知道哪个更好吗,
同问~~
感觉轮询会有风险。但是fill first又导致多数号完全闲置。
有“主模型” → Fill First
没“主模型” → Round Robin
佬友这里的主模型是指什么呢?有点没理解到
主要使用一个模型的意思吗
非常赞同
是的,一个挂了再换另一个,这样个人用下来最稳。你又不是做中转站
比如你主要用 GPT5.4,经常一直用这个,那这个就是你的主模型呀
当时我提了一个 PR,增加了一个路由策略,然后根据账号的到期时间进行切换。
但是被打回了,就是说 CPA 不去处理类似的这种问题。
我感觉可以在项目中加入一个接口,由用户自己去定义这种负载均衡的策略。
