请教oneapi负载均衡问题

oneapi负载均衡,应该怎么实现?

  1. 创建多个渠道,每个渠道都用同样的模型,然后再创建一个令牌,会自动负载均衡
  2. 还发现创建渠道时添加密钥可以选择“批量创建”,能填入多个密钥,会自动创建多个相同模型的渠道
    image

能在一个渠道中添加多个密钥而不创建多渠道吗?因为同模型太多渠道容易记混,不好管理

2 个赞

newapi有个’组’,不知道是不是这玩意

这个目前没有办法

批量创建不是这个功能吗

楼主想要的是一个渠道里多个 key 负载均衡,批量创建完是分成多个渠道

我理解这些渠道除了API key以外都是一样的,这相当于设置了不同API key的负载均衡吗?

楼主应该是觉得渠道太多不方便管理,想同个网址的 key 可以聚合到一个渠道里

1 个赞

用newapi或者chatapi,可以设置权重和优先级

你说起这个,我想到一个沙雕的解决办法,你可以多部署几个new-api,懂我意思吧,套娃

1 个赞

无限套娃可还行