请教oneapi负载均衡问题

oneapi负载均衡,应该怎么实现?

  1. 创建多个渠道,每个渠道都用同样的模型,然后再创建一个令牌,会自动负载均衡
  2. 还发现创建渠道时添加密钥可以选择“批量创建”,能填入多个密钥,会自动创建多个相同模型的渠道
    image

能在一个渠道中添加多个密钥而不创建多渠道吗?因为同模型太多渠道容易记混,不好管理

2 个赞

newapi有个’组’,不知道是不是这玩意

这个目前没有办法