LINUX DO
请教oneapi负载均衡问题
常规话题
快问快答
one-api
daydayup
(daydayup)
2024 年6 月 9 日 04:27
1
oneapi负载均衡,应该怎么实现?
创建多个渠道,每个渠道都用同样的模型,然后再创建一个令牌,会自动负载均衡
还发现创建渠道时添加密钥可以选择“批量创建”,能填入多个密钥,会自动创建多个相同模型的渠道
能在一个渠道中添加多个密钥而不创建多渠道吗?因为同模型太多渠道容易记混,不好管理
2 个赞
handsome
(大帅哥)
2024 年6 月 9 日 05:14
2
newapi有个’组’,不知道是不是这玩意
zhong_little
(Megasoft)
2024 年6 月 9 日 06:03
3
这个目前没有办法
相关话题
话题
回复
浏览量
活动
中转渠道如何负载均衡?
快问快答
7
435
2024 年3 月 11 日
请问众佬现在多OAI API负载均衡是怎么做的?
快问快答
chatgpt
,
openai
15
537
2024 年4 月 29 日
new api的优先级和权重怎么设置
快问快答
9
310
2024 年5 月 11 日
搞了好多Gemini Pro的API怎么弄成轮询啊?想让rpm大一点
快问快答
11
517
2024 年3 月 15 日
我在oneapi自定义渠道可以用的 但是换到newapi测试通道的时候就404了 有人知道什么原因吗
快问快答
7
201
2024 年5 月 24 日