One/New API怎么限制渠道请求频率RPM RPS?

自己刚搭网页,一些公益或者白嫖渠道不是会限制RPM RPS之类的吗,比如Gemini 1.5 Flash限制每分钟15次,我就想在One API里面设置这个限制,超过了就调别的API,但是好像没找到这个设置。

5 个赞

帮顶帮顶 蹲技术佬

帮顶,我也想知道

如果你不会代码,就用workers套娃自己的中转站,一个域名一个模型,再用cf的页面路径规则来限速

目前没有这个功能,自用的话影响不大,反正 gemini 的 rpm 是软性的,不会直接卡,多搞点渠道负载均衡+错误重试,勉强可以

1 个赞

帮顶,我也想知道

litellm倒是支持这个功能,要不转litellm吧,或者litellm套一层然后给oneapi

可以设置几个渠道,上游渠道的key进行设置,然后优先级1234这样子来限制

new/one都不支持这种功能,只有你自己找替他东西在套一层才行

maxapi可以,我看到过

max api又是哪个?GitHub没搜到

From 人工智能 to 资源荟萃

同问,不知道有没有啥fork版本有童鞋做了这个功能

max api 闭源的,但我知道是免费授权,不知道改了没有