揭秘T佬公益站服务器架构

首先感谢t佬的 gpt-load。

gpt-load 0.1* 版是不是 Too Many Requests 也算失效?我在用坛子里的13000+ openai key 跑 gpt-load。跑一阵后就只剩下几百个可用keys了,但其实大部分keys还是有效的,需重启 docker。

不知道能不能稍微改一下 gpt-load 测key十否有效的机制,对于那些导致 Too Many Requests 的keys 过一阵再测。这样就不用过一段时间重启docker了。我瞎讲一通,讲得不对请无视。

我坛里搜了一下 gpt-load,好像没搜到专门的 gpt-load 的贴,就发这里了。或许应该发github上。

目前是的,目前是禁用短期无效的key,避免一直重复调用。
我目前的用法是调大重试次数,然后把错误阈值设定为2。
再者基础上,还配置了一个crontab脚本,每天定时请求reset-keys接口,重置所有失效key状态。

实在抱歉,目前0.1版本确实比较简陋,主要目的是能快速用于我的公益站的负载,所以没有设计得那么完善。

目前正在开发的1.0版本,基本是完全重写了,所有请求方式和部署都不兼容。
新版本这些都有考虑,能自动临时封禁和定时检查自动恢复key。还支持多渠道。
1.0新版本正在开发中,还需要一段时间。(也许我多加班几天能上个预览版?)

1 Like

确实没有专门gpt-load的帖子,也是因为我自己也知道太简陋了,处于能用,但是不太好用的状态。
等1.0版本上线,再专门发个帖子来详细介绍。

1 Like