这么多的公益API，程序调用的时候如何管理和负载均衡呢？

开发调优
1

如题：咱论坛好心人这么多，说话又好听，这么多的公益API，程序调用的时候如何管理和负载均衡呢？
我在做自然语言处理方面的任务，经常要调用LLM做信息抽取，要用的时候频率大概是30次/10s，单次token计数大概2000。
我在咱论坛集了好多公益API，不想一直用一个给薅秃了。我要如何动态监测API存活情况，然后雨露均沾地使用这些API呢？

2 Likes
2

one-api

1 Like
3

songquanpeng/one-api: OpenAI 接口管理 & 分发系统，支持 Azure、Anthropic Claude、Google PaLM 2 & Gemini、智谱 ChatGLM、百度文心一言、讯飞星火认知、阿里通义千问、360 智脑以及腾讯混元，可用于二次分发管理 key，仅单可执行文件，已打包好 Docker 镜像，一键部署，开箱即用. OpenAI key management & redistribution system, using a single API for all LLMs, and features an English UI. (github.com)

1 Like
4

image

1 Like
5

这玩意儿还支持把别人的代理api接进来?

6

支持

7

这下不得不搭一个了

1 Like
8

真是个好东西 ，这就去搭一个。它能检测API存活情况不？

9

image
image893×837 51.5 KB

10

有测试功能

11

哈哈哈哈哈！

12

能吧？

13

我记得有个渠道测试，好像是非流的

14

你把oneapi挂10个节点，既能负载均衡，又能分担节点压力

15

lue分享的这家确实不错啊 ,我注册了扣很少
AFF这家的是30 扣的很少还算实在

16

就是只能QQ注册

17

From 快问快答 to 开发调优

1 Like