有没有现成的语言模型api中转方法,不想折腾

有没有现成的语言模型api中转方法,不想折腾。看了一下new api搭建太麻烦

7 个赞

不用newapi你怎么转换多种不同格式?自己写python处理的话还得考虑容错。

部署一点也不麻烦,docker一键就部署了

6 个赞

想玩语言大模型不搞个newapi不是省事,而是折磨自己,天天写调用 :tieba_001:

5 个赞

服务器是不是要国外服务器,或者用代理软件代理

3 个赞

这就看你原始渠道的服务来源了,如果原始渠道需要翻墙(比如openai,gemini的官key等),就肯定需要境外服务器。翻墙的话不太推荐,国内服务器且不说风险问题,就是docker都不容易拉取镜像。

2 个赞

这个就是最麻烦的。如果有现成的中转服务,花点钱也行。现在有点懒,不想折腾

litellm 请

1 个赞

有没有一键vercel部署的

那你直接用国内的 api 不就完了

?一键的哇,我 NextChat 和 One API 都是 Docker 一条命令行部署的。


:bili_040: 至于花钱的国内中转啊,遍地都是。

1 个赞

如果国内有很好用的模型我会用Gemini吗

你直接这样,准备好一台国外服务器,问 claude 一步一步用命令行怎么部署就行了

你这和我标题想要的有什么关系呢。我又不是没部署过docker

推荐一个

这个对比new api有什么优势吗

python 直接调用库可以调用不同格式的 api,它的 proxy 功能我倒是没用过,你得读读文档

就官方项目哇,New 或 One 都可以 New 是 One 的二开版但在论坛更流行(有更多适合做号商或公益的功能),我自用的就用最原始的 One API:https://github.com/songquanpeng/one-api

不过我 Gemini 和 Claude 是用 Cloudflare Worker 转发的,因为之前搭好了很稳定就一直用着懒得改了。

2 个赞

这玩意需要数据库的,vercel弄不了。

1 个赞

花点钱买中转算了,自己维护服务还得有成本

1 个赞

可以去 huggingface 直接复制空间,论坛有相关帖子,添加数据库后就可以直接用

1 个赞