351
(351)
1
问题描述
我的中转站因为不同分组定价不同,同一个模型根据渠道不同有好多个不同的定价,所以无法在我的网站上把他们聚合起来。这样,用户想使用deepseek就得去创建一个deepseek分组的key,使用claude又得创建一个claude分组的key,很麻烦,很影响用户体验。
需求
我想要用户能很方便的把不同分组的apikey聚合到一起使用,实现一个baseurl+一个apikey就调用所有其想要调用的模型
目前的解决思路
目前想到的只能是让用户本地部署openwebui或者cherrystudio,以实现丝滑调用多个分组的模型,但是对于小白用户来说还是门槛有点高,而且这个方法也不方便在其他客户端使用
问题
各位佬,newapi或者openwebui有一键无服务器部署的方法吗,或者我能不能用香港的低延迟服务器给用户搭一个平台,帮他们把不同分组的key聚合起来,实现用一个key+一个baseurl调用各种模型
十分感谢佬友的解惑~
11 个赞
newapi 可以做聚合呀,不过定价分组的问题你需要另外斟酌
4 个赞
可以试下hf来部署newapi,但是hf不稳定商用可能不好
商用的话还是找个服务器部署吧
4 个赞
351
(351)
4
佬觉得让小白用户用hf部署一个newapi可行性怎么样,如果写好一步一步非常仔细的教程,是不是应该还行
7 个赞
351
(351)
5
是的,这里的关键难点是每个用户需要一个自己的聚合baseurl和apikey
7 个赞
可以是可以,但我是用户我不愿意这么麻烦,首先需要折腾,竞争力下降很多
5 个赞
351
(351)
7
似乎给每个令牌设置分组优先级好像也可以,rixapi倒是已经支持了这个功能
但好像也不是很成熟
3 个赞
351
(351)
9
如果用户可以傻瓜式地填入几个apikey,然后获取每个apikey的模型列表,再然后得到一个apikey输出,就好了
1 个赞
351
(351)
12
是吧,这样对用户来说,使用我的中转站的可diy性高很多,也方便使用
买api就像去菜市场挑菜一样简单了
chchchchc
(chchchchc)
13
啥意思,你的意思是输入几个key然后获得一个聚合key?
每个key的url一样吗?
最好就是你来部署newapi用户无脑用就好了
leeorz
(近战法师)
14
你的中转程序有问题吧,现在的中转不都是通过模型id自动匹配渠道吗,你这咋是一个渠道下发一个key?
351
(351)
15
需要的组件:
1、一个数据库用来存储源key,源baseurl,源key能调用的模型,以及合成的key
2、一个函数用来获取模型列表,导入源key以及自动更新时需要调用
3、当用户请求时,自动判断合成key对应哪组源key,判断请求的模型是否在支持的模型列表内
4、将对合成key的请求转换为对源key和源baseurl的请求
2 个赞
351
(351)
17
因为我对同一个模型有很多个不同的渠道,不同渠道的定价也不相同
1 个赞