看到各位老友在CF上,各种过GCP的教程,但是似乎一直缺少一个,groq在CF上搭建的流程,groq是兼容oai的接口,但是,如果你买了国内的机子,似乎不支持访问,因此,有没有,方法,给groq搭建在cf上,然后,使用自己的key来访问呢?这样CF替我们中转了一层,那国内就没问题了,奈尔js不太会写,哪位老友可提供下参考呢?
- 就是这个:
说的简单点,就是利用CF全球可达的特性,我们来使用groq的api,而无需节点。
看到各位老友在CF上,各种过GCP的教程,但是似乎一直缺少一个,groq在CF上搭建的流程,groq是兼容oai的接口,但是,如果你买了国内的机子,似乎不支持访问,因此,有没有,方法,给groq搭建在cf上,然后,使用自己的key来访问呢?这样CF替我们中转了一层,那国内就没问题了,奈尔js不太会写,哪位老友可提供下参考呢?
groq的api context 上下文只有 8K 太小了
有405B,这个比较厉害
groq无限并发能用吧!之前很多佬写的教程,很多都过期了,翻了下论坛看到,不能用了都。
offine 啦
能薅key随随便便就能无限并发, 但是这个 8K 上下文真的是食之无味弃之可惜, 我长一点的提示词都能干他个一小半没了, 然后聊两句就没了
405b好像不是哎
它这个offline,是直接用api调不动是吧!
嗯, 没法调的
ok,感谢,但是这个8k用来翻译也可以的,能否用cf中转呢?想看下,这个实现过程。
如果要用8K翻译的话, 还不如直接薅硅基流动的 key, 国内速度还快一点, 上下文也有 32K, 中转的话, 我推荐 deno deploy 可以了解一下
这些api, 多Key负载均衡加中转不要太简单, 我硅基自己有搭一个 2k个官key负载均衡中转的api
可以的,但是我还是想搞这个cf反代,尝试下。
顶一波起来。
cloudflare ai里不是能直接反代吗
大佬,细说。
大佬,长知识了,牛逼。