使用 Cloudflare Workers 优化LLM流式输出

开发调优
, ,
22

再次更新 修了gemini api的一个bug

2 Likes
23

做个github项目哈，你也是大佬！

3 Likes
24

没有没有，拿cline写的 :tieba_087:

1 Like
25

再加个自定义就齐活了

1 Like
26

可以可以效果很不错了，只是优化算法我有空再去看看怎么优化一下 :lark_050:

1 Like
27

佬太牛了，收藏下

1 Like
28

666真好需要，可以不用lobechat了

29

佬太强了，谢谢佬分享

30

啥时候能支持azure就好了

31

这个真的太优雅了 :drooling_face:

2 Likes
33

试试gemin的负载均衡怎么样，感谢热佬

1 Like
34

感谢佬分享，太优雅了

2 Likes
35

azure其实更建议自定义内容筛选器，把那个流优化勾上:joy:

36

会不会一锅端了：https://linux.do/t/topic/451265

37

没研究过这方面 :tieba_087:
我自己是不用负载均衡的，我这套代码的负载均衡是随机而不是轮询（没调用kv）
我自己用是接了jay佬的gemini代理

更新：新版本Fetch方式已更换为ShadowFetch，该问题已解决

38

更新：使用模型时一定要设置max_tokens，否则可能产生奇怪的截断情况！！！
新版本已不需要

39

CF会不会存在100秒超时的问题

40

感谢热佬，请问使用gemini不同的账号的api key，可以达到负载均衡的效果？

41

只能做到随机负载均衡，没有轮询逻辑

1 Like
42

我目前没有遇到过，您可以试试 :tieba_087:

1 Like