使用 Cloudflare Workers 优化LLM流式输出，多格式API网关，美观的Web管理页，支持多KEY负载均衡，原生Fetch请求（ShadowFetch），适合优化 Gemini / Github Models / Azure / Claude（项目持续更新）

[George (時価ネット田中)]

先看优化效果！（测试模型：Gemini 2.0 Flash）

优化前的Gemini输出，大段大段吐字，观感很差：

优化后转为逐字符输出，观感非常流畅且丝滑：

界面美观、功能完善的Web管理页面：

Github项目仓库（求Star​）：

GitHub - GeorgeXie2333/LLM-Stream-Optimizer: ⚡基于 Cloudflare Workers...

Cloudflare Workers代码：

worker.js

变量：
PROXY_API_KEY=代理APIKEY，同时也是Web管理页的登录密码

KV：创建新的KV，绑定名为CONFIG_KV

请如图配置变量与KV绑定

功能：

API多合一

• 支持添加OpenAI、Anthropic、Google Gemini格式的API
• 支持添加多个OpenAI API
• 统一转为OpenAI格式API
• 可绑定域名实现免代理访问

智能流式输出优化

• 将大型响应块分解为逐字符输出
• 基于响应块大小和时间间隔智能调整字符间延迟

自适应延迟算法

• 检测响应数据块大小：块越大，字符延迟越小
• 监控响应时间间隔：间隔越长，字符延迟越大
• 确保输出平滑自然，没有明显停顿

剔除 Cloudflare 自带 fetch 的多余请求头

• 使用ShadowFetch替换Cloudflare的Fetch方式
• 确保请求上游API时不会带有Cloudflare添加的其他请求头
• 支持对单个API设置启用或关闭原生Fetch以适配更多使用情景

Web API管理页面

• 支持通过Web管理页面调整API设置
• 访问workers域名根目录即为Web管理页面
• Web管理页面登录密码为变量PROXY_API_KEY

支持/v1/models路径获取所有API的模型列表

欢迎佬友测试并给出修改建议！！！

注意：在2025/3/5的大更新中对变量有较大调整，请务必在更新后重新进入Web管理页面进行重新设置！！！
注意：在2025/3/5的大更新中对变量有较大调整，请务必在更新后重新进入Web管理页面进行重新设置！！！
注意：在2025/3/5的大更新中对变量有较大调整，请务必在更新后重新进入Web管理页面进行重新设置！！！

希望大家能在评论分享自己觉得好用的流式优化配置哦

[CitizenScyu (黄豆豆)]

哇哦哦哦哦,要是能填多个api,再加上模型重定向功能,就不需要newapi了

[George (時価ネット田中)]

@TRG

[Throttle (Alpha)]

看起来只是把大模型给的大块又拆小回复吗？纯好看？

[George (時価ネット田中)]

是的，纯粹为了好看

[LingBu (凌布)]

大佬太牛了

[George (時価ネット田中)]

可以把newapi当源站

[slashkkk (空气动力学)]

很流畅嘎！

[CitizenScyu (黄豆豆)]

套一层套一层

[PLA81]

感谢分享这个代码

[illmatic]

感谢佬分享

[skycloud (蓝天白云)]

想法不错啊，有点东西啊

[Dswang (单身汪)]

插个眼，等待更新

[handsome (大帅哥)]

哇！感谢！

[TRG]

哈哈哈哈哈，还得是佬 ，牛的

[TRG]

mark mark，等会就去部署

[IdealYouth (理想青年)]

感谢分享，这就去部署一个

[George (時価ネット田中)]

更新了！！！新增支持多apikey负载均衡以及支持Gemini和Anthropic格式的API接入

[George (時価ネット田中)]

更新了

[TRG]

太快了，to do list 眨眼就变了，部署部署