【CCH功能上新】供应商竞速、可观测性集成、供应商批量编辑……

相信各位佬友对 Claude Code Hub 已经不陌生了,CCH 一直致力于做一个专业的团队级多供应商调度网关,现已支持 Anthropic、OpenAI、Gemini 三家共四种请求格式,并且在不断迭代中。

自上次发帖以来,CCH 端出了不少新功能,现 v0.6 版本已经基本稳定。由于更新日志篇幅有限,我决定在这里详细介绍一下 CCH 近期更新的功能。

供应商竞速

供应商竞速(Hedge Racing)是 Claude Code Hub 代理服务的高级超时处理机制。当流式请求的首字节超时触发时,系统不会立即中止初始请求,而是保持初始尝试存活的同时启动备选供应商并行竞速,首个成功返回响应的供应商获胜,失败者被取消。

传统超时机制在超时触发时立即中止当前请求,然后重新选择供应商重试。供应商竞速则不同——它让初始请求继续运行,同时并行启动新的供应商请求,形成"竞赛"。这意味着即使初始供应商只是"慢"而非"挂掉",它仍有机会赢得竞速。

CCH 的供应商竞速功能,会在必要的时候同时向两个供应商发起请求。当然,为了避免造成资源浪费,也为了保护用户的钱包,开启供应商竞速有严格的触发条件:

  1. 当前请求的供应商设置了首字节超时,并且当前等待时间超过首字节超时阈值
  2. 当前请求的供应商后面还有其他可用的供应商
  3. 当前请求是流式请求

比如说,供应商 A 设置了 10s 的首字节超时阈值,若某一次请求供应商 A 的时候,在第 10s 还未收到任何响应,CCH 会自动发起第二个供应商 B 的请求,此时 A 和 B 构成竞速关系,任何一方先获得首字节响应,另一方连接自动关闭。

我们深知并发请求对用户带来的成本顾虑。该功能在上线前,已经通过广泛测试确保缓存命中率和调用成本不会有明显变化,且触发时机完全可控。如果你不喜欢这个功能,仅需把某供应商的首字节超时设置为 0 (表示无限等待)即可为特定供应商关闭竞速。

通过引入供应商竞速,CCH 最大程度避免了单一供应商网络波动或者内部重试超时导致的客户端收不到回复的情况。

可观测性集成

在 v0.6 中,CCH 引入了 Langfuse 集成。作为定位团队的 LLM 调度网关,可观测性是一个重要的指标。Langfuse 会帮助团队记录请求的耗时、重试次数等信息,根据供应商、模型、用户等多个维度进行自由聚合,在减轻 CCH 处理统计负担的同时,也更便利于团队内部审计和优化供应商分配策略。

供应商批量编辑

CCH 在 v0.6 版本,完全重写了原先的供应商批量编辑功能。现在,供应商批量编辑可以自由改变任意字段,并且提供了修改预览和撤销修改功能,最大限度避免误触。

CCH 致力于成为最适合深度个人和中小型团队使用的 LLM 多供应商网关项目。我们致力于实现无感调度和最优成本的平衡,让每一位佬友都能通过最简单的 “多买几家中转” 的方式,拥有 零中断 的 LLM 调用体验!


项目 Github 主页:

项目官网:

27 个赞

Langfuse这个要怎么接入呢

参考仓库中的 env example 或者 官网教程 即可~

太强了!

大佬太强了

已经star啦

一直在用 cch 作为 claude 和 codex 的接入点,确实不错,感谢佬。就是 docker 镜像有点大,小水管要拉好久 :smiling_face_with_tear:

CCH 是面向团队的最强专业级产品。它的配置非常精细,功能极其丰富。这确实是一款很牛的产品,但并不是每个人都能驾驭得了的

强啊,某天会用得上

这玩意能直接用官方订阅吗。封号不。。。

hi,CCH 是一个中转调度网关,不负责 oauth 的部分哦
如果需要官方账号 oauth,需要搭配其他相关项目一起使用

佬,类似搭配CPA 把CPA的地址配置进cch吗,这样来使用cch更好的公益站/供应商管理和CPA的oauth吗 :smiling_face_with_three_hearts:

是的,CCH 的主要功能是帮助你实现流量调度和无感切换~
这样你只需要 CCH 的一个 key 就可以无痛使用所有来源的模型

周末试一下,CPA的虽然有负载均衡但是供应商管理不太方便,感谢佬的分享 :smiling_face_with_three_hearts:

现在最新版本默认还是0,需要手动修改么

牛的:cow_face::cow_face:

这这个更新是不是意味着必须在“允许的模型中”选择claude相关模型,还需要手动去修改映射白名单里的不规范命名了。之前图省事都是没有过滤的,这么设计的好处是什么呢,大佬解惑

如果想要使用供应商竞速功能的话,建议修改为 15

1 个赞

“全部模型”自然包括“claude 模型”。

这样修改使得用户可以在 Anthropic 类型供应商中无需添加白名单即可使用国模和 gpt 等模型(前提是上游已经完成格式转换)

1 个赞

这个格式转换指的是上游模型重定向么,比如上游claude-* 指向 GLM-* 。之前不支持么,不是也是走的claude-*