相信各位佬友对 Claude Code Hub 已经不陌生了,CCH 一直致力于做一个专业的团队级多供应商调度网关,现已支持 Anthropic、OpenAI、Gemini 三家共四种请求格式,并且在不断迭代中。
自上次发帖以来,CCH 端出了不少新功能,现 v0.6 版本已经基本稳定。由于更新日志篇幅有限,我决定在这里详细介绍一下 CCH 近期更新的功能。
供应商竞速
供应商竞速(Hedge Racing)是 Claude Code Hub 代理服务的高级超时处理机制。当流式请求的首字节超时触发时,系统不会立即中止初始请求,而是保持初始尝试存活的同时启动备选供应商并行竞速,首个成功返回响应的供应商获胜,失败者被取消。
传统超时机制在超时触发时立即中止当前请求,然后重新选择供应商重试。供应商竞速则不同——它让初始请求继续运行,同时并行启动新的供应商请求,形成"竞赛"。这意味着即使初始供应商只是"慢"而非"挂掉",它仍有机会赢得竞速。
CCH 的供应商竞速功能,会在必要的时候同时向两个供应商发起请求。当然,为了避免造成资源浪费,也为了保护用户的钱包,开启供应商竞速有严格的触发条件:
- 当前请求的供应商设置了首字节超时,并且当前等待时间超过首字节超时阈值
- 当前请求的供应商后面还有其他可用的供应商
- 当前请求是流式请求
比如说,供应商 A 设置了 10s 的首字节超时阈值,若某一次请求供应商 A 的时候,在第 10s 还未收到任何响应,CCH 会自动发起第二个供应商 B 的请求,此时 A 和 B 构成竞速关系,任何一方先获得首字节响应,另一方连接自动关闭。
我们深知并发请求对用户带来的成本顾虑。该功能在上线前,已经通过广泛测试确保缓存命中率和调用成本不会有明显变化,且触发时机完全可控。如果你不喜欢这个功能,仅需把某供应商的首字节超时设置为 0 (表示无限等待)即可为特定供应商关闭竞速。
通过引入供应商竞速,CCH 最大程度避免了单一供应商网络波动或者内部重试超时导致的客户端收不到回复的情况。
可观测性集成
在 v0.6 中,CCH 引入了 Langfuse 集成。作为定位团队的 LLM 调度网关,可观测性是一个重要的指标。Langfuse 会帮助团队记录请求的耗时、重试次数等信息,根据供应商、模型、用户等多个维度进行自由聚合,在减轻 CCH 处理统计负担的同时,也更便利于团队内部审计和优化供应商分配策略。
供应商批量编辑
CCH 在 v0.6 版本,完全重写了原先的供应商批量编辑功能。现在,供应商批量编辑可以自由改变任意字段,并且提供了修改预览和撤销修改功能,最大限度避免误触。
CCH 致力于成为最适合深度个人和中小型团队使用的 LLM 多供应商网关项目。我们致力于实现无感调度和最优成本的平衡,让每一位佬友都能通过最简单的 “多买几家中转” 的方式,拥有 零中断 的 LLM 调用体验!
项目 Github 主页:
项目官网:



