佬们，API站想要全球节点，国内至少要ping到50ms左右，要长流式SEE，我问了CF的企业套餐（普通套餐包括200刀的都只能125秒超时）要四千刀一个月，国内要cn2才能达到需求，目前是用狗妈自建但是流量费又贵，有没有推荐佬们能推荐一下 
预算在1-200刀每个月 流量大概是30TB，鞭策gpt一个小时都没研究出来
把流封装一下呢？在达到时间上限之前开一个新流续上，就是复杂度增加了一些。
不对，你这个api指的是llm的api?
这个对内存高频更大压力了，是一个办法，但是成本好像更狠了
是的，llm的api
200 刀不够，尤其是你要想国内达到50ms 以内。
200 刀的预算你顶多能达到让国内直连的程度，还需要延迟 50ms 那 1000 刀保底了。
这个就看实现方式了，简化成对输出的重定向会好不少，buffer内只存一份，但给所有关联到对应buffer内的流都发，这样内存的高频访问频率也能有效控制。
至于50ms的延迟，可以先用Agro试一下，不行就只能再加上CF的国内业务了，这个就比较麻烦，需要备案。
cf企业的差不多就是在40-70ms，还是非常好的，有没有高一点的推荐
cf是天价，养不起啊佬
或者整合一下你刚才提到的方案，搞一个国内延迟极低的CDN，首token部分用这个传，后续走CF。CF这边你就直接用免费套餐。这样只有首token部分需要消耗付费的CDN流量，剩下的薅CF的羊毛。
不行就eo管国内，cf国外
超时啊佬，125秒硬的
我有一个疑问？125s内你的api站难道说一点响应都没有吗？
就算是非流只要有工具调用或者任何响应就能续上
大哥，sse可以发送ping消息呀，wss也可以，保证125秒内有数据就好了，他是2个请求间125s
可以试试找个小idc，小idc有一些会有一些低价的cdn套餐，一个月一个月续试试
流式不会超时的啊，长时间没消息发下 ping 就好了
上游是公益站是会有这种情况，所以我最后直接不套CDN了，比如任意路由器的首字有时候能去到5分钟多