cpa反代使用pro 5x账号,首字延迟很不稳定,
有延迟40s甚至1分钟+的;
也有延迟低的
已经按照这个方法开启了 WebSocket
还可能是哪里的问题,如何排查呢?
cpa的首字延迟计算方法改了,他会把第一段推理的时间算进去,就是会出现大数字,看首字延迟已经没有任何意义了,直接看tps就好了
所谓不稳定也就是第一段推理的长短问题了,如果没有触发推理,那首字延迟就最短
谢谢,明白了。
我看了一下,首字延迟短的,大部分是token少、推理少的的请求,对上了。
请问cpa的首字延迟计算方法在哪里有说明吗?那现在codex是看不到之前的那种首字延迟了吗?
让agent帮你分析一下cpa源代码就清楚了