昨天晚上挂机，早上看了下有一个窗口是11xx/tok/s！！！
昨天白天还是最多280多tok/s
就因为晚上切换了一下请求协议，不会是自部署了吧？
2 个赞
我觉得DSH对CommandCode这种有误差 CMDC的流缓存有些严重
是不是首字延迟高了，后面token吐出来就算出来的比较高
但是体感感觉确实快了很多，之前最搞300，换了协议平均500多
换了协议吗？我现在用的openai-responses
用的responses格式吗 我昨天用这个格式发现不触发流式 然后估计dsh计算有问题 也是展示成1000多t/s 换成anthropic格式流式正常 速度统计也正常了
是用的openai-responses。
触发流式啊
不知道是不是错觉，我感觉智商没有之前好了。
那就不清楚了 我这边是responses就不会触发流式 很怪
我是接到SUB用的，显示有流式。
1 个赞
感觉网络也有关系？我用的是 completions 速度就是250k/s左右
我觉得是接入其他供应商了，周末我就感觉有点不对劲，当时同一时刻比官方慢了不少，但是月额度没了，就懒得管了
没换 之前是response协议 但是最近这两天老是断连接 不知道什么情况就换回chat了