几个朋友搭个中转，一起用codex，最近一直在研究怎么能把首字延迟降下来，尤其是不知道应该优化国内到vps这段还是应该优化VPS到gpt这段，想请各位佬给点意见。目前是一个HK的三网线路机+龟壳新加坡的中转vps，大概延迟是50ms+38ms，然后测试服务器到gpt的http平均请求延迟是200ms；又找了个LA的vps，国内到LA大概180~200，测了下到GPT的请求平均80ms；又测了个日本的机器基本也是，60ms+180ms。现在有点懵逼了，不知道那段重要，之前主要是优化国内到VPS这段。。
2 个赞
我觉得跟我的差不多，这个首字也要看任务复杂度，不能直接看单一的
想用公司服务器搭建一个gpt中转，采用tailscale 的方式给打通了， 会不会延迟巨高。
线路稳定即可，首字和这个没关系，你这些线路加一起也就几百ms延迟，首字要看任务上下文大小，openai负载等等
优化来优化去也就那样 差不了多少的
只要你的网络总延迟不超过300ms，那优不优化无所谓。
openai随便一个负载波动的影响都要超过1s了。
1 个赞
那就不折腾了，感觉确实体感上也差不多
感觉也跟我这个差不多，佬的这个服务器在哪啊？
佬 我也想搞一个 你这套方案能不能教教
很简单吧，用 AI 就行哇，关于 vps 也有站内大佬写过帖子的，反代 sub2api 就行，让 AI 一键给你部署好
之前有佬发过类似的贴，我的观点就是上精品线路，只要不丢包应该就没问题，其他的没啥好优化的。美西的延迟有点高，名字一样的线路不同商家的鸡表现也是不一样的。用hk三网套新加坡还不如直接用新加坡的线路鸡
我这里用 网络连通性测试 - 全球延迟检测 - Net.Coffee 测，本地到openai用日本节点是50，用美西节点是154。本地到线路鸡日本是46，美西是150
1 个赞
稳定比延迟重要多了，对于AI请求而言，这一两百ms延迟无伤大雅。只要整体网络是稳定的就行
佬的这个是什么线路的美西，cn2线路吗？
谢谢佬，主要是新加坡的线路机没找到合适的，正好看到一个延迟不错的HK的，然后试了一下到甲骨文也才38左右，就先用的这个方案
1 个赞
