再也不相信中转站所谓满血pro号池了|测试方法已发出

开发调优
, ,
1

本人刚好从事LLM agent可靠性方面的科研工作，一直用GPT5.4mini、gpt5.5作为实验对象来研究可靠性评估方法，做了一套题库。之前在gpt-5.4-mini上测其中一个公开子数据集，测试1140次（114task×10trial，即114题，每题重复测10次），成功率稳定在45%（每trail±3%）。
前两天5x额度用完了，着急补实验，把站里最近推广最多的自称满血/纯血pro的3家富可敌国都冲了100块，结果同样的题库task，成功率只有5-15%。
我以为GPT这两天降智的缘故，先暂停了实验。等到今天我pro额度重置，我留了个心眼，把前20task×5trail在官方pro5x和3家中转站都跑了一遍，结果平均成功率如下
官方pro：50%，3家中转站分别25%，20%，23%，全都远低于官方pro。
这时候再看他们吹什么满血pro号池，只觉得好笑。

补充一下，我自己也是CPA+new-api反代出来接到数据集设计的agent里面的，不是用的官方codex cli测的。
目前善良一点的想法是，他们的ip万人骑降智严重。
至于事实如何就自行判断了，反正模型能力肯定远不如自己的pro订阅。
另外，不要问我是哪家了，我没切实证据说人家一定掺水，不能随便乱说。

四编：我发了测试方法贴 一个可能可以相对好地测试GPT掺水/降智程度的方法，大家自己测吧，太多人私信找我测了，科研狗搞不过来 :grinning_face:

157 个赞
gpt末法时代，会选择正价付费，中转站还是坚守公益？
2

这就是一个极度不透明的市场，主打一个愿打一个愿挨

29 个赞
3

哪一家能不能说出来避避雷？另外，那种检测中转站的网站有没有用？

4 个赞
4

其实我觉得还有一个情况就是，他们把pro订阅的反代出来newapi再给你使用，模型的能力是会下降的，即便是纯血模型

8 个赞
5

要不你把Pro转成API再试试呢，有没有可能是官方订阅和API接入本身就有区别？ :thinking:

3 个赞
6

确实只有掺多掺少的区别，现在我真的比AI便宜了

3 个赞
7

能不能说一下是哪家的。避雷一下。

2 个赞
8

我自己也是反代CPA+newapi :rofl: 我比较善良的想法只能是他们反代ip脏降智，至于事实如何只有他们自己知道了

2 个赞
9

佬我有点好奇，官方plus/中转plus的成功率。 pro号池和plus号池的差距究竟多大 :face_in_clouds:

2 个赞
10

感谢佬避雷，最近还打算冲其中一家的 :joy:

1 个赞
11

其实已经说了，最起码K和D很容易搜是哪两家

J也搜到了…

5 个赞
12

检测站应该是没有用的，仅仅靠网页上的几种特征去检测信服度很小啊。你可以看到发帖的这个佬，与自己的api做了很多轮对比才有一定的结论

3 个赞
13

没区别，就算是所谓纯pro反代出来降智那对于消费者来说完全可以看成假pro，这种退化反正也不该消费者承担

3 个赞
14

佬直接说是哪三家啊，我好避雷下。

1 个赞
15

如果是富可敌国似乎是可以直接发帖点名的

2 个赞
16

一个基于概率分布识别任意模型真假的项目，从此告别掺假！ 佬，有试过这个吗，能靠这个辨别吗

以及我也在探索Agent的能力评测相关的方向，想问下佬是怎么控制测试环境的，像这种反代、网络环境等对模型能力的影响存在且可控吗？

1 个赞
17

gpt理论上不存在掺水的可能性，除非是把gpt5.4mini伪装成gpt5.5

6 个赞
18

直接开名把，是哪3家啊?我很想知道，虽然我一直就不大相信中转站 :joy:

3 个赞
19

什么价位的，让我搬起小坂东吃吃瓜

1 个赞
20

因为感觉gpt的价格已经够低了，掺水反而提高成本

1 个赞