今天看到的一个帖子：GPT3.5真会编。。。
合理猜测：GPT3.5去年11月就换成7b模型了
三个消息验证：
-
一、rag任务表现持平开源7b（chatbot arena gpt3.5-1106和0125持平开源7b）
-
二、输出词汇多样性等同7b
-
三、一篇论文（南加州大学最新研究，他们使用一种攻击方法，花费不到1000美元就把最新版gpt-3.5-turbo模型的机密给挖了出来：参数规模终于被扒出来了-很可能只有7B）
3 个赞
不至于吧，那还要那么多算力干嘛
体感上3.5确实不行，甚至4也在一直往下走。但3.5牛逼在他是多语言啊。
而且gpt3.5的精度还是非常高的，国内qwen72b出来才能盖过
emmmm只有7b大小的模型，又觉得更加牛了
中文方面单看 qwen1.5-7b 其实很多问题的效果比 gpt-3.5-turbo 好点，有兴趣的大佬可以看看我做的模型对比站
微软前一阵发了个测试结果，上面写的chatgpt是20b的，后面又说是写错了
当时gpt academic项目的Q群里一位管理员说chatgpt很可能是7b的模型
这个结果也有可能是中间路由模型的参数（如果是这样设计的话）,有盲人摸象的风险,也有可能是早期没有“针对性微调”。
什么叫“针对性微调”，准确来说有一个词叫做“做题家AI”，一些人训练AI的时候就是为了在各项测试任务中获得更好的分数。但是chatgpt是前辈，他之前都没有这些针对ai的“考核”，也可以说chatgpt更全面，不应试。
1 个赞
我觉得不至于吧
只是猜测，猜测就有错误的可能（）
这个有大佬知道是咋回事吗
4真的和去年刚出的时候相比差距太大了
1 个赞
反正参数不大别人测试了
虽然弱了很多，但还是第一梯队的。7B有点夸张了
我一个 4090 上部署一个 glm6b 的跟 3.5比不了一点，说它只有 7b 真不信 
试试 qwen1.5 呢
不太可能是7b。
就那蹦字的速度和7b比差远了，我试了llama-2-7b, 速度大约是gpt-3.5的十倍。
你自己公司的事儿都不清楚吗，辞职吧
支持研究
然后公开拿7b出来收集用户问答数据继续训练
改并发呗,人家不可能所有硬件都供你用的，而且gpt plus一开，gpt-3.5 巨快。事实上，还可以更快，但是gpt-4不更吃硬件？